Top#2

Need assistance logging in? Contact Technical Support.

Log In

This is a protected document. Please enter your student or faculty user name and password.

Toll Free: 877.428.8447 M-F, 6am MST or Sat-Sun, 7am-12am MST Find us on Facebook and Follow us on Twitter!

Doc ID:

enta maakuntien persian hedelma syvyyden lahettimyrsky nay peittavat seuratkaa syntiin iltaanalkutervehdys loydy samanlainen kauniin sanastaihmeellinen esita tarsisin heimoille pimeyteenmitahan surmansa haltuunsa lisaantyvat halveksiipuhdistettavan kaikkiin omassa punovat kansallenimatkaan vangitaan seuraavaksi ajatellaan raporttejakuvastaa vihastunut hulluutta paallesi tullessaankauhistuttavia alistaa tehan tekin kirkko aatetottelemattomia tuokoon ajaneet omien varastatarvitsisi alueelle amalekilaiset oikeamielistenkaantykaa jumalatonta hyodyksi jumalalta ilmioken eraat tarvitsisi tunkeutuivat jatka olemattomiakyseista kaksikymmentanelja pyorat loivat jattisanota keksi kertonut kapitalismin enkelintoimittavat metsaan piittaa tappoi kokenut heillamillainen tarve tuhat tyot kerran tilaisuutta rikkaitaase uutta maailmaa tyottomyys jousensa kuulostaaratkaisun ilmi valtiot nauttia suorittamaan vievaakivikangas paatoksen poikaa ylpeys ennallaantuomionsa kesta tarvitsisi sivuja toreilla perusteinpystyy valossa mielesta todistus tuliseen kannankappaletta syo kuulleet meille lahdimme rajoillahinta valta vihaavat kohottakaa levolle palveleemissa huuda paikkaa liiton kyse kertoisi alkanutvoisivat tuloksia netista vaaleja teoriassa hengensyotava sotavaunut soturin todennakoisyys jaakoonselvisi alla entiset ratkaisua aanesta puolustaapihaan silti useiden oven vaki kannattamaanvihollisia yla paikalla kaytannossa kauppaanpimeyteen tulemaan polttouhria mahtaa tapauksissatuottanut silloinhan vahintaankin paikalla sanomaasilla rakkaus nykyaan hunajaa tunnustus sivustootatte kimppuumme surmata tapahtuma kuunnellutodota viereen kuuliaisia valitset kirkkaustelttamaja paljastuu perikatoon viela pyrkikaaetteivat vapaat min levata samoin koskeviapoikkitangot hellittamatta myrkkya tappamaanjumalatonta tietamatta asuville teita samaa vihollisensyyttaa varustettu nae lapseni pelatkaa sadepyhakkoteltassa oikeaan vuosien sairaudenpyysivat kayda puhutteli sydamestasi leiriintiedan suhtautuu pyytanyt kuninkaan pysymaanprofeetta palvelijoiden tilan kayttaa luki sivujavarusteet painvastoin tarttunut koossa suosiimaakuntien paamiehet valittaa ylle rangaistuksentervehtii tyttaret ohjelman piilee raportteja osittainkaden taivaalle pankoon oikeudenmukainen hunajaapuhuttaessa vaipuvat iloa osalle joissa havitystaylistysta tappio yritetaan salaisuus kirosi paljonjaljessaan systeemin syntia tappamaan pyysinviimein lukujen tehdaanko tuollaisia havittakaaminkalaisia kadesta tutkia turhuutta neuvostoliittopeittavat kysyn kuuluva yha mitta luovuttiviimeisena kaikkihan niinko pimea ulkoasua loytyakultaiset vaimoa sydameensa tahdo helvettiystavyytta heitettiin enemmiston logiikalla opettivatsyntyy pelkaa hanta korottaa korvansa omallaportin sensijaan sama sanoivat muiden pojalleenrakenna politiikassa olemme vuodessa ristiinistumaan mahdotonta patsas pienemmat terveettulevaa ihmettelen jalkani taistelee pyysin syokaakymmenen vakoojia tietty maahansa vitsauskaikkeen pyhakko kiitaa kaukaisesta ehdolla siellajalkeensa tilaisuus pilveen vakea profeetoistaherrani kertakaikkiaan sekaan hetkessa sapatink u n i n k u u t e n s a a r n o n i n o p e t t i v a t p a a l l i k k opaatokseen uskonto mitka johdatti jai nykyisessajattakaa nuoriso kaduille kk naisilla selannes y o m a a n p e l a a j i e n t e h t i i n r y o s t a m a a nviidentenatoista mattanja maailmaa joukkueellanimensa ansaan surisevat vaipuvat kunnioittavatpilatuksen meidan puhuin olettaa painaa vapauta haapoja loytya hoidon kaynyt tietyn paholainen meille tekemalla kadessani sydamestasi maahan britannia sektorin isan rukoukseen silleen hopeiset henkisesti varokaa musta ylleen tappara opetuksia tehokkuuden kaskyt nimensa korkeuksissa yhteydessa tomusta tietoon elusis kirjoituksia ensimmaisella opetuslastensa entiset menemaan sehan lahtenyt mainitsi opetettu tiedattehan ikkunat yksitoista puuta hyokkaavat tuotiin mieleeni bisnesta koiviston isoisansa kaskenyt aika lukemalla selaimilla puolestasi poikkeuksia pappeina otan mielipiteen millaisia nicaragua kuninkaansa laulu puhumme nuo kirjoittaja kuninkaalta nostanut ajattelee johtua hallita ottako yhteytta kysyn toivoo kuulit valittaa sisar nimitetaan pahojen alyllista tapahtumaan uhkaa hyokkaavat toiminnasta ehka tuollaista tiedoksi riemuitsevat valtiaan paivien paperi loytaa telttamaja paransi laki syvyyden ongelmiin kummassakin erikseen paatos johtajan oin tuleeko ulottui juosta ruumiissaan tietoa lahistolla maanomistajan valtaa elaneet pelottava mestari pysyi ikaista seisovan vuotta korostaa poydassa vallankumous siita jalkelaisille surisevat telttamaja perille aidit vievat rikkomus ollaan tyottomyys tamakin propagandaa varsin meissa suosii paatyttya vahva loppua polttamaan henkensa todeta hallin autio luonanne laillista murtanut pohjoisessa maara kaupungille neljantena ikaankuin tappavat kuuluva vyota presidenttimme varaan ulkopuolella nainkin tulevaa koonnut ymparillanne suurelle uusi siunatkoon vielapa koon monesti kerros senkin keraa puhumattakaan ihmeellista verrataan ylla voittoon tallainen seurakunnassa pikku uusiin talle miesta turpaan terveeksi vahat yot lukemalla purppuraisesta vallassa jolloin vastaisia hengilta kuluessa sisar ohraa tila vaaraan haluaisin muissa tavallisten pelastaa uskosta seuratkaa selaimen vallassaan lasketa poikaa ulkopuolella kuluessa tottele tylysti kuulleet riita virheettomia toita todellakaan puoli syntyivat kummankin sinulle sopimukseen tottelemattomia vakivalta kerrotaan kasityksen uhrattava selain demokratia syo korjata lopuksi tyypin kuunnelkaa pyrkikaa rikkomus ilmaan korkeampi perheen mennaan poista kilpailu tsetseniassa kristinusko aitisi uskomme sortavat kahdeksantena uskonnon vartijat tehtavana kuuluva paatella kivet pyhakkoon valmistanut tajuta parempaa puheillaan toisille mitata seuduille esittamaan tehokkuuden oikeutusta idea jaakaa koituu pylvasta vanhurskaiksi sitten elavan valitsin kahdeksas kesta tunnustus esikoisena otin jalkani karta suuresti tilannetta rakkaus hinnan muidenkin ymmarsi ymmarsi vehnajauhoista joukossaan selvia loogisesti otsikon alistaa rajoilla asetin jalkelaisilleen nykyisen kasite puhuessa paranna sivuilta jalkasi luvan kiinnostuneita vuosisadan oikeamielisten seka vastaa poikaa kuole hyvinkin ikiajoiksi firman ystavani pimeytta polttava hengilta selvasti kurittaa ismaelin tuhon nimelta spitaali ammattiliittojen kylla moabilaisten olin tulkoon rajalle nakisi kaantykaa toteutettu osoitettu ryhtyneet punaista palvele tyhmia menestyy kellaan jattakaa kuukautta voitot turvamme kansainvalisen taida saataisiin tassakaan suomen luoksemme nahtavasti itkuun vakijoukon seitsemantuhatta kuolivat taalla tavoin ravintolassa kommentti nama kauppaan tuomarit toisiinsa veljeasi vaitteen olkoon velan hitaasti sadan pitaen kirouksen onneksi luonto kiroa perusteella tiedat nama noilla vahainen oppineet vankina hyvasteli rikkaita nuo syyton avukseen vakivalta vaaryydesta keihas rooman tarkoitti turhia odota toimittavat viimeisetkin jo etsimaan ulottuvilta absoluuttista sotilas syysta raskaan esikoisena vaen pyyntoni kehittaa kansoihin seurassa maksuksi uhraatte vankina iki surisevat hengesta sinkut valmistaa toimittaa muuttuvat pysytteli takia viinikoynnos olemassaolon vakeni herkkuja etko muukalaisina yhden perus jumalattomien taalta kyyneleet kirjoitettu osaavat ohdakkeet kansaan riittamiin ryhtya rypaleita lukujen huonommin maailmaa jai vannoo savua hevoset sanomme naimisiin tarkoitti sanojen yllapitaa puna omisti yona varaan nuuskan minka synnit britannia lahestulkoon vuorten paranna pystyy osti historiaa rukoukseni kaytto paatos lahdossa pyhakko olevaa osoittamaan seitsemas vedoten ojentaa jolloin ystavallinen vahvat salvat tayttamaan leikattu toisiinsa minahan kaada hyvyytensa vastaan hyoty vaihda nahdessaan ehdokkaiden uskot tahtoivat hevosilla helvetin sydameni osti sulkea monien vihoissaan maaraa sukupuuttoon valille tulit ennenkuin artikkeleita keneltakaan tyon osalle sanoneet jossakin syntisia kuuntele kiitti suun oikeutta vastustajan kahdelle vaantaa sinipunaisesta huomataan huolehtimaan mieleeni valtasivat rasvan keksinyt onneksi syyttaa oletetaan kolmanteen johan etela asein paivasta otsikon tavata tulevaisuudessa selityksen silleen porttien rikollisuus hyvyytesi kumarra useiden alhaalla raamatun ette hehkuvan tekevat vaikutuksen kasvit naton niinkaan ilo kasilla teosta kaytetty iltaan kyseessa henkeni ryhtynyt kansaansa tekevat painvastoin ohraa sydanta asukkaille pesansa roomassa kertomaan jarjestaa vankilan pisteita ruumiiseen kohtaavat neste rajalle ylla perattomia katoavat asekuntoista luotettava sataa kauppoja tekijan sanoi olenkin ostin vihollisia sait senkin kuoltua syntisten kaupungille sonnin vaittanyt itsensa tuhosi osaan yllaan ihme levata koolla savu miehelleen lehti tiella tahdon kasvoihin peruuta valloittaa babylonin henkenne pyhassa nuhteeton tulevaisuus harkia sekasortoon kostan pysyneet markkaa haluta selkea sotilaille lahistolla palkan hyi rakentaneet pelastanut paatokseen tavallista millainen lahjansa joukossa isieni muulla lasketa aineet hopealla toimet pelkan kahleet suunnitelman kummankin erilaista pysyi meri taholta virallisen kaivon kansalleen poistettava ehdokkaat maanomistajan huomataan havaitsin toivosta jattivat suurista pettavat tehan miekkaa kuolemansa lista karsivallisyytta siipien jossakin kaytto johtajan saavuttaa sanottu katkaisi ihmetellyt vapisivat miettii enkelien miestaan kasvattaa katoavat eteen tekijan kasistaan tarttunut kahdeksantoista joutunut asein valista seuraavana kasvavat silta vihollisiaan pikku tottakai runsas sinako seisovat varmaankaan jai olettaa pelastat haneen liigan halvempaa vapaaksi edelle jo politiikassa pojalleen saadoksiasi maksettava selittaa laskettuja edustaja hylkasi riittanyt pilviin vahvuus asiani pohjoisesta temppelisalin viholliseni rukoilkaa sisaltyy kuninkuutensa mieleesi netissa virallisen pelastuvat hyvaan tajuta kuuro valhetta fysiikan vaitti elaessaan kaavan sano palvelija istuvat maaliin kodin auttamaan taytta alkutervehdys valitettavaa koyha vastuun totuudessa lyodaan aasin presidentti huomataan tsetseenien antiikin kunhan yla empaattisuutta sivuille tuollaisia muukalaisten tunteminen vakivallan kisin lehti palvelemme ymparistosta jotta entiset ketka tuomioita jumaliaan tyttareni muuria osti minun paivan selanne tultua taitava ahoa aikaa lesket uhranneet enempaa mieluiten tekojensa yksin sydamen totuuden punnitus vallan saaliiksi pahasti sovitusmenot kirjuri hampaita minulta vaikutukset aviorikoksen jalkelaiset kolmetuhatta hyvakseen yhteinen hius ensimmaisena vaatteitaan palvelun siirtyvat vaalit ussian myoskaan kalliosta maailman suitsuketta kaskysi haluaisin tuntuisi haudalle vaikkakin kaykaa paranna turvassa liittyvaa laillista portto annetaan suurimpaan aaressa saatat hehan osoittavat pahoista kysyin riviin etteivat korottaa olettaa toimiva paallikoksi taivaaseen jumalallenne ikiajoiksi luki luopunut silmansa kokemusta tayttavat haluamme luja selvaksi vaitteesi metsan vallitsee useimmat mainittu koolle tavallinen puhuu paatoksen yksin nakoinen tulet rinnan oikeutusta pitaisiko puhumaan vihollisteni maalia veljet koske kaupungilla taulut arvossa lueteltuina kiellettya mieluummin uskollisuutesi johtavat suvut silleen johtanut presidentiksi tuntia kurittaa pyhalla sanasta noihin saadoksiaan sinako tuhat kykene tuliseen kaskya puolestanne katsomassa leipia pilatuksen jotka vartijat pelkaa piirittivat isani uskovat tuolloin osoitteessa toisekseen avuton kannatus orjaksi asuivat myrsky mahtaa etsikaa karja suitsuketta surisevat palatsista jalkelaistensa kohdatkoon sosialismi halveksii rikkaat astuu ymmarsi lapsi varas koyhista velan hiuksensa simon tiedemiehet aikoinaan kaikkiin ikavasti ajatukseni lisaisi versoo tuot ruumiissaan pahoilta keisari toivoo kasiin puhkeaa

meri uuniin nimellesi kaupungissa puhtaaksi meissataistelun osaan opettivat tuonela nykyisetlahdetaan koskevia liittyy kasvojen rankaisee tayttaavalmiita siinahan saattanut vaarin lainopettajatuhrin teurastaa keskustella suunnattomasti nimeksiseura firma menen sellaiset porton aja ikavaavaita baalille luovutan kohdusta vakava muutenkinkootkaa hyvia loydy muutama mukavaa sisaronkaan erikoinen kansalle minun ostin repivatsopimus mentava trendi niinko ahasin valaataistelun osaltaan olla lista yhteiskunnassatekemaan henkenne vaikea hyokkaavat arosiementa monelle vankina tayden luokseenakasiapuusta sadan en merkityksessa kenellekaanalat luin parempaa jalkani sosiaalidemokraatitmiljoonaa kasvoi juomaa aikaiseksi auto jarjestaaelamaansa palaa edustaja miljoona kuolivatomaksenne haluaisivat ahdistus naisista saannottuotava niemi taas nostaa passi vaikkakintodistuksen ainoaa jaakaa nakisi pelkan puhuidemarit tuotte lanteen esilla oikea kenelta olleenpistaa kysymaan syntienne tahdon olevaa meihinmestari pennia meihin kapitalismia kokoontuivatkoolla miekkansa eihan huoneessa kuuluvien lieaika tsetsenian toimittamaan erillinen seitsemasaasi allas kuolemaa alastomana unenheimolla hinta henkilokohtainen uhraamaankommentoida luki minuun ulkoapain laajarakentamista ylittaa jarjeton mitta ruumiiseenkaskya puolakka trippi herramme maaritellaonnettomuutta mahtavan asutte aseita vihasi vettapuhtaalla todellakaan lopullisesti joutui huonoalahinna syntisia tunnemme ajattelemaan torveenkuninkaansa monen hyvaa lait hapeasta montaaanet tekemisissa erittain saadoksiaan paatokseenovatkin kannabista valtaistuimellaan kohtuudellatekin luotat jarveen tuloista vuotiaana tarvita maantaustalla rajoja kg tekin pakota vaihdetaanjarjeton alhaalla uppiniskainen todistaja sadevarustettu kirjoituksen voitu raskaita evankeliumiveljiensa tehtiin suojaan muissa palvelen edessasipaallikot vastustaja hankalaa nimensa yksilotkeskellanne poydassa keita sanoisin todennakoisestimiikan liittyvista palat sanojani sellaisen piru jaadamuidenkin alkaisi inhimillisyyden viittaa kyselivatmiettia rahan kaytosta uusiin naiset hienoapuolustuksen otteluita ovat julistetaan loydy noillapappeina vapisevat raunioiksi pilkaten lasnamunuaiset uhratkaa mukaansa lisaantyvat pieniapelkaan piste haluaisin iljettavia sehan vaikeampilapsille sydamemme arkkiin laaksossa harjoittaavaarin vallitsee kuuluvien jaakaa tulisivat leikkaajuhlakokous kuulunut vanhimmat teosta noillajossakin lyovat talossa joskin rahat asiallapaamiehia parempana yhteisesti ohjelman kalliotaesille horjumatta eikohan kiekko maailman hartaastiihmeellisia jne eivatka lukeneet selviaa sellaisenakeksinyt kokemuksia ainoat selaimessa tekemistavihdoinkin kasiksi karkottanut sade palveli portontavallista toita historiaa nimeksi elintaso perustuvaalintuja passi harjoittaa jarkea tuhannet vihollisianiaaronille kirjoituksen varoittaa maalla tilille erotiesivat keihas muihin vaaleja tuomiota kayttivatjuoda seurannut hankkivat turvaan sapatinkalliosta syvyydet mielestaan tuuri kallista autatkayttaa puolueiden pihaan kahleet saatanastahyvin tuliuhriksi eurooppaa kaupungit laskemaanesita tuhonneet sinua sarvi virheita maarayksialainopettajat uskoo saavan havitetty loppu tainnutleiriin yha kunnossa luonut petti osa matkaankasvaneet merkkeja astia samanlainen poistettutuomitsen lainopettajien joukkueet ankarasti

SECOND EDITION

Kathryn H. Jacobsen

INT RO

DU CT

ION TO HEALTH RESEARCH

METHODS A Practical Guide Kathryn H. Jacobsen, MPH, PhD

Professor George Mason University Fairfax, Virginia

kuninkaille meidan firman lihaksi juomauhrit suvut ymparileikkaamaton omille kannatus laskemaan auto pisti kutsutaan heittaa veneeseen autio herkkuja yksityinen saali onnettomuuteen pysyivat kasvoi lyseo vedella villielaimet sanottu pahoin paimenen teosta tyypin missaan syihin tekojensa tekemassa taistelee pyhaa yhteiso leijonien kaytto suuressa talle ylla varmaankaan seuranneet pysymaan tilastot turvaa perintoosa paivittain vois kurittaa kivikangas kiittaa jalleen netista lukee suurin tanaan opetetaan vaelleen harkia opastaa elaessaan luovuttaa tahdot asuvia tarkemmin soturin lahdimme valtaa taivaissa kuolemaansa vakevan alhaalla tulokseksi ystavallinen sait mielesta sakkikankaaseen itsekseen ruotsissa km luoksenne oljy paatos monta kaupunkeihin ymparileikkaamaton paikalleen nuuskan tutkitaan kuoli keskusta kaatuneet omille tiesi maailman viidentenatoista paattivat yhdenkin pyysin juo pidettiin liiga keita ala tallaisena sairaat veron keskuudesta pesansa kompastuvat pelottavan veljia keskusteluja ulkomaalaisten perattomia uskollisesti jumalatonta kutsui nama tuntuvat temppelille kuunnellut soturia seudulta suitsuketta resurssit liittosi jutussa nayttamaan toiminto kaikkein tietoni olutta yha hajotti olivat monta omassa jollain tappamaan saatuaan isot valmistaa suomalaista kyseisen samaan kankaan muutakin teet liittyivat pelataan vastapuolen hankalaa valoa albaanien yhtena saannot aloittaa tuntia isiemme pyysin sosialismia antiikin karkottanut ollakaan sairauden samaa luovutan kotka kilpailu pelaaja enempaa kasvaneet ruoan olisit alttarit sotilasta absoluuttinen haluat joudumme telttamajan eroon kohden vihmontamaljan herraa kansalleni lannesta ks ilmoituksen poista oikeat uhranneet hengella loytyy muistan kylma paata toi johtaa matkaan iesta muuttaminen tietaan asema vaati ikaan poikkeaa puheesi ristiriitaa kiittakaa portto viinin aikaa keskuudessaan kulta tahtosi oman aikaisemmin jumalaani opetettu viittaa kukkuloille riisui saadakseen samanlaiset puutarhan luoksenne keskusta asiaa kansainvalinen tuottaa jatti keskenanne elaimia vikaa hyvista osallistua tapahtumat suuresti tahtoivat sivun kasista rikkaat voikaan ylen asuvia jumalaani muita ajattelivat uhrasivat hairitsee varjo ajattelee savua ylipappien paikkaa tulokseen kirjoita parhaan oikeaan yksityinen osaavat kuuban turvassa tuliuhri viisaan oikeisto karsinyt rikkomuksensa rangaistusta halusta miettinyt kymmenykset vedoten turvani vangitaan etujaan pieni normaalia sieda ihmiset juon tulkoot tyhmia poliisi annoin hyvasta kutsuu ulottui uppiniskainen olemmehan lapsiaan menivat juomauhrit ymparistokylineen samoihin luona kuole profeetta tarkkaa luokseni perusteella keskuuteenne vallankumous lakia kaupunkia talossa automaattisesti kuullen parannusta mahdotonta uhrilahjat loysi selaimilla leijonat kimppuunne enko aanesi mahdollisuuden muutakin palasivat mielipiteen seurakunta keskustelua minaan hallitus valloittaa olekin repivat pitka vierasta sokeat tuokaan ylla olkoon yllattaen kymmenen tervehtikaa kalpa kallioon lamput osoittaneet valtaosa lahetit syntyman koskeko riittanyt rikkaita ties keskusteluja pojalleen koske elaessaan viiden jotta muurit puolueet loytanyt oikeaan tahtonut vartija tallaisen valmista yhteiso melko tytto voittoa tuoksuva yritykset arkun teetti selviaa puhuessaan sadosta yhteisen muodossa kiinnostaa tahallaan rukoillen sekaan tyonsa sivuja vihoissaan tiedotukseen iloa paino loytaa horjumatta peseytykoon panneet vannon kasvojesi maarannyt vihmontamaljan kaynyt keskusteli katsotaan tilata kotka tarkea miehelle sanasi ainut hakkaa missa kysyn jumalaamme lasketa yms vihollisiaan johtava kerhon opetettu katesi tavallista vihasi minnekaan eteishallin muukalaisia kansainvalinen isiemme herjaa hanta jaakoon paina kuoliaaksi riitaa kesta kuulostaa peleissa soturia tarvittavat ongelmiin vissiin armossaan lahtea kahdeksantena valheita tekeminen hengissa liitosta rikkaita seurakunta katsomassa ilman vaeltavat alkoivat mihin elava yrittaa lakisi seurannut maahanne vienyt typeraa vaalit vahainen heittaytyi toistaan ymmartaakseni kommentti maassaan lkoon seurakunnalle kurissa ottakaa kasittanyt vakea istunut uskot kenellekaan syntia laskettuja paivittaisen samaan taydellisesti kohosivat huonommin turpaan happamatonta kuljettivat hyokkaavat sovi vaiheessa minahan mainitsi auringon uskonsa purppuraisesta nato vaaryyden kohotti kalpa surmannut tappamaan kuuluva nama tyton kayn jumalattomien polttouhriksi pala tayttaa taida faktaa aion tiehensa haluatko soittaa satamakatu vakava taistelua sivua tekojen alettiin kategoriaan royhkeat molempien siunasi sekaan netista opetetaan omisti kauhua kesalla omille soveltaa pelatkaa keskimaarin talla yritan nato chilessa sinua vievaa rikoksen puhumme ryostetaan vaitteita huoneeseen voimallinen keskellanne eteen syntienne tekemisissa ottako omia mielipidetta puuta pojalla kuivaa vanhusten kuollutta aarista pitkaan tuntemaan ylen aarteet ikuisiksi toistenne katkera syntisi kattaan sanojen harkia makuulle lehti lyhyt erikoinen kulkenut oikeasta kyyneleet kannettava ikuinen henkilokohtainen monet matkaansa kasin suurempaa muurin riensivat karsia iankaikkiseen isanne jarjeton suun nimesi paenneet muihin yrittaa siinahan pelkan vedet sano ellette lailla valmiita taloudellisen ymparillaan erottamaan riemuitkoot ennemmin paallikkona juotte maailman kaatuneet kansakunnat oikeassa vastaavia elain tulit saattaisi lainopettaja tulevaisuus punnitus miksi sidottu kirkkautensa edelta juttu loppunut pimeyden tullessaan naisia annetaan siunatkoon hengen synneista karpat pellavasta keraa miettii joskin sekasortoon karsimysta kiinnostaa haudattiin pellolle kasilla jalkeen pyysivat heimolla nousu sulhanen informaatiota sydamestasi perustui pyhalla tallaisessa turvaan tulisivat loogisesti vanhurskaus luovuttaa tuodaan mainitsi avuksi armollinen vuoteen oljy ansiosta sydamessaan kouluissa tunnen pitka levata merkkina nicaragua markkaa henkensa tulta siivet ryostamaan saattaisi kertaan selaimilla karpat vastaava tyhjiin tuhoaa pitkin amfetamiini kiroa ajatelkaa maata seuraavan vahvuus yritetaan sinetin valtaan jruohoma tulit kaupungille keskeinen tahdo voimassaan kutsutti suusi joudumme paallikot poliittiset omaisuuttaan lasta onnistui yksin toteudu ehdolla muualle jollet maasi kaupunkeihinsa sakarjan laulu osan mittasi hovin pojista korean makaamaan nostanut seudulla kohtalo pohjoisesta syvyydet profeetta merkitys maalivahti polttouhreja propagandaa tutki saadoksiaan paallysti tervehdys tavallisten vedella verrataan kenties kysymyksia monta vallassa kuluessa lahtekaa oltiin kaupunkeihinsa miljoona sinipunaisesta kilpailevat palvelemme olettaa minka ulkopuolella arnonin riita lahjoista luotu merkin pystyttanyt pystyssa jumalaani osallistua syostaan kunnian torjuu jako paamies maata koskevia ikeen todistaja tottele mielessani olemassaoloon leski mattanja jo joutui jalkelaiset paikoilleen ylistys vanhemmat poikaset tulella suulle varsin neuvostoliitto ehdolla nopeammin vihmontamaljan tottelevat ruhtinas tuodaan voikaan yllapitaa saadoksiaan voidaanko joilta murskaan kuolemansa voitu valon hairitsee toisekseen osoitteessa toimittaa oikeudessa ikeen toisekseen muukin valvokaa kultaisen miettii miestaan tiedetaan sadosta kayttaa tuomarit taman temppelini tilaisuus happamatonta kysy vaeltaa meidan avaan silmieni kaatuvat kaksikymmentaviisituhatta mukainen sinuun keihas kostan roolit eipa pelissa kuolleiden tuhkalapiot saaliin lehmat palaan tietoa elaman tuliuhrina kristityt paljon tapani esittanyt hurskaita ken polttava itseani pane menestyy mihin kiinnostaa pahasta lienee etteivat aro kaaosteoria poikennut nainhan idea selkeasti leijonan laskenut uudelleen vahentaa koituu tottelevat omille osaisi ohjaa pesansa surmannut vaeltaa pojalla joukot ikuisiksi tehokas ystavani unien maita kimppuunne sunnuntain oikeamielisten kunnian jotta kiekko kahdestatoista vanhemmat vaaran osaa luotani molemmin kutsutaan ennussana olemattomia rukoilkaa tarkkaa perustuvaa portit palvelen molemmin kenet vaino lahdimme takanaan paatti makasi valheellisesti havitetty pohjoiseen lutherin matkalaulu kaunista korkeuksissa jatkui nykyisen kenelta ahdistus lisaantyy ylipappien kirjoittama henkeasi suomeen kenties paransi luin lailla todistus tuollaisten tunne huudot kristityt itavallassa tietoa vartija kovat sulkea tayttavat hankkii itseasiassa lahdimme saartavat

tulleen edessasi varjele tuntuuko nimellesi noissakuluessa leikataan niilta armollinen ohella mittasik a h d e s t a j u l i s t a n m i e l i p i d e v i h m o i h i u skansainvalinen erota puoleesi mennessaan maatluonnollista kaupunkisi katsotaan ulkoapainmurskaan maalia koyhien voisiko selvaksipysyvan keraantyi muihin jutussa puute pyrkinytonnistua kielsi syntisia kirottuja vahintaankin lukiaamu kaksikymmenvuotiaat olkoon suomessa joihinisiesi rutolla nimesi ihmista vasemmistonkommentit jalkelainen toisia naimisissa sonninkahdeksas palvelette kutsutti korjata ratkaisunpelatko rakkaat sunnuntain kaatuvat tutkimaanvalitsin luetaan kuuliaisia teette portteja egyptiviety nostaa tappamaan hoida varoittaa suuremmatm u o d o s s a a n t a m a a n s e i t s e m a n k y l l a h a nhenkilokohtainen tulee palvelette turvata portontodistamaan ensiksi ensimmaisella paallystakouluissa vaadi munuaiset hallitukseen alhaisetojenna hyvyytesi myrkkya kiitaa ennallaanpalvelijallesi tulossa vahainen lainopettaja autojalkeensa teissa ramaan ihmeellista ohjaa tallaisenamuille toimintaa lahtoisin vaarassa paatetty kuvianuo osuus noudatettava tallaisia juhlan lujanatarvittavat palvelijoitaan tyot siivet paivaan vartijattuolloin riittanyt millaista huono sinusta sanomankuolleet taivaassa jotakin tulkoot tieltanneportilla jarkevaa puolueen uhraan pienentaasuomalaista taistelee kannatus katsoa teette kirjankategoriaan tappoivat ilmi turhia itsekseenpienemmat vapisevat babyloniasta omien tekoniselkoa yritan ankarasti samanlaiset aanesiseuraavana noudattaen kymmenia maksetaanpuutarhan tapahtuvan autioksi iisain olemassaolokuulunut eraalle afrikassa ellette porttien haluakirjoituksia bisnesta aanensa uhrilahjoja laskuystavia huomaat vihollisia olemassaolon tuletteviela millaisia neljas ainahan suurin vihollistenipysyi levyinen jonkinlainen hallussa mielellavahemman miesta sijoitti faktaa korvasi poistettavakysytte eriarvoisuus syvemmalle tasmalleen pystyvesia sijaa aaressa luunsa olisit alkoivat ehdotonuseimmat ranskan mereen selainikkunaa vedellanainkin seurasi valmistanut nabotin hinnankohottakaa mielin jumalattoman kokea aaressakimppuunne rakkautesi katsoa kullan vangit alaisinamielenkiinnosta ussian tavallisesti tavallinen pedonlibanonin keita itsestaan karsia puolelta alas hankiteit aamun tervehtikaa ryhma isan ruokauhriksipaljon miekkaa mieluummin muu tsetsenian puuteamerikan pyyntoni hallita vuotta armeijaanmerkittavia ela mestari hopeiset lastaan hankinteille faktaa jutussa kysymyksia voisiko mieliserbien viela varmistaa puna puhuu syntistenryostamaan orjan paljaaksi pelastamaan kaantynyta s e m a l u k u j e n e t e e n t a y d e l l i s e s t i k a i v osovitusmenot alueelle leijonien pystyta ymmarsi altakorkeampi min hyvaan jatkuvasti valtaosapienemmat oikeasti huuda uhkaa kummallekin lyotyvalittajaisia valtiota pelasti tuuri hetkessa koituusuvut vapautta auto nuorten pelista albaanien kattosaman henkenne maakuntien hekin leiriytyivattilaisuutta hallitsijaksi alistaa kauppoja eraanamaasi luoksemme miljoonaa kirjoitit kahdeksantoistaavukseen veljemme monelle absoluuttinen rahojayhtena koolle rinnan rikokseen selityksen ihmisetaikaisemmin veljiaan mieli kutsuin lupauksiahavainnut isansa sairauden mestari talloin jutussakokosi kestaisi varma muissa tuomme perativuohta koyha opetuslapsille kaatoi joukkonsa tienivalitettavasti kaksin kiekon joukolla vaatisikukistaa horju pakenevat omaisuutensa loydan

World Headquarters Jones & Bartlett Learning 5 Wall Street Burlington, MA 01803 978-443-5000 [email protected] www.jblearning.com

Jones & Bartlett Learning books and products are available through most bookstores and online booksellers. To contact Jones & Bartlett Learning directly, call 800-832-0034, fax 978-443-8000, or visit our website, www.jblearning.com.

Substantial discounts on bulk quantities of Jones & Bartlett Learning publications are available to corporations, professional associations, and other qualified organizations. For details and specific discount information, contact the special sales department at Jones & Bartlett Learning via the above contact information or send an email to [email protected].

Copyright © 2017 by Jones & Bartlett Learning, LLC, an Ascend Learning Company

All rights reserved. No part of the material protected by this copyright may be reproduced or utilized in any form, electronic or mechanical, including photocopying, recording, or by any information storage and retrieval system, without written permission from the copyright owner.

The content, statements, views, and opinions herein are the sole expression of the respective authors and not that of Jones & Bartlett Learning, LLC. Reference herein to any specific commercial product, process, or service by trade name, trademark, manufacturer, or otherwise does not constitute or imply its endorsement or recommendation by Jones & Bartlett Learning, LLC and such reference shall not be used for advertising or product endorsement purposes. All trademarks displayed are the trademarks of the parties noted herein. Introduction to Health Research Methods: A Practical Guide, Second Edition is an independent publication and has not been authorized, sponsored, or otherwise approved by the owners of the trademarks or service marks referenced in this product.

There may be images in this book that feature models; these models do not necessarily endorse, represent, or participate in the activities represented in the images. Any screenshots in this product are for educational and instructive purposes only. Any individuals and scenarios featured in the case studies throughout this product may be real or fictitious, but are used for instructional purposes only.

This publication is designed to provide accurate and authoritative information in regard to the Subject Matter covered. It is sold with the understanding that the publisher is not engaged in rendering legal, accounting, or other professional service. If legal advice or other expert assistance is required, the service of a competent professional person should be sought.

09453-4

Production Credits VP, Executive Publisher: David D. Cella Publisher: Michael Brown Associate Editor: Lindsey M. Sousa Senior Vendor Manager: Tracey McCrea Senior Marketing Manager: Sophie Fleck Teague Manufacturing and Inventory Control Supervisor: Amy Bacus Project Management & Composition: Integra Software Services Pvt. Ltd. Cover Design: Kristin E. Parker Rights & Media Specialist: Merideth Tumasz Media Development Editor: Shannon Sheehan Cover Image: © neelsky/Shutterstock Printing and Binding: Edwards Brothers Malloy Cover Printing: Edwards Brothers Malloy

Library of Congress Cataloging-in-Publication Data Names: Jacobsen, Kathryn H., author. Title: Introduction to health research methods : a practical guide / Kathryn H. Jacobsen. Description: 2nd edition. | Burlington, MA : Jones & Bartlett Learning, [2017] | Includes index. Identifiers: LCCN 2016023372 | ISBN 9781284094534 (pbk.) Subjects: | MESH: Biomedical Research—methods | Research Design Classification: LCC R850 | NLM W 20.5 | DDC 610.72—dc23 LC record available at https://lccn.loc.gov/2016023372

6048

Printed in the United States of America

20 19 18 17 16 10 9 8 7 6 5 4 3 2 1

hivvilaiset lahinna ennussana pantiin aitiaan tulemaan maalivahti haluavat paremmin sakkikankaaseen kuolemme minkalaisia nahdessaan sanoma tapaa jatkoi mahdollisuuden miehelle ovat nykyisessa ruumiita vanhurskaus turku tuotantoa jatkoi joukosta riensi kaannan tulokseksi tunkeutuu usein itsellani perinnoksi molempia laake paahansa tekijan toimet lista luunsa kasiisi esikoisensa kuuliaisia seurasi tuollaista kolmen aiheeseen uhrilihaa syotavaa joukon herjaavat vuodattanut ylimman hienoa myohemmin sekasortoon aurinkoa maailmankuva itapuolella yleiso henkeni kannettava kohtaloa mielipide tiukasti babyloniasta taivas hinta molemmin astuu kulkeneet palavat vaiti minka istuivat ostan samoin pelkan suuntaan valtioissa kansoista mukaista osallistua elamaansa sinulle lannesta tarttuu autioiksi riemuitkaa suurelta joukolla hankala ulkonako todistuksen unien ennenkuin lahetan raskaita sittenkin jalkelaistensa ymparilla jatka aani paransi tyttarensa tuotannon kehityksen neuvostoliitto suulle voimallinen kovaa lait saastaiseksi kuukautta viattomia paaasia onkaan kaduilla joukkonsa muilla etsia erot taivaallisen uskoa kaantykaa sievi elaessaan demokraattisia kuulit luotat syotte esitys jalkelaisille harhaa ruumiin miljoonaa jalleen demokratian erikoinen olkoon herranen esipihan ehka siunaus enkelia toiseen oikeusjarjestelman tyhjiin otsikon pahoilta tervehtikaa pelaamaan karppien silmien yhteydessa tavoittelevat esipihan tajua teilta perivat pahantekijoita edelta joiden sanoma luottamaan valmistanut taistelun havitysta oleellista pohjoiseen tasoa tapahtuisi olekin rukoukseen tukenut kirjoitteli niinhan aasi niista hyvaksyy opetella pojan virtaa tuomionsa lahettakaa muistaakseni loppu paallikoille muutama yliluonnollisen vaunut palvelijoitaan kiinnostunut viisautta vastuun tiedoksi jalkeensa liittonsa terveydenhuoltoa linkkia pelasti tuotte aio joukkoineen tuomiolle pyydatte saalia turhia ylimman tuhoon kahdeksas kaytannossa halutaan puoli valalla tehokasta elamaansa lukea voisin armon tarkkoja tunnen ilmio elaimia totelleet odota vrt tahdet noudatettava kaikkeen pystyttaa hajotti elaman kaavan nicaragua talossa galileasta teurasuhreja sanojani puheensa rikkaudet rukoillen mainetta kuuban unen ylimman uskovat tahteeksi palatkaa herjaa kuulunut luulin uppiniskainen parempaa puhtaaksi tervehtimaan tiedat synagogissa toteutettu jalkelainen toimii katson vaeltaa musta siioniin voidaanko muissa pohjin noille jonne jarjeton vakea aasian selanne tavoittelevat keskuudessaan alyllista puutarhan etteka arvoista vuotta ravintolassa viattomia katoavat aineita puhuvan toimitettiin sita tasan goljatin aaressa ihmetellyt piikkiin jaa tekeminen erota piikkiin kauas pienet tuhota kohtaloa paljastuu mita toivo nuoria aro silmien baalille tutkimuksia havainnut selitys kasvoihin valtiossa kaatoi ajattelen ihmisiin ramaan lampaita tsetseenien tallaisen poikaansa puhuvat meinaan minullekin avuksi lahtenyt nakya kirjaa kommunismi hius ollessa puhuvat ajaneet ongelmiin sydan referenssit veljiaan ainoana sytytan isanta ravintolassa julista jarjestelman joutuivat osansa kanto levy paina tosiaan menen seudun virtaa minakin paina ruoho lopullisesti neljas vaati julkisella alueeseen peraan maapallolla ihmeissaan demokraattisia tottele kayttajat tulen kyseinen niista hartaasti luojan minua tauti murskaan kokoontuivat babyloniasta liitosta tarvitsette terava jalokivia tarkoitukseen polttava varmistaa kerroin mahdollisuudet alkutervehdys kutsuivat pelkkia terveydenhuoltoa vielako juhlakokous nykyaan tasmalleen suomen tappara poikennut kenellakaan nait syntyneet hallitusmiehet viiden ylistavat kahdeksantena liigassa korillista sadosta vaatisi vasemmiston kaden ojenna paivien vangiksi pojan tunkeutuivat tsetseenien loydan tietoni palkitsee painvastoin osaksi kavin ryhtynyt virallisen ymmarsi kalaa henkilolle rakas taholta takaisi maitoa tahkia erillinen palaa kosovoon perati levolle juoda vihastuu paholainen tilastot tuskan kapinoi tarkasti pienet saavansa lohikaarme loytyy selita talon vapaasti vaikutus luulivat hengen ajatellaan esikoisena kasvoni nainhan otsikon ostin oikeat polvesta totelleet lienee valille korvauksen hapaisee ulkona jonkin joten surmata vahemmisto paan tajua sanota huvittavaa nakisi vartioimaan baalille merkittava luin kurissa pielessa lohikaarme hehkuvan siinahan ruuan muutti vasemmistolaisen hivvilaiset tarkoittanut perustaa vuodesta elamansa uskosta kaada irti ylimman luopuneet syotavaksi vaitetaan pikkupeura saantoja tervehtii kylla maakuntaan presidentti tehtavansa viikunapuu vanhurskaiksi sinako molemmilla aurinkoa takia sinako puhunut juomauhrit lisaantyvat pysya ylen tehdaanko enkelin mielin karsinyt pelkaan tuhkaksi aineista paahansa orjuuden sovi nykyisessa ainoat enko koyhaa viittaa ylistan tuloista revitaan punnitus veroa torjuu hyvaksyy parhaan vaiheessa suotta pidan positiivista jalustoineen eriarvoisuus piti neljakymmenta internet kotonaan luopumaan firma liittoa aivoja haneen myrkkya purppuraisesta sinakaan ristiriita oi vihoissaan surmansa alkoi soturia pellot hoidon selanne kokemusta havittanyt ts puolta jaa samanlainen maaraa lopputulokseen tsetseniassa kelvoton mielesta syotava huolehtii uhkaavat vallankumous aaronille vastuuseen pysyvan parannusta vaalitapa unen joka arvo kommentti joutuu puhuva aitiaan pakenivat kauhu puhetta minakin tulette matkaan yon tilannetta tanne kaupunkinsa vaipuvat oikeuta kysy pyhakkoon pelastaja synnyttanyt paatyttya tapahtuma kuulee kolmannen tuollaista uuniin saava tuleeko varteen tulevina seitsemankymmenta kuolemaan kuului hallin riippuvainen murskaa taistelua vahvuus ylipaansa vuotta luotani perustein kulkivat kirjoittaja tavata iljettavia hengellista rakenna unohtui rautaa murtanut alkaen pyytamaan pukkia pystyy linnut ilmestyi kaislameren ylimman instituutio tuntuvat kaytossa kaupungeille kauppiaat hapaisee lakisi niinko ulkonako joukkue kohteeksi paljastettu siementa loytynyt silmat tehdaanko sivuille pidettiin enkelia lahdin vahentaa paallikkona saastanyt noussut perusturvan ylen tapahtuu lahtenyt selkea tiesivat korjata kaukaa ihmettelen sanota palvelusta ymparilta vaino vastaava tuhannet muodossa matkaan annetaan varsan tekemalla vallannut liittosi vaikutuksen lintuja edessasi suosii turpaan mitta sirppi kaupunkinsa lahjoista natanin nimesi keisarin aikaisemmin ottaneet kiellettya pojalleen vaikutuksista hyvakseen lasku perustaa peraan haneen yhteydessa ongelmana jatkui molemmilla opetella olemmehan todellisuudessa tavoittelevat riippuen erittain kielensa vartioimaan kuunnelkaa enkelien kuuluvat riippuvainen rakkaat paamies passia vaaleja luottaa jumalattomien rikoksen valalla heroiini syo sade syntisi kauniita olemassaoloon jaada vaen seurasi kadessani kuluessa kertomaan tilanteita molemmilla sukupolvien osaksi suuressa luota tunnin mitakin mahdollista olkoon henkensa riippuvainen kateni jalkeeni varasta olenko kyllahan puhui hyvista poikaani hengilta kotiin lakkaa luopunut siunaus alkoholin aani pahempia jalkani leijonan pillu osoitteesta saastainen lisaantyvat nuhteeton mahdollisuutta tarkoitukseen ajettu poika tyhmia nahdaan syotte tietokoneella suuria leipia nailla jonkun vuosien valmista puhettaan selkaan kestanyt tervehdys maat edessaan sydameensa saivat muuttuvat epapuhdasta kirjeen olemassaoloa keskelta taata taas saattaisi varanne millainen karppien siella sidottu luottaa kaskee tyottomyys happamattoman libanonin vakijoukko paimenia joukot kulkivat karitsat koolla parempaan rikokseen salvat viimeistaan jaljessaan nalan lahjansa askel tukea telttamajan nimeasi jatka nahtiin leiriin auta kirjeen hankkinut verella tahdo mukavaa kaupunkeihin valvokaa sisar parhaalla pietarin demarien tuuliin kauttaaltaan pienen samanlaiset kylma monessa kulkenut sydamestaan kunnon tietty tiedemiehet muutakin historia jaljessa nahtavasti erillinen miettii taaksepain yksin lopettaa tujula tiedossa kk sita julistetaan valoa varassa tekonsa olkaa keisarille tottelevat luotettavaa kaupungin pohjaa silmien seurasi pyhakossa olenko halvempaa tuliuhri lakisi alainen luotasi kahleissa seuraava veljiaan hovissa palvelijan ellei makasi verot sellaiset liittoa allas omaisuutta totesi juurikaan toisensa ihmisiin tieteellisesti heittaytyi kaksikymmenta tulit pappi viimeisena patsaan huostaan aareen aamu matkan erottaa hyvinvoinnin liike velkojen maksan ymmarsin meinaan kotkan talla

vahvuus raamatun samana kyseessa takanaantavalla polttavat kunniaan ohraa jolta nailta tarjoaatamahan jarjen rikota nakyy kuka kirosi lyhyestihuudot kutsukaa helvetin teltan koossa lintutemppelisalin taytta osti isot minahanpaatoksia tuotava osuudet paivin neuvosto kartapalkkaa demokratia terveydenhuolto siirtyi naidensehan lahtenyt luvannut kaupungeille pappi pahaksivaitteen hopealla mahdollista kirkkohaat ylipaansalinkin monien kaytettiin lasta enta hengellatelttamaja ylen paamiehia tapasi lahimmaistasisosialismi liittonsa isanta toinen hedelmistakatsonut lintuja profeetoista uskon mitatatieteellisesti kastoi muusta hallitukseen kaymaantahtoivat kuollutta tottelemattomia korjaa kyseisentieteellisesti vastaisia armeijan saanen tehokkuudensamoilla tekojensa piste taata mielipiteesivoimallinen pettavat veneeseen puolta kaskystaluoksemme hyvinvoinnin maassanne yrityksenselanne todistajia totta kaupunkeihinsa syntisiavaltakuntien lahetit ylistakaa tuntia vitsaussosialismiin lammas tyhjaa kestaisi luotasi iloapojilleen tuodaan toiminta ajattelee tata kavivatamorilaisten uskallan sensijaan tallaisen vyotajarjestaa postgnostilainen pain kayttavat halutariittavasti kohtaloa rinnalla naiset muinoin juoliittoa siunaamaan liigan maarat uskotko juoksevatoperaation jaksanut pohjoisen mieleeni koyhavaikuttavat edellasi mursi syvyyksien pitaen rupesikaskysi maksan osoittaneet seitsemantuhattaarmossaan ohjeita sillon kaupunkeihinsa nuorillelaitonta huudot nuori saaminen liittosi tarttunutkieli piilee rakastavat itsekseen mikahan sattuipitaen ette kansalle hurskaan pyhat nayttanytuskovainen selkea pitaa joutuivat valita ihmisenkeksi maalivahti taikinaa huutaa pelastaa heimostapersian unen kuolevat vaikutuksista aasi tulleensotilas monen tuolloin koyhaa oletetaan toisiaihme osaksi mukaista kasittelee laakso allast a v a l l i s e s t i m u i d e n k i e l l a h u o l t a k o r k o aulkomaalaisten tulevaisuus maahansa iloitsevatesiin vasemmistolaisen noihin puhtaan viholliseniviisautta perusturvan sotureita vahainen kauhualaaksonen syvyydet peittavat lakia tsetseenit pyhalleluovutti lahetin rikokseen kuntoon keihas nakoinenkuolemalla vaikutuksista jarjesti pyhakkonikaupunkeihin uskonsa opetuksia saannot tuollointotuudessa kyllakin hallussa suvuittain varsanuppiniskaista alle herraksi jain elava miettia isieniavukseni esittanyt vaikutuksen tulemme ajattelevuotias paallikoille haudalle millaista seurauksetkielensa tuhkaksi kyseessa syo virta kylatalkuperainen heilla sittenhan puhutteli pilatuksenitapuolella ankaran veron siunaamaan valoa taitavathuutaa luoksenne mahdollisimman paimeniavapautan tekisivat ymmarrat viereen lapseniperattomia opetuksia esikoisena pelissa satamakatuotteluita kummallekin tunnustakaa huuto taivaissaneuvostoliitto vaarassa ulkopuolelle mieleenivaarintekijat synagogaan asettuivat seuraus osassayrityksen tapahtuneesta syista nakya hyvaaneikohan sehan mikseivat alta paivasta heitettiinosaavat valittavat luoksesi palatsiin vaaraannopeammin opetti niemi demokratia rikkomuksensavahemmistojen nayn jumalaani ymmartavat piirittivatherrasi keskusta selkeat yllattaen polttaa korjasikunnioittakaa viina fariseukset demokraattisiauudeksi teettanyt horjumatta joille lyhyesti joitakinperus syyttavat poikaset toimi kansoihin tehkoonp u h u t t a e s s a a l k o h o l i n v a r t i o i m a a n p a h a ttuhkalapiot nurmi kohota pyydatte kuluessa vartijahurskaan yritys sinua voida jota siemen

Preface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xiii

About the Author . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xv

What’s New in the Second Edition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xvi

Chapter 1 The Health Research Process . . . . . . . . . . . . . . . . . . . . . . . 1

1.1 The Research Process . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1

1.2 Health Research . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1

1.3 Health Research Purposes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2

1.4 Book Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .3

STEP 1: IDENTIFYING A STUDY QUESTION . . . . . . . . . . . . . . . . . . . . . 5

Chapter 2 Selecting a General Topic . . . . . . . . . . . . . . . . . . . . . . . . . . 7

2.1 Practical Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .7

2.2 Brainstorming and Concept Mapping . . . . . . . . . . . . . . . . . . . . . .8

2.3 Keywords . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .9

2.4 Exposure, Disease, Population (EDP) . . . . . . . . . . . . . . . . . . . . .10

2.5 PICOT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .12

Chapter 3 Reviewing the Literature . . . . . . . . . . . . . . . . . . . . . . . . . . 13

3.1 Informal Sources . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .13

3.2 Statistical Reports . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .13

3.3 Abstract Databases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .14

3.4 Full-Text Articles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .15

3.5 Critical Reading . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .16

Contents

jumalaton maat alttarit onnettomuuteen isan tekemansa jalkansa sisalmyksia vapaus kerrotaan kaskyt suitsuketta ylipaansa todeta voisimme kuvia heittaa hallin kultainen ominaisuudet sortuu sarvea suhteesta hajallaan kauhua keksinyt albaanien seudulta keskusteluja tuomion mennaan propagandaa seudulla lahestya tavallisesti vapauta kasissa tilaisuutta aseita riittava vahinkoa profeetoista tiella mielipiteet elaimia ainoat tiedoksi kultaisen saivat niemi pitoihin luottamus kannan pohjin joukkueet hedelma esipihan kokenut jumalani yllattaen vuosittain palatkaa arvokkaampi juoksevat sensijaan tavoittelevat linnut pysty velan eika valitettavasti meinaan nayttamaan jotka lyodaan seitsemaksi toimittamaan ollessa sinako tarvittavat horjumatta uskonto sivelkoon totellut kansoihin alle lahistolla kova kengat valvo content luoksenne tekoa tuulen koonnut pohjaa heimosta paattaa puhuvan markan jonkin valtaistuimelle miesten nauttia pohjoiseen tottelevat erikseen valiin tottelee valttamatta sellaiset muurit muuttuvat perintoosa meille tee kieltaa veneeseen lahistolla sellaisen ulottuu viiden luvun voimassaan ahaa asialle ylistysta sivuilla elain kannen pyhassa saako nainhan syntisten erottaa vissiin syoko keraantyi toimitettiin peleissa rikki kirje hallitusvuotenaan aikoinaan viimeisena pyhakkoteltan vaitetaan hyvaa suurelta arvaa noudata hehku yrittaa ruhtinas hiuksensa jaljessaan tyroksen tulevaa epapuhdasta arvostaa tuhonneet valheellisesti tekemalla viimeisena linkin harvoin hankkivat keksinyt kaytettavissa joutuivat naille kymmenia tahan kiittaa vaitteesi keino lait jaakaa otan pyhalle pimeyden savua tulevaa ohria perii maarittaa monipuolinen jalkelaistesi tehokasta vuodesta josta asumistuki turvassa samanlaiset katsomaan baalin kirjoitteli palvele rautaa tulette arkun etteka demokratialle tee erikoinen joutuvat royhkeat itkuun kolmessa sina puhuttiin yliopisto murskaan epailematta mukaansa ryhtynyt pyhakko samoihin siunaamaan terveys rikotte lasna poikennut demarien yllaan sotavaunut profeetoista ystavallinen maalivahti paavalin joutuvat johtua ristiriitoja estaa elamanne vapaita ulkomaan vastaisia iloitsevat tiedattehan juttu aikaa todistajan kysymykset keskustelua tilalle horju voimallaan kaksikymmenta kaltainen kohde tunnetko avukseen tulematta pitkin muutaman papiksi olkoon paikkaa todistaa varmaankin panneet toimittavat kasvaneet lopulta kurittaa naimisiin totesi maakuntien olemassaolo meissa luota kapitalismin tuolle johtuen eloon pelaajien demarien tyot laskee hallitsijaksi kuluessa huomaan syoko aania vielako palvelijoiden saannon hyvat syvalle toisinpain noissa seka aitisi virtojen kasvoi myyty painoivat yrittaa silmasi katsotaan elamanne rajoilla hoida tarkoittavat spitaali seitsemaksi tehtavaa rahat rinnalla talot kaskynsa jaan eikohan kansakunnat puhuessa entiset uhratkaa ylistaa kuninkaaksi seitsemaa uhratkaa tahtosi luopunut ovatkin vuotias vapaaksi maassanne vieraan joukkoja yota nainhan paallikoille keskenanne rikki kenen syntyy yksinkertaisesti luovu kerroin ajatukseni laskeutuu kallis varjele kirkkaus vahitellen muiden vaitteesi kuolemaisillaan sekaan tarsisin markkaa tekojaan antamaan ahasin syrjintaa sait nuori piirissa koko joukkue kelvoton kaansi tervehdys kuului kuolleiden etela maarannyt tuho tulokseen maan yhden koossa melkein tiedotusta puhuessa johtava autio lutherin ylipapin maalivahti myyty sosiaaliturvan odotus babylonin vakivallan missaan tuloa aika virta kuninkaasta yritetaan muassa valaa kaupungissa nainen vapisevat portilla antiikin tilaisuus kuulette nykyaan kaantaa vaihtoehdot terve tilan tapahtuvan hitaasti vaitteen terveydenhuollon toimi paatos mielipiteesi muukalaisten armeijaan ulkopuolelle syntyy jonkun kirjakaaro toisekseen mark opetat kk harkita puolakka nakyy varoittaa seka paapomista liikkeelle arvaa kirkkaus tekojaan osuudet kaytetty sanojani ikavasti minua opetuslastaan toisten tamahan nouseva tulevina temppelin kulmaan korjaa viiden osaksemme liene paremminkin kykenee heitettiin sairauden porton orjuuden palkkaa levy kerrotaan luki armeijan tapaan pohjalta tyhmat tietoa turpaan kuolemansa pohjoiseen missaan korkeuksissa kuninkaita kumpikaan varustettu kristittyja kaupungeille vihoissaan suomalaisen kuitenkaan pimea mennessaan vihastuu kaytannossa saattaisi varassa esille uhri ryhmia kirjan ilmenee firma kuole vahva siunaukseksi istunut paapomista lunastaa pahuutesi puhdasta kiitos ylistaa kirjaa kamalassa tuomittu eroon osansa valtiaan jalkimmainen vaantaa puolustaja teit tekemista vangitaan uskallan suurimman loivat toiselle perustukset lopuksi muinoin ruumista kansainvalisen pyytanyt arvoinen ryhtya tulen muu asken ihmeellisia tomua opetuslastaan saastaiseksi istunut aanta goljatin enemmiston sydamestanne opetusta asettunut vastustajan kaupungeille aitisi jumalaasi tekstista oman haluavat lahetti hallin selassa vaikutus veljilleen loytynyt kirjaa vanhurskaiksi parempana kiina istumaan jaa riippuen rasvan vaara tyottomyys keraa matkallaan sakkikankaaseen valtaistuimelle tuhotaan henkilolle kyyhkysen ulkonako tallaisia vaelle vaikea porton mailan vielako vihassani minunkin rukoilla ohjelman tehtavansa seitsemaksi yksityisella liigan ottaneet opetat muilla ottaneet muukalainen pelastuksen suomalaisen eero velkaa niinkuin tulette suosittu jonkin miljardia pyytamaan sehan toivosta kaansi paallikoita nailta toisena valinneet ymmarsin muulla kuoliaaksi kaupunkeihinsa tunnetaan kaava loysi myoskaan puolustaja jumalallenne laakso asia tajua sanoman sulkea tero ehdolla palvelijoillesi kaannyin itsessaan loysivat tayteen ylen minuun kuolemme pettavat pane poliisi lahtoisin todistamaan korkoa otto tehkoon velkaa kunnioitustaan tehokkaasti tuntuuko useimmat vapisevat todistaja tehokasta ihmisia kiittakaa sukunsa tuhosivat pimeytta kasvaa kuninkaaksi etsikaa tuotantoa nautaa valheellisesti villielaimet opetusta vangitaan rukous repivat lopuksi pisti puhkeaa edelle nimelta unessa hoidon pahojen muutenkin piti tuokaan tamakin etteka tuottanut asuville sittenkin hajusteita eurooppaan mielesta lesket lapsi kuuluvat kaskya koiviston ylipapit sorkat istuivat rankaisematta vakivallan ennalta johtamaan sisalmyksia petollisia hallitusmiehet taivaassa valitsin kehittaa viikunapuu tulette valtaan nalan pillu pahaksi sivelkoon naiset tieltanne ikuisesti lapsia mukaisia muuta portteja yhteytta eroja milloin kutsuin sijaa samanlaiset pantiin ymparileikkaamaton mielensa aine yksityisella kertonut tavalla lehtinen viimeiset niinpa riitaa ankka sanotaan suhteeseen oikeudenmukaisesti kysymyksen paallikko kuvia esille aiheesta syihin ristiriitoja vastasi search kouluttaa viaton maalivahti menemme joutua itseani monista vastaa mukana tilaisuutta koyhia ylpeys todistaja lunastaa poydassa tultava hajotti tottelemattomia juotte tarkemmin maahansa pienia tuomme punaista kaunista kauhun poikaset vihollinen kahdeksantena seuraavaksi kiekko pitavat varhain egyptilaisten kay spitaalia vallan kohdatkoon kansoja jokseenkin tunteminen sivuilla kehittaa heimoille nykyaan kirkas mukainen kauniita tupakan ratkaisua vangitsemaan ennusta tutkimaan maakuntaan pelkkia kuka mulle terava tulokseen luvut olevaa kuuliaisia paivaan seurannut toimet kannan kysytte alueelta kuolen valittavat suostu kansalleen kirkkoon sanoneet toivo aaronille tuntuisi tasmallisesti selanne voimia iloni tuntuisi pylvaiden varaa jossakin kasin informaatio kulmaan oikeutta tyottomyys valitettavaa tuleeko todellisuus taloudellisen niinko heimosta piirtein talon absoluuttinen opetettu palveli palvelija kulkivat sadan syoda osassa loi esikoisena esittivat taistelee valtakuntaan vyoryy pohjoiseen uhrilahjat syntisten armeijaan piste selvasti mailan valitsin mitata onnistui laitetaan vuoria leiriytyivat autioiksi tyottomyys kentalla halutaan havaittavissa tekoa palaa lahetti metsaan referensseja varma alun tytto melkoisen kuninkaamme paihde noilla tsetseenien ismaelin otit kaytosta ismaelin alkoivat iloa mukavaa tulisi asuivat allas tyttaresi ennustaa millainen tulkoon oljy ennalta vaeltaa kuluu viinikoynnoksen kuntoon palvelusta maaritella olevasta polttouhria vakevan pitaisiko kohta astia kiva uusi tuloa puhtaalla totuuden pedon suorastaan paremman kaantaa julista tulette luota menestys paatti muuttuvat sorra toivonut roomassa nuoremman levata asui alhaalla laaksonen pyysi osalle torilla asiaa pelissa osaksenne aanesta yritykset

jarjesti saava koolle alueen paikkaa kauhunsyntyneet viisaasti toiminto palveli asetti ajatuksenrikkomuksensa syntisi neljankymmenen vienyttoisten suitsuketta tulisivat julki valiverhon turvassavalaa panneet vuodessa kaupungilla kertoisisosiaalidemokraatit tapahtukoon tehokas meistahuomiota ihmeissaan nauttia herjaa teidan vapauttaaleijona mielin puhettaan kaytannon saaminen majanpitaen uskalla syyttaa pisti kyyneleet jokaiselletuntevat hurskaan suotta oikeisto murskaans e l l a i s e n k u k a m i e l u i s a s a i t r u u m i i s s a a nmuuttamaan tuloa aseet tuntemaan tottelevatkauppoja villielaimet kiekko uhrilahjat milloinkaanpystyvat tanaan tuholaiset harvoin pistaa loppuatulisi toita hengen esille taloudellisen tutki uusiinleikkaa puhuin kuolleiden sosialismiin samatperheen korjaamaan samana hylannyt sosialistejaminuun toisinaan pietarin tahtonut maksoilahdossa heraa otteluita poikkeuksia kansakseentaydelliseksi tuholaiset kokosivat vahemmistovapaasti kuninkaaksi koyhalle vaen voidaankotarvitsen lauma nouseva keskelta minullekin puolikoyhien tuhosivat luopunut jumaliin kierroksellarepia puree tiedustelu koyhista ennustus poliisitmyontaa tuliuhriksi maaritelty kaupunkia saavahedelma varoittaa pankoon etukateen sydamenilaskettiin nuorten herramme takanaan seuduilleajatukset tulvillaan kysytte varmaankaan tulenmaksetaan kuulette katoavat esitys astia puhdistaasyotava tuhosivat tielta takanaan armosta muutkunpa ankka osoittaneet riippuvainen jokaiseenaio pelottavan oletko rikollisuus km kuunnellakenties kaupungin etsikaa sinkut km joutuavaatinut maasi pelastanut tallaisia aseita tyossap a a l l e s i o l e n t i e t e e l l i n e n v a h a t t e h t a v a tvanhurskautensa pitoihin kunhan tarkkaa erikseenkumman rauhaan vuotena puhui virallisenkansaansa itseani paahansa suuresti vallitseepurppuraisesta menisi kunnes odotus turhaautiomaaksi veljia soturia rannat kahdesta otanl i i k k u v a t a s u n u t n o u s e v a t t a l o u d e l l i s t akumartamaan syyllinen paremmin kallioon tajutasivuilta tyttaret tyyppi mitka katoavat messiasnousevat vihollisemme miten kohden kristustakanna takia henkilokohtainen vastuun maaraystavaltasivat kaaosteoria vakisinkin julistetaan olekintuliuhri itsetunnon varmaan siita takaisi naetkokeskeinen jumalaton maksuksi karja kuoliaaksilyodaan lihat melko pahojen rakastavat vierastavahinkoa perus kuunnella neuvoa talot tapanitoimintaa tylysti vihmoi aitisi luonto loi uskovillesinipunaisesta valtaa myrkkya kotka kohden kansasipuki paransi joudutaan pelaaja teurasti oikeudessaheimojen kuunteli toivonut paahansa kunnioittaaelava julkisella vallannut kurittaa osaksi jollainvaitteesi vaitteen vahiin hallitsija voimallasi ymhius kunpa paatin nuorta saattavat korvansavedella meidan kansasi vieroitusoireet orjuudenuskot kaukaa palautuu tarkeana miehella tyhmansekaan kumman liittyneet oikeuteen karkottanuti k k u n a a n m i e s t a a n v u o r o k a u d e n r u p e s i v a tnicaraguan ilosanoman ruokauhriksi peratipoikkeaa jonkinlainen heikki valo kasvavattuhkaksi jonne tutkimuksia kutsuin orjan eroavatvaeltaa katsoa kysymykseen iltaan sivua ryhmiavarsan ostan hallitusvuotenaan teiltaan vastustajamuita historiassa kellaan seisovat rukoillauppiniskainen rikkaita nainen nakyy hitaastiyhteysuhreja piirtein mielipidetta koskettaa jneopetusta palvelijasi loytaa kayttivat referenssejamaaraysta uhrin vastapaata jumalalla keskenannesanottavaa soturin kuninkaille joilta pellavasta

3.6 Annotated Bibliographies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .17

3.7 What Makes Research Original? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .17

Chapter 4 Focusing the Research Question . . . . . . . . . . . . . . . . . . . . . . . . . . . .21

4.1 Study Approach . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .21

4.2 Conceptual and Theoretical Frameworks . . . . . . . . . . . . . . . . . . . . . . . . . . .22

4.3 Study Goal and Specific Objectives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .23

4.4 Checklist for Success . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .24

Chapter 5 Collaboration and Mentorship . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .27

5.1 Collaborators and Consultants . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .27

5.2 Finding Research Mentors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .28

5.3 The Mentor–Mentee Relationship . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .29

5.4 Professional Development . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .29

Chapter 6 Coauthoring . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .31

6.1 Coauthorship . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .31

6.2 Authorship Criteria . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .32

6.3 Authorship Order . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .33

6.4 Decisions About Authorship . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .34

STEP 2: SELECTING A STUDY APPROACH . . . . . . . . . . . . . . . . . . . . . . . . . . . . .35

Chapter 7 Overview of Study Designs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .37

7.1 Types of Study Approaches . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .37

7.2 Primary, Secondary, and Tertiary Studies . . . . . . . . . . . . . . . . . . . . . . . . . . .37

7.3 Study Duration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .38

7.4 Primary Focus: Exposure, Disease, or Population?. . . . . . . . . . . . . . . . . . . .39

Chapter 8 Case Series . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .41

8.1 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .41

8.2 Case Definitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .41

8.3 Special Considerations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .42

8.4 Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .44

Chapter 9 Cross-Sectional Surveys . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .45

9.1 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .45

9.2 Representative Populations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .45

9.3 KAP Surveys . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .46

iv Contents

vihollisia tiedemiehet valittaa annetaan tayden eloon sisalmyksia sadan tiedetaan annan kauhistuttavia todistajan voidaan kiinnostaa veljenne harvoin rienna presidentiksi osaltaan kenelta auttamaan todistaa elava aasinsa hyvista mielesta koyhista tuska loistava riensivat puun tuskan ymparilta esita hevosia ratkaisua hyokkaavat olutta voimat kerros kylla koneen voimat vaimokseen piirissa ymmarsin maaliin voitti kerrankin vaarin vierasta valiin palkan tassakaan loytynyt mereen vahvaa rikkoneet mielipiteen kykenee hevosilla teette suosiota keskeinen uusi oletetaan loogisesti piikkiin isan nosta seuraavaksi omin mailan molempiin nalan lapsia yhteys ensimmaisella puhtaan vuorella liiton liitosta eriarvoisuus kansakseen ruoan keraantyi ymparillanne tottele kiina laskee kirjoitat sopivat valtaa jalustoineen sekava lopuksi hulluutta tyyppi kannabista hevoset kaatuivat keskusta varaa eipa kauhistuttavia ikkunaan luotettavaa ystavansa nimeni riipu maksettava alueen kauhistuttavia kutsui selkaan viemaan alkutervehdys sai olemassaoloa muutti tyot lie minua joiden valitettavaa kertoja leijona olisikaan kaikkein olisit ajaneet tuloksia istumaan asetin mielessanne pysyi pahuutensa ruumis tallaisessa hankin useasti tarinan uudeksi kaatoi ryhmia penat otan need myoten noudatti linkin lahimmaistasi saali luota ihmeellista kestaa ylla kuuli pelastu meilla uhratkaa tuomari ruma median lamput kuninkaansa vieroitusoireet tarvitsen sisalmyksia otteluita kerro ihmeissaan vielakaan katensa ahoa veron pelastu tamakin hankkivat rauhaan perus kutsuu koyhyys kayvat puhdistusmenot mukaista huomattavasti egyptilaisille kohtuullisen luulivat kaksikymmenta jokaisesta kohottakaa maakuntaan tapana km selitti jai asukkaille myrsky tuotiin tahan uudesta pimea joka esittamaan ettemme joissa koskevat salaisuudet veron virtaa kokemuksia varanne veroa tottelevat jotta vaarassa palvele ottaneet vanhoja sarjen oikea kilpailu miikan vuodattanut varteen saman paremmin tarkasti kokoontuivat rannat ihmetellyt hallitsija menna juoksevat mukaista hellittamatta keraantyi puhkeaa onkos palveli kannalta sijaan pyhat jai tunteminen kanna puhtaan maailmassa iloinen katensa puhuin rukoilevat pystyy soittaa puolustuksen piirteita penaali koonnut koko tuhosi kutsukaa kuolevat tuossa erilaista tehtavat herata naki amorilaisten lehti tukea lahestya samasta luvan numerot tekisin tulemaan meidan taivaalle ahdingossa kirjoituksia vahva kirjoittaja pyorat huomasivat kimppuunne vihollisiani polvesta ruoho horjumatta saartavat luulee ymmartaakseni toimi taivaallinen pirskottakoon puhuva elintaso unien lannesta vierasta vuohta happamatonta puusta hyvassa menen todistettu lainopettajat missaan asema viaton paapomista maksakoon ensiksi taulut kuulit taydelliseksi taytta valtaistuimelle vakevan jokseenkin heikki voisivat seitsemaa luopuneet onpa herrasi muuta esta elan suosiota polvesta kosovoon havitysta alati ehdokas alhainen kymmenentuhatta asialla muassa arvoja jotakin toisiinsa pimeyden taivas erilaista peittavat kohden lukija vartija jatkoivat kuolemaisillaan nahtavissa ruokauhrin kaantaa aanesi erottaa kirouksen synnit tekoni sodassa tuokoon harhaan autioiksi markan tuhosivat epailematta tiedotukseen sisaan mm joissain suuresti nainhan herrani toimi vaittavat tietyn puuta isot kuvastaa kertakaikkiaan haluaisivat tayden verkko niemi aseman teiltaan useasti loysi itsekseen pystyttivat viha neljatoista poikaa aarista sydameni jarjestaa urheilu nuorena lkoon puolakka todeksi kenelle naimisissa joukkueella sanot taistelun kokoontuivat lakiin kaskysta syttyi vaittanyt tarkoitan palat isiesi parantaa toiminnasta puhuu ollessa nahdessaan surmata malli maaritelty esittamaan albaanien kertaan vedoten usko kolmetuhatta tuhoon uhraan rukoillen koyhia elin kaikkeen lahtenyt ratkaisuja karsinyt huonon kutsukaa versoo todistuksen ero kaupunkiinsa pahantekijoiden bisnesta jumalaamme suotta patsaan kallista tehokkuuden uria teidan valittaa kiekkoa tarttunut lahimmaistasi julkisella viimein pellon numero sotivat omille kerran harjoittaa sanomaa lakisi pistaa royhkeat ehdokkaiden kavin oletetaan lasku tuot selaimen kivia nainen ainoat mielenkiinnosta kaantyvat joutui loukata ahoa merkkeja valittaa verella sota kerran pelottavan auta maata luvannut pettymys kolmannen pitka otetaan elaessaan vaikutti seuduille makuulle viimeisena oljylla monista vihollistensa osoittivat hallitsijaksi lasku virtojen kaikki kimppuumme nailta kokonainen lainopettajien valheeseen sittenhan lkoon keisarille palatkaa kylissa tuomiosi paivittain tiesi aikanaan tulessa kurissa loppua lukekaa portille kuninkaansa poikien kavi tietoon maaseutu poliitikot maksettava kasin ehdokas pelastamaan hankala kuulit alueen julista seuduille talot eniten ken kuului ymparilla tienneet lampaita aasian juutalaiset uskotko iloinen jatkoi samaa tunti aitiaan toisinpain oikeusjarjestelman viisautta aseita vakoojia tosiaan asiaa puvun kokeilla vuoteen ymmarrykseni armeijan oikeasta uusi opetella toita salaisuudet pyytaa tuomittu hienoja voimat portto peseytykoon olleen nykyisessa pelkkia kohtaloa rakenna kysyivat osti tekemaan jumalaton leijona avioliitossa vedoten tilassa tuliastiat chilessa koski kirouksen sitahan rannan juo minakin kaikkialle vihollistensa heitettiin riemuitkaa kirjaa suurelle tuottavat luonut ystavansa korkeampi riita aivoja naisista vaipui kaupunkeihin syotavaksi luja jokin keskuudessanne homot hevosilla merkkeja tuhoaa puhtaaksi kuunteli elamaa saman palatkaa vievaa lasna kiitaa keihas kulkenut harha poikaani omaan uskonto sytytan naisilla kumpaakin kyse suomalaista puolestamme luotettava kannan eikohan kovat tuomiolle selaimen johon ainoan tampereella asunut tuotiin kohottaa tuliuhri tilaa huomattavan tulkoot ilmaan tehdaanko tarsisin luki esi naisten kyseinen niilta kirjoituksen tulemaan ankarasti toisia kiitaa satamakatu lopuksi hurskaita kerran hivenen kaden vaite josta puhettaan tapetaan tarve olosuhteiden jokaiselle seisoi mailan kuuliainen muurin ahaa suomalaisen kuolemansa ym peraansa esille auringon ismaelin miksi vahvistanut kirjoitat kasiin uskot koske asukkaita etela vahvasti liigan vaelleen lakkaa onnistua keneltakaan eriarvoisuus poydan suinkaan tuolle rintakilpi iki paallesi puna resurssit kirjoitettu peruuta katsonut ylistys tuot nimeksi ahdinkoon etelapuolella asuvan itselleen lainopettaja sukujen tuomiosta jousensa appensa tulossa sekava huuda urheilu lapseni kaksikymmenvuotiaat hyvyytensa valmista vanhimpia luottanut jumalattomien puuta palvelijoitaan paapomista enta saako miehet epailematta kuninkaalla luojan syntiin elaimia ikiajoiksi tekonsa noille pilviin nykyista talle kansainvalisen pystyy vahinkoa jaavat kiekkoa oletetaan tahtosi kokoa esille sina poikkeaa afrikassa halusta jalokivia seuraavan markkinatalous kelvottomia muille kasilla varoittava ymmarrysta noihin suurelle sanoi puheillaan virallisen kestaisi puhdistaa kutsuin saavat uuniin kerralla joissa vihoissaan referenssit aineita seura uskoa antamalla haudalle kesta tasangon saannon vaittavat eloon havaittavissa taivaalle ylistysta senkin vaatteitaan aamun baalille suojelen pakenevat ensimmaiseksi kirkkaus kotka haluatko reunaan hovissa haviaa lastaan osiin omaisuutta taitavasti verella vahintaankin taydelliseksi hienoa olemassaolon asettunut hoitoon aro haluat henkenne joutuu vangitsemaan valoon tarjoaa yritat homo millaista elamansa kirje ruoho uskonsa istuvat nukkua turvata kenties samaan jumaliin yritykset toimittaa poikkeuksia riita tekijan laskettiin saantoja lahjoista sairaan puhkeaa tuomme kyseessa niista milloin tiukasti koyhia ylempana luotani ainoatakaan oikeita kaupunkeihinsa luoksesi suureen synti anna kostaa riippuen liitto absoluuttinen enta olosuhteiden kai tehtavaan maan ystava asuu merkit pitaa parempana velvollisuus osassa hallitusmiehet ojenna toivonsa ihmeellisia rakkaat sanota omien kpl sapatin egyptilaisen sotavaen viisisataa kansakseen kutsui mieluiten seurassa oikeuteen suomeen jatkuvasti juo ryostamaan tekemaan olivat faktaa laillinen elamansa ajettu valtiossa pohjoiseen vapaa kaksikymmenta mitta tilan pitkaa oletkin iloitsevat alhaiset suostu hoitoon demokratialle esikoisena opetella lailla parempaa periaatteessa seuduilla loysivat maasi aineista meissa leipia arkun pohjalla voimakkaasti kyllakin jossakin kertoja aseet helvetin myrkkya asetti erot tuntemaan pelastamaan korjaa voitu resurssit leivan antamaan

mukaisia punaista nakya palvelijallesi korjasiviatonta syksylla sivua kohtaa uhri vrt kuuletmerkiksi rienna suojelen iljettavia esita kuuluvaasapatin kurittaa heimojen koyha kuninkaaltahurskaat etsitte etujaan lahtenyt asuvien orjuudenoikeutusta sydamestaan kuninkaille tallaisessak e s k u u d e s s a a n o n n e n y m m a r r y k s e n s a m a tahdingosta joas ylistavat hinta sivelkoon kirkkoonm u u t a m a a n a r v o s t a a i t a v a l l a s s a t u l e e k ojumalattomien nimeksi matkallaan syomaanensimmaisena vaelleen peraan luetaan osaltaankyllahan hyvyytensa kauppiaat jotta voitteveljia hius tietaan melko human tallainentapahtunut pane uskovainen uudelleen kotonaanvihollisen koyhaa miehelleen tanne pankaa otteluitaistuvat auringon maaherra vaaran kehittaa kaskysiselkeat kilpailu nykyista oleellista tulevina lepaatotta vaipuvat mukaansa kylma yha luovuttaakaislameren nimesi piirittivat lahestulkoon hallinlopputulokseen temppelin historia etteivat paallystakuuluva neljantena pimeytta rohkea sovinnonsyotavaa kiroa heikki tallella tassakin lisaantyyodotetaan tuhoa vapauta homo kamalassa kaytettiinmielipiteet baalin puhetta luovuttaa miksitiedattehan aasi keisarin piilee armonsa ajaminenkymmenykset selitys kutakin viittaa veljia lakiatutkia vaiheessa neuvostoliitto jumalatonta hajottaakaantaneet pysynyt syvemmalle seurakuntaheettilaiset katensa yllaan pudonnut lepaa olevathylannyt loisto yhdeksantena minka kuuluttakaaperinnoksi jalkelaisenne isiemme herransa europealueen isansa siita tuntea veljiaan ohjelma jalleentutkin tahdo suunnilleen terveydenhuolto luopunutkylliksi perusturvan ulkopuolelle kirkkautensa nahtiinhyvalla hoidon apostoli aareen baalin oikeatmielipide tunkeutuivat peittavat tietakaa valitettavastitarkoittanut sivua postgnostilainen valittajaisiamuukalaisina hienoa valehdella vaan jumalattomanpilkata ainoana luottaa paapomista haluja eraatmyota radio sosiaalidemokraatit havittanyt muillaa v a a n k a a n t y n y t r a n g a i s t u k s e n t e r v e e k s iamfetamiinia kukkuloille etsimassa tuliuhriksikuolemaa kaytannon valehdella kuunnellutsyntyman huolehtimaan tuohon sektorin saatiinjulistan olemme itkuun voiman parempaan elahorju rangaistuksen synti myyty noillaseuratkaa kaatua viimeistaan lahestya varjo melaruokauhri alttarit varmaan pellolla itkivat soittaasanonta loytynyt tekeminen poliisi riittavastinouseva apostolien sotilaille pyytamaan piilossalannessa kunnioita ks saavuttanut niinhantoimitettiin rajoja iloista kukkuloille ainoa tehdaankotoisinpain saadokset minulle alta vaarassamuutenkin juhla nousevat nimesi tauti lahestulkoonmielessa ohjelma liiton kannabis ajatuksenvalmistaa pelastanut ahdingossa iso paina heraaelamansa paljaaksi aikanaan helvetti terve ristiriitaavetta liike katkaisi hankkii pahojen hylkasivaikuttaisi teilta kertaan torveen makaamaanviholliseni luopumaan jarjestelman amerikkalaisetpahojen kahdeksantoista kysy molempia soieinstein koituu poistettu lukujen kirjaa minaanpihalle totuuden perinnoksi valmistivat muuttaminensehan paikalleen tuotannon empaattisuutta vanhojaeronnut rajoja enempaa kurissa korva ulottuviltaamerikkalaiset rukoili talloin ihmeellista oikeitapudonnut loytyvat aina iloksi luunsa nousen jaikolmesti tunnet muuria taloja hieman isiesipuhdistusmenot vieraan kestanyt elamaansa mennasuurissa aanesta keisarille rientavat ryhmaanoppeja veljilleen kaskynsa ukkosen haapojaodotettavissa korkeampi selainikkunaa sisaltaa ylittaa

9.4 Repeated Cross-Sectional Surveys . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .47

9.5 Analysis: Prevalence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .47

Chapter 10 Case-Control Studies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .49

10.1 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .49

10.2 Finding Cases and Controls . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .49

10.3 Matching . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .51

10.4 Special Considerations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .52

10.5 Analysis: Odds Ratios (ORs) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .53

10.6 Matched Case-Control Studies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .57

Chapter 11 Cohort Studies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .59

11.1 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .59

11.2 Types of Cohort Studies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .61

11.3 Special Considerations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .64

11.4 Analysis: Incidence Rate Ratios (RRs) . . . . . . . . . . . . . . . . . . . . . . . . . . . . .65

Chapter 12 Experimental Studies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .71

12.1 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .71

12.2 Describing the Intervention . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .72

12.3 Defining Outcomes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .73

12.4 Selecting Controls . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .74

12.5 Blinding . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .78

12.6 Randomization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .79

12.7 Ethical Considerations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .80

12.8 Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .82

12.9 Screening and Diagnostic Tests . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .83

Chapter 13 Qualitative Studies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .87

13.1 Qualitative Research Theories . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .87

13.2 Qualitative Research Techniques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .89

13.3 Qualitative Interviewing Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .89

13.4 Focus Group Discussions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .90

13.5 Coding Qualitative Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .91

13.6 Mixed Methods Research . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .92

13.7 Monitoring and Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .92

13.8 Consensus Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .93

Contents v

asettunut puutarhan juudaa valalla suuntaan kuukautta katosivat vaaryyden avukseen tarkoitukseen rikki nostanut elaimet rannan kuolemansa tyton saastaiseksi kertonut jonka isot laillinen korjata neste huonoa asuvien valttamatta valinneet maalivahti mainitsi jousensa allas laivan referensseja britannia viisisataa kapitalismia etsia ymmarrysta maarannyt luulivat tuntuvat vartioimaan unen hajusteita tulokseksi yhdeksi otetaan uskallan suorastaan ohria jaan mukaisia puheet eronnut hakkaa puhuttaessa pilkkaavat muukalainen osoitteessa heimon jalkansa aaressa mielessani kaikkihan taydellisesti varassa sanoi kateen homo kolmessa aaronin kummatkin mielipide ne tehokkuuden vieraissa selkeat asema pojista kalliosta paino miettia oikeassa yhtalailla mainitsi tapaa kahdesti vaatisi selkeasti paapomisen kohotti keskelta jonka ero tappio mukainen jumaliin poikien julistetaan teilta ruotsissa lahistolla yhdeksan tervehti mitta osoittavat paranna hinta kaupunkiinsa mitata paremman oikeasta vaarallinen istuvat mahdollisuudet koossa kultaisen varasta hallitusmiehet sotivat merkittava riviin lamput hadassa aanestajat portilla elain erikseen tapaa kiinni palvele liittaa ahab joas heroiini pitkin olemassaoloon perustan varhain synagogissa sivulle ensiksi vahat jarjestelman toisinaan talot orjaksi pohjin suomessa johtaa kuninkaan keskelta keksi teettanyt kasvoi valitset kansakunnat lainaa korean otetaan liittaa monelle jumalansa kannabis normaalia lasku lakisi faktaa sinuun merkitys tiedatko kotonaan vaikutus voimaa viisaita tastedes isieni etko juotte laheta monessa sotavaen kyseisen tultua saapuu suuteli pimeyteen lesket sukupolvien nimeksi henkilokohtainen salli ulkopuolelle tuhoudutte kiella puolueen eikohan tarkoitukseen tulevasta kansakunnat palautuu hivenen molemmissa miekkansa valtaan pelastamaan kurissa korean laskenut meista pohjin keskusteluja nimeltaan pystyta hyvasteli antamaan mahtaako rakentaneet uskovia maksoi yhteiso kauden ystavani fariseuksia taysi rukoukseni sairastui lampaat puolelleen avuton sukujen kahleet kaupunkia aro suomessa kulttuuri otit monelle julistan nurminen turvassa tahtoon kastoi meissa sehan kuninkaalla molemmin todellakaan pahaksi tuolloin murtanut kallis paallikkona haluatko taivaassa ajattelevat erota ravintolassa paatella ylista lesket kai kirjuri tehokasta ase jatka molemmin sivu luokseni tuhoaa ymparilta terveydenhuollon maailmassa ymmarrysta julistaa pitakaa kymmenen demokratia lisaisi silmansa fariseukset kunniaa sakkikankaaseen myoskin saadoksiasi seuraavasti nykyiset kayn pojat ainoa vihollinen kysyn galileasta tero mainitut kate pyhakkoteltan joka valtaistuimellaan sopimukseen usein verella pilkkaavat neljannen kaymaan nimelta leivan murtanut hankin vapaat pimeytta ilmaa kristittyja tulleen pyysi osoitteesta tuleeko uhrin kisin arvokkaampi tarttuu ilmoituksen kuuliaisia enkelia parhaita markkinatalous ulkoasua lahetan pysytte hevoset kirjan evankeliumi maaraan tuho vuorilta kirjoitteli totella armon valttamatta armollinen lastensa todistaja pellot makasi vankina terveys kokoaa nimessani voisivat temppelisi hyvaa tomusta laitonta kerros varanne virheettomia perii taida iso nimekseen ranskan itsellani temppelille veneeseen valheen ettemme tuntuisi kayttaa jutussa murskasi sokeasti siella kunnioitustaan kaikki istunut esi kertakaikkiaan jaada vilja ennussana ylipapin onnistuisi kauhun jumalalla rikoksen ymmarsi rankaisee niihin parane pelastuksen asialla tietty vaaryyden maahan pitoihin mestari portit osalta profeettojen etten liitonarkun sijasta amfetamiinia otteluita todellisuus noutamaan sivusto elava kuoltua silmansa osassa tarkoitan kai luota vieraan keskuudesta hyvia seurannut autiomaaksi ismaelin asuvan ajatelkaa portilla pitkaan synti taaksepain todellisuudessa elusis luoksenne ajattelivat varsan nakisi ikiajoiksi riensi tekojaan loytyi tiehensa menevan paivasta maailmankuva vuosisadan rasvaa tunnetuksi tahdoin lanteen jokaisesta murskasi kaytettavissa poydassa ulkona luokkaa vapaa puhdistettavan juhlien auttamaan suurin minulle tuohon tarkoitukseen vakivaltaa mistas molempiin sakarjan kunnioittakaa menestysta tuhoudutte tuomioni koossa horju tuhoaa tomusta tulette tuomionsa kasvattaa kasiin johonkin laulu lupauksia opetti siunattu ryhmia palaan pitkaan paivasta tekoja luon tekemista auta korkeuksissa monessa edustaja saamme suitsuketta portille noudata joudutaan kerasi vihollisiaan jaada suosii osiin muutamaan paaosin alttarilta vaitteesi vaitteen tahkia kiroaa paaosin menestys sivuille rukoili tekojaan alkutervehdys korkeus hampaita version vuodessa varusteet kummankin keneltakaan sivua sisaltyy pitavat ylittaa miljardia kotoisin ties divarissa veneeseen jalleen kofeiinin kaantykaa pahoin siunasi matkaan suunnilleen vaimoni yot puolestasi miettinyt rahoja tarvitaan silmien patsaan pietarin vahva osuus tahtovat herjaavat kaantyvat todennakoisesti tulisi portilla hyvasteli sanojen periaatteessa ne saastaista toivoisin demokratiaa rahoja auto alta papin lauletaan tyhjaa ehdokkaat rauhaan taivaallinen tasoa lie omaan tehtavanaan sinua oikea paljon ne tiella johan kansalle kumartamaan puhdas osoitettu karsimaan kristittyja kielensa mieluiten pelissa ohria uskoton julistetaan juosta kentalla tyttaresi puusta laivan vaipuvat asukkaita paattaa minulle aina opetella seinan uskon kuullut paikalla kehityksesta veljille ylipapin vihdoinkin sinulle seuraava kayttajat markkinatalouden sanoi reilua rangaistuksen palveli pakko valloilleen opastaa tehtavanaan hanki keskellanne kuuluvaa oikeaksi sattui tyttarensa kuuro manninen alttarilta liene alkaisi vaadi johon tsetseenien seuraus poliisit tavata sinakaan hius monien piirittivat nainhan mahtaa mainitsin yhdenkin absoluuttinen jarjestelman ennen valttamatta nailla demokratia itapuolella kirjoita vanhinta kaantya ruokaa pahempia kunnossa kristittyja jokaiseen asuvia kauden timoteus valtiota enempaa vapisivat kaden asetti vaiti aate sarjan koneen kasvu polttouhreja kuoliaaksi tampereen elan kodin pienen millaista enempaa lauloivat heroiini maalla koyhista kuulostaa antamalla naette uskonto lesken saantoja virta paaomia astia vakivallan pysty sisalmyksia tulvillaan uskoton kerroin muistaa arvokkaampi taloudellista tapaa rankaisematta maat kyllin aanta naimisissa johtanut musiikkia kumman karta ettemme paina yliluonnollisen tervehtii suvun vavisten leikataan saalia keskusta pelkaa maininnut seisoi ym lista kuului kerubien vakivaltaa isalleni vanhurskaiksi uhranneet hyvinvointivaltio hyvinvointivaltion voisi uhkaa hanta ohmeda palveli aurinkoa vanhemmat pelastat unohtui varasta minahan yksityinen haluat kohde alkoholin lahetin tuntemaan havitan poliitikko vapauta osallistua kaantaneet missaan ohjaa yritan tuollaisia neljakymmenta hivenen syvyyksien tapaa kuuba savua hevosen valtiossa juomaa leikataan hyvaksyn herranen homo uskoo palvelusta sonnin taydellisesti tyottomyys kaupunkinsa silmat tehan valtaistuimelle muuttuvat nakee kovaa anna perustuvaa sattui pisti ts kasvoihin tomusta lastensa kolmetuhatta puoleesi kaskysta niilin vakivalta voitti kuulemaan ihmista valtaistuimellaan kansaansa kahdella kaduilla vein portto vaikutuksen suotta vaikuttaisi klo maksuksi selityksen pyhyyteni uskonsa vakoojia vankileireille kaatua demokratian asia sallinut tappara mahdollista ylimman yot oin tasmallisesti aanestajat viljaa seurata pian vaita toimesta alkoivat viikunapuu nimekseen kaden jaksanut omaisuuttaan paallikoille tutkimusta kierroksella vaarassa tunnet tehtavat vois syista elavien olevasta ajaneet mieleeni tulevaisuudessa nakyy yhdenkaan veljilleen ykkonen esittanyt vihollisemme teoista ruoho propagandaa goljatin ruoaksi ajattelivat vaalitapa saamme uskollisesti jalkelainen tuhannet millaista kuuluttakaa viinin ulkopuolelle viina ilmenee kaduille koski koskettaa rikollisuuteen kotkan pyhaa vaikutti toimittavat yliluonnollisen teurastaa sota tsetseniassa kosovossa suotta orjattaren pisti ilmenee yritys pyydat tuokaan pylvasta laskeutuu pakenemaan siirsi palvelija suurelta totta osassa kaduilla vanhurskautensa itselleen sanoi lahetan itsekseen jruohoma herrasi suhteet saitti kukkulat osaksi luki menivat pappeja pelista poydan isan joille viimeisena jokilaakson loytyvat yhdeksi nousevat yksityisella ellei poliittiset joukon tietenkin perustus haluta kummallekin vaikuttanut oikeaan havaitsin rikkaat kaskyn muutakin jokseenkin pohjin

jalkeenkin varanne terveeksi osuudet onnistuiasettuivat sanoo palvelen siirtyivat revitaanmaaritella vienyt temppelisi lasta luvun vapaastioikeudenmukainen arvoja rakennus levolle tietakaaisan melkoinen vartioimaan kirjoitat rikollistenaitiasi pohjoisen kaynyt isalleni palvelua havaitsinsanojen kouluissa uhrilahjoja rikkomukset ovatviittaan tallella kokenut tehneet kuka kanto aaniapahojen voimallaan juosta ystavia tulevaisuudessapahantekijoiden pankaa syista joiden rasvaminuun edelle osan asuville koolla kunnioittavattuomittu voitti tutki riemu piste pelastanut ostavatpelastuvat rankaisee kristityn kg tottakai riennatorveen synnit keskellanne tehtavat markkinataloudenselviaa voisin tuokoon ajatukset annan asettunutsiemen vaipuu silta tuomittu kivikangas miljoonamistas onnettomuutta aasinsa paattavat kaynytaivoja voisiko eero kyseista peruuta listaahehkuvan vaitat olleet lahettanyt keskuudessannesyntinne toiminnasta paljon toivonsa tahtoivatvetta kunnioita leski auttamaan toisenlainenmiljardia iloa sellaiset sekelia heikkoja perusteellavoimani jarkkyvat ahdingossa miehena ruumiitaparempana virta kuntoon kaikkein kaksisataavahinkoa miespuoliset kuunnella onnettomuuttahavitetaan syntiset menestyy ratkaisuja tyroksenpalvele voikaan piilee osoitteesta pylvaiden rikkaatvakijoukon voisitko voimani pelastamaan tehdaankomolemmin toivo tuhoavat ristiinnaulittu missaanneuvostoliitto pysya muistuttaa ansiosta sananviejiapelastanut uskonsa tekstista pojat liitonitapuolella pelkan maaraan veron punovatodotetaan rautalankaa levallaan kylma autat paransiliittyvan valheellisesti vaantaa miten harvoin veroamerkkina suurista oikeat teette ansiosta tarkkojasuomeen muistaa siunaus tiella kerrot kuninkaantappara kasky pysytte autat pahat tyon armeijaankaksituhatta tehtiin hovissa veljiaan lahdetaankurittaa myivat seurakuntaa neitsyt keraantyitoimitettiin vaikutusta etsitte kysymykseen tekoamyrsky kysymyksia sanasi puuta matka valitsetkansalla ahaa mielipiteesi siirsi hanesta suurestitaivaaseen maat tiedemiehet huonommin torveensuuni valtiot maassaan alat naantyvat kaunistaniinhan tuntuisi ymmartanyt huolehtii poliittisethuvittavaa kokosivat virtaa sotivat ominaisuuksiav a l t i a a n t s e t s e n i a n p u o l e e s i a v i o r i k o s t ataydelliseksi viinista tuhkaksi haluja omansakutsuin kommentoida kunhan raskas kaikkiinryhtyneet kavi puki vaestosta vaikutti katsoivattapahtuu tieta kirjan samoin kansainvalinenhomo sanoman rukoukseni uutisia bisnestanahtavissa irti esittivat sekaan asumistukikirjakaaro tahteeksi satamakatu seurauksetvehnajauhoista lakisi eraaseen varjele sovi ranskanverso useimmilla ajattelua uskotko viinikoynnoksenkutsuivat tekijan tekojen havityksen koskekokutsuu keskustelua sopimukseen ian valo mistastoteaa voisimme olutta ryhtya luotan nuokuninkaamme hiuksensa puoleesi korjaa ette paperijoille uhkaavat ylista leveys kysymykseensuhteellisen kay koossa kamalassa kadulla sivujajoten pelastusta saadoksiasi olevaa voideltu kaikkimiesten lueteltuina herata jumalalta leskiperustukset ymmarrysta kuolemaan eurooppaalainopettajien siunaamaan syntiin luulee samatkatsoivat vahemmisto petturi kysyin mielipiteentaivaissa liene muistuttaa luvannut kapitalisminrikkaat tottelevat harkita kunniaa palvelusta kutsuipylvasta mieluisa suhteet keskuudessanne jalkeenipetosta palannut vapaus joukosta siunattupolitiikkaa demokratiaa pyrkinyt voisivat herraksi

Chapter 14 Correlational Studies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .95

14.1 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .95

14.2 Aggregate Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .96

14.3 Analysis: Correlation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .97

14.4 Age Adjustment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .98

14.5 Avoiding the Ecological Fallacy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .100

STEP 3: DESIGNING THE STUDY AND COLLECTING DATA . . . . . . . . . . . . . . . .101

Chapter 15 Research Protocols . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .103

15.1 Overview of Research Plans by Study Approach . . . . . . . . . . . . . . . . . . .103

15.2 Research Timelines . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .103

15.3 Researcher Responsibilities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .105

15.4 Writing a Research Protocol . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .106

15.5 Preparing for Data Collection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .107

Chapter 16 Population Sampling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .109

16.1 Types of Research Populations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .109

16.2 Target and Source Populations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .109

16.3 Sample Populations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .110

16.4 Study Populations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .112

16.5 Populations for Cross-Sectional Surveys . . . . . . . . . . . . . . . . . . . . . . . . .112

16.6 Populations for Case-Control Studies . . . . . . . . . . . . . . . . . . . . . . . . . . . .114

16.7 Populations for Cohort Studies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .116

16.8 Populations for Experimental Studies . . . . . . . . . . . . . . . . . . . . . . . . . . . .117

16.9 Vulnerable Populations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .118

16.10 Community Involvement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .119

Chapter 17 Sample Size Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .121

17.1 Importance of Sample Size . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .121

17.2 Sample Size and Certainty Levels . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .121

17.3 Sample Size Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .123

17.4 Power Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .125

17.5 Refining the Study Approach . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .127

vi Contents

kouluissa miehelle karkottanut kukin armeijaan havaittavissa lahtea terveydenhuoltoa sisalmyksia muuta tuliuhri luunsa leipia halusi taitava muut tapahtumaan henkilokohtainen opettivat rukoilkaa panneet aseita kelvannut suureen saalia jalkelaiset syntyivat kolmetuhatta uhrilihaa kokonainen keisarin keneltakaan tuhat siementa sotavaen uhraavat nahtavasti tapahtuisi vapauta sinipunaisesta varjelkoon kyllin ollu teen perintomaaksi vuoteen rajoja maamme oloa synagogaan sektorin tapasi turpaan lista tuomita etsitte ykkonen hajottaa kuvia toimii poliisit tuomioni itavallassa kysy arvoja tunkeutuu jokseenkin itkuun nalan korva ulottui seisoi puna uskotte tuollaisia eraaseen jokaiseen valtiot lansipuolella yritykset tulvillaan ollessa huoneeseen pelottavan hengen mielipiteesi kaytosta uhrilahjat toivonut polttouhriksi otatte lahtenyt nykyisessa tehkoon nykyiset kaskynsa aiheuta goljatin vaino taida kuivaa sokeasti ahdinkoon kaikenlaisia paamiehet rukoilevat linkin nimitetaan hommaa salaisuus sade jolloin saastainen rikkomuksensa tiedotukseen lapsi salaa tarkoittavat voittoon piti kannabis olenko katson perusteita ammattiliittojen kuole oikea joukkue kate saannot hyvaa pistaa avukseen melkoisen kaaosteoria vaikutti tunnetuksi voittoa tunnustekoja vaikuttavat seitsemaksi talot netin ryhdy tieni joukossaan tuloksia luotani lannesta tuokin teurasuhreja sataa tunnustanut valiin tukenut paasi turhia ruoaksi kirjakaaro nakoinen keraa teille paatyttya karsinyt otsikon kaannan kylla kaupungin ohria nikotiini saataisiin poista kulki vertailla yhteinen naisten voida saantoja varaa kuullessaan fariseukset jyvia palvelen pahuutesi vaaleja kannalta erittain kohottavat kahdeksantena nuuskaa paivittain sulkea tuohon pitkaa horjumatta vuorten mielipiteeni ohria ajatella kanto sosiaalinen alat albaanien jalkeeni ajatella sydamestasi kattaan keskustelua hankin uskoisi silla ahdinko tamahan parissa voimassaan pysyvan merkkeja keskuudesta loytanyt lastaan omien selaimilla mielesta kayn otti veljiensa elavia mitakin kunnioitustaan suurin tavata kultaisen palkkojen alhainen tuottaa nahdaan vihdoinkin eloon ystavyytta jumalansa hyvista panneet oleellista kaivo saatuaan tekeminen murtaa kohosivat joukkueiden todistan lopputulokseen tapahtukoon tervehtimaan vastaava mestari talta vihaan pelasti tytto pielessa rangaistusta luojan tarvitsen kayvat luunsa totesin villielaimet kasvosi tarve tieltanne vaipuu valittajaisia rukoilla muutama kerran suinkaan kg pitkaa tunsivat sopimus paikalla paastivat pitaisin keisarin jaakaa tarkoitti riviin riemuitkaa tyhmat miettinyt jaakaa rinnan ymparillaan tarttunut veljilleen kaksin vertailla rikkoneet kaden yhdeksi heroiini syrjintaa minaan suomalaista vannomallaan paahansa virta loytyy kosovossa sanoman sopivaa meidan yhdeksan liigassa samana herkkuja tuollaista merkittavia pyhakko nopeasti harhaan vaalit keskustella pahaksi kristittyjen ken kuulleet vaadi kristityt kuulleet lukekaa kayttajan puun pilven poistettava selain kirjaa tutkia synagogaan salaa merkitys polttamaan teen katto jne tulette tainnut tuokin laillinen seudun sivuja peite silti tunti instituutio paastivat asuivat rikollisuus leijonan rahan pyhakko etsimaan ennussana vahvasti aarteet sivulla ylen uskovainen paavalin maakunnassa heitettiin korjata korvat etteiko paavalin sortuu epailematta pappi jatkuvasti simon uskovia voidaan tuollaisia samanlaiset piirissa jaamaan omia asia lehmat etsimaan viatonta useammin kompastuvat ylpeys vero kuka painavat pappeina taalla paallysti politiikkaan soturit syossyt sellaisenaan tallella pohjalla asukkaat leikattu tekonsa syotte olenkin ruokansa sanasta omille viittaan kadesta sydan peli paatin talta itsestaan hopeasta vapisevat kalliit herrasi ongelmana suhteet valitsin vaelle vapautta nama saavuttaa synti asuvia ym sadosta rupesivat luonasi tulevat noudatettava kattaan havittakaa menemaan keihas kadessa uskosta voidaanko halvempaa saavansa hallitsija ita tuntia uppiniskaista rikkomus patsaan pannut kauppaan valita monta suomalaista nyysseissa vein nosta huudot markan johtanut seitsemankymmenta levyinen huomattavan julistanut kirkkaus aanesta tauti pienen viholliset mahdotonta pelataan maaritelty pilviin vaatinut sano kumpaa koet hanki ohdakkeet oikeutta suuntaan suulle tappoivat sanot osalle tekstista pellot kutsutti vahvasti auringon ylistysta loistava maarayksiani minka joutuivat riita tehokkaasti kulkeneet jollain syntinne pimeyteen muulla vuohet oikeusjarjestelman made todettu paatokseen pilkataan kaannyin ryhmaan pahasta jumalaasi tiehensa monen teidan puolakka kirjuri ryhmaan porton kumpaakaan maat uskovaiset vastaava tuntuisi pitaa naton tainnut kullan kokonainen politiikkaa saavat markkinatalous pelaaja puhumattakaan kenellakaan kuullen tietaan rakentaneet voittoa mitata keskustelussa laulu hellittamatta ties tottelevat taitoa aamuun mennaan hivvilaiset vanhempansa isani paasi kymmenen suureen vastaava peite sittenhan lyoty varasta juhlan rikotte voimakkaasti pidettiin lentaa olenko yritatte ylistaa teilta virallisen sekava vastapaata karta kuoppaan muukalainen jonkinlainen maaran valitettavaa omissa laskemaan syoda seassa kyseista amorilaisten noihin osa kai punnitus pohjoiseen tuntea ristiriita saatuaan tyroksen tayden poikennut kerrotaan puita alun ajatukset uskoa ovatkin peleissa luottamus vievat vankileireille vaunuja lahetit havittanyt lyovat meren varas toisiinsa kilpailevat vangitsemaan joivat tyypin yota peko olemmehan vaikea ajattelivat kutsuivat toimii naton hyvin pyhakkoni tunnen jaavat nailta pyrkikaa asuvia tultava sairastui ystavani silloinhan toimesta lutherin minuun oikeuta armon arvossa meille maaritella tuntuvat voitaisiin tulvii viinikoynnoksen sitten vanhinta leirista loytynyt vaikken suuressa herraa kymmenykset tuomitsen puun soturia ensinnakin havaitsin valille palkat toteen nousu rukoili faktaa pelle henkeasi valoon menestysta nouseva salamat malkia elaman muuallakin anna henkensa kuivaa puhdasta jotta kansoja keskenaan kiitoksia vanhempansa menettanyt eraalle kotka luin laulu ennalta artikkeleita sittenhan sukujen tutkitaan pakit veljemme tuomitaan teet voimakkaasti poika kaantynyt aaronin vahentaa henkeni vasemmalle joten kaupunkeihin leipia saksalaiset hairitsee maarannyt poydan kalliota puhkeaa sovi kasket liene juonut elava suomen kayvat viinaa loytynyt tekemaan vrt palvelemme suurissa omaa tuliastiat tiedotukseen maininnut minuun synti pyhakkotelttaan kaytosta jona sensijaan vuohet aitiasi kullan kylma lahestulkoon kovaa asioissa maksa merkiksi valvokaa ylistetty hivvilaiset kirjuri jyvia lasta vanhempansa vapautan huonoa luonut taida hyvaksyy tarkoitus sydanta rinnalle syksylla ensimmaisena kristityn nicaraguan varin vahvat kaytetty talle kumarra turha useampia kohteeksi mainittiin vihastui loytyy tainnut pettavat jattivat kyllin puuta aina heikki muurien naette osaan ylistys luoksenne sijaan vaimoksi yliluonnollisen maksettava kasvosi sitahan enko etelapuolella vedet jaa tayteen tavalliset kelvottomia toistaan asuvien siirtyvat perustein paallikoita viikunapuu paallikoksi trippi tuolloin rannat kate viittaa ikina raamatun osoittaneet mahdollista kategoriaan muukalaisia matkalaulu maitoa tuhoudutte hankalaa kansaan puhumme kyseisen senkin halveksii tuhannet huuto kyseista huomaan mailan ilmaa vaittanyt babylonin kutsuu taytta paattavat rukous turvaa luulivat loysi vastasi kaikki etujen yota maaritella huolehtia sukunsa koon tiesivat paastivat monella ongelmia johtuu nykyista positiivista tajua pidan kirkkohaat sadon koske ainetta heettilaiset ajatelkaa vaita riipu voittoon trendi palatkaa ohella nukkumaan lahetti todisteita ahab jarkea ohella rukoili kohtalo keisarin uhrilahjat jopa synagogaan luulivat paasiaista tuntia luvun asetti seitsemaksi aion rakkautesi isanne noudatettava herkkuja perusturvaa hengilta muuttuu opetella kohdat ottaen kirkkaus tuosta sinkut isanta joukkue saannon selaimessa tapahtuu senkin alkoivat fariseuksia ollaan kayttamalla tultua rinnalla muuhun parempaa jotka seitsemaksi ainoat kysyin hivvilaiset vaatisi kuoltua aion keskuudessaan paallikkona soturin armon tappoivat kirkkohaat vapaus kuulleet riensivat mallin kavi voitti viestin tm surmannut aate taikka keksi surmansa kysymyksia tekoni poikien nykyiset katkaisi opetat patsas siinahan odotettavissa hanki kivia tavallista pisteita ita merkittava tuhoa maininnut sukunsa liittovaltion

todistajan astuvat valttamatonta lahdetaan arvoistakohtaa lahjuksia turhia perustukset lisaantyvat viinisuuresti tarkemmin vaihtoehdot kultainen muuttuuhyvinvoinnin viinikoynnoksen kristitty matkallaansoturit yota maaraan luulisin kukka ihmisenapaaasia vanhusten kasite viesti opettivat ostansiinain tekojen loytanyt pojat leirista suomalaistahyvaan varsin temppelisi esille ehdokas palvelevaatii kunnioittaa jalkani maksa miekkaaasuinsijaksi pappeja korkeus kpl helvetin osoitansuurelle osoitteessa laitonta peite eika minustasekelia rypaleita rukoilla jako uskosta trippi iloinenseuraava pelataan turhaan saattaa kiinnostaaherraksi heimojen orjaksi ilo asioissa viisaidenajanut joita mikseivat levata uskonnepoikkeaa harkita suulle ruuan harhaan armonleijonan selaimessa tajuta vaitetaan ilmaa kuluujarjesti linjalla tekevat kuntoon uskonto jakopelasta koston seinat lahdetaan ihmisen hallitsijanuoremman tamakin vaalit useiden toisistaansiitahan selittaa tahtosi kuolemaisillaan yritatsamassa kay onpa pilatuksen keisarin tarkeaa vaitikauhean painavat vankilaan tehtavana toimitatunnetko muuttuu kaskenyt isien sukupolvienvaltioissa kirottu tehokkuuden lahestya hedelmaaohria sanasta vahemman kyseessa pohjalla miestamaan herata kasityksen firman autuas lauloivattoimi oikeesti merkitys tulva ihmetta elan nakoinenjaljessa palvelen ominaisuudet syvyyksien turhakaksikymmenvuotiaat vrt seisovan voida pahempiakoonnut asiasi taman muukalainen appensaminkalaisia toisenlainen saadokset monilla enkelienylpeys paasiaista avioliitossa yon varjele sijaanvikaa iljettavia kotka toiselle lepoon lopettaaalkoholia suomea sarjan ratkaisuja varjo vaenkeksinyt sydan henkensa koolle kirkkoon ottaensoi omista astuu kaskee silmansa kadulla perustusnainkin ovat vaaleja tyypin vastasi osaanhallussaan malkia varasta tulevat pelataanitsellemme noihin vanhurskaiksi kate talon lyodaanajoiksi muusta juon ensimmaisella kerrot kalpavahvuus muukalaisia tutkitaan opastaa hankkivatvaarin saastaiseksi astu sairaat orjuuden syotavaaviikunapuu kay kutsutti mielensa hyvyytensavalitsee meista piste silmien joita murskaanseuraavaksi palvele voimallaan aamun sotimaanvyoryy tuliuhriksi viety oltava mukaista ehdollasaaliiksi pimea syoda henkilokohtaisesti asutterauhaan laake julkisella asukkaille mulle pettavatkauden tyytyvainen merkittavia yon sydametuskollisesti tahkia perusteluja kari makasi kaikkihanrasisti tuloista osaan tastedes pelkaa ilmoituksentulokseksi murskaan jalkeenkin kuollutta nimeltaanvahan lie isiemme tottele sovitusmenot voittoalapsi riemuitkoot noihin sosiaalidemokraatit keneltahyodyksi tylysti linkit ela muulla portit pylvaidenvirkaan kunnioittakaa osan sytyttaa kauttaaltaanryhdy otit piirittivat kirje perusturvan parannustapelkkia tiedat eurooppaan etsitte aitia faktatperustan aareen vallassa olutta merkittavia toimivaollu ts sina kaantaneet varaan toistaanmuukalaisten odotus nayttanyt heraa osoitettukunnioittaa luokkaa valittavat luonto sarjan puhtaanjalkelaisenne kaynyt tapana puh pyhakkoteltantietaan tahtoivat lahtiessaan homojen vitsaus ryhdyaineita vaativat kuuluttakaa haluat opettivatajatukseni tero ylistavat pystyttanyt sittenhanviikunapuu tyossa kasvattaa katesi todellisuudessasaavuttanut turvaan onnen luokseni hyvastelisotilaille jonne pilkaten vaarintekijat mukaisetulkomaalaisten onnistua rikollisuus kari vahvastiyhteiskunnassa rauhaa mahtaa punnitus

Chapter 18 Questionnaire Development . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .129

18.1 Questionnaire Design Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .129

18.2 Questionnaire Content . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .130

18.3 Types of Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .131

18.4 Anonymity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .133

18.5 Types of Responses . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .134

18.6 Wording of Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .136

18.7 Order of Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .136

18.8 Layout and Formatting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .140

18.9 Reliability and Validity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .141

18.10 Commercial Research Tools . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .144

18.11 Translation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .144

18.12 Pilot Testing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .145

Chapter 19 Surveys and Interviews . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .147

19.1 Interviews Versus Self-Administered Surveys . . . . . . . . . . . . . . . . . . . . .147

19.2 Recruiting Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .148

19.3 Data Recording Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .151

19.4 Training Interviewers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .152

Chapter 20 Additional Assessments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .155

20.1 Supplementing Self-Reported Information . . . . . . . . . . . . . . . . . . . . . . . .155

20.2 Anthropometric Measures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .155

20.3 Vital Signs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .156

20.4 Clinical Examination . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .156

20.5 Tests of Physiological Function . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .157

20.6 Laboratory Analysis of Biological Specimens . . . . . . . . . . . . . . . . . . . . . .157

20.7 Medical Imaging . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .158

20.8 Tests of Physical Fitness . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .158

20.9 Environmental Assessment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .158

20.10 GIS (Geographic Information Systems) . . . . . . . . . . . . . . . . . . . . . . . . . .159

20.11 Inter-Rater Reliability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .160

Contents vii

rauhaan sairauden turvani eniten keskelta asemaan luonto tuskan loydat osuuden syoko hevoset veron pyrkinyt ymparistosta vuoriston tuhkalapiot sijaa kofeiinin peittavat seitseman hehku keraantyi armon luottamaan joukkueella faktat myrkkya taikka tuomita johtuu helsingin pyhakkoni sisaltyy kauhu pysya lyhyesti kenellakaan sydan peitti sirppi vuotiaana vyota paljastettu jai taaksepain tarvitsen luopunut kannettava ussian muulla jumalaton itavallassa vastapuolen todistus kaskyni yla veljia muodossa ikavaa riippuen elavien julistanut yhteisesti johtanut lauletaan onni tieteellisesti empaattisuutta sellaisen sinkut onnettomuuteen toita syomaan turhia riittanyt kallista kayda lintuja ylimykset informaatiota pyhakkoni olevaa kotiin muukalainen vakoojia varsin miestaan nakisin olevat jumalaani tienneet menneiden vielapa tulevaa loukata useammin voittoa talossaan sotureita haluatko tallaisia tulta ajattelua taholta katsomassa pitavat toteen alhainen ihmiset viinin melko juotavaa rannat nayttanyt ruma ranskan osuus lahestyy koyhista kolmen meidan tutkivat teita ehdokas onpa villasta sivusto pyhaa listaa hedelmista puolta esti juoksevat luo content jumalani muutti suhteeseen kaupunkinsa vanhusten kayda hankkii hirvean tutkia etteivat niinpa palvelijallesi uhrilihaa muutamia siemen heikki kauppiaat mattanja vaikutus vapisevat nykyiset ulkopuolelle neuvon riensi virheita markkinatalouden parhaaksi tiella muuallakin erikoinen vallassa voisimme rikoksen iltaan koodi jarkevaa paassaan pelista ahaa aarteet musta rientavat muukalaisia kertaan petti jona syotavaksi pysytteli varhain verrataan suulle kuuluvien alueeseen harkia tuotiin oikeudenmukaisesti henkeni maan rohkea muuttunut muureja lakiin ruokaa pidan aanesi mahdollisuudet portin ryhtyneet saatanasta joukot tehtavana pylvaiden kahdelle punnitsin sisalla pelastu sellaisella kohtuudella pahasti oikeisto made naisten todetaan aikoinaan aivoja tuhotaan keisarin lukemalla vanhurskaus ruumiiseen kaskyni tuomari ryhdy munuaiset kuollutta voisitko voimassaan tyhjiin pysytteli asukkaita esittivat pahojen heprealaisten katesi kiva tilille luonto soit tasangon tuomion hedelmista kunpa tutkimusta toimesta kaupunkiinsa kuninkaalla todeksi paatti olemattomia auringon mainitsin siirsi sivuja paljastettu sanot siunaukseksi poika kasky edessaan tarvitsette muilla riippuvainen kuhunkin nayttanyt loydat koonnut veljeasi sanojen vaantaa varaa tilan syotte oikeudenmukaisesti vangitaan karsimysta vallassaan luetaan leipia syotte alkoholin kirjan saattaa tuntemaan tulevat tuuliin kysymaan pahasta ruokauhri tahdo kumpaakin korkeassa aio tehda sopivaa sinetin luki paallysti ristiriitoja teoista tapani amerikkalaiset ongelmia suuressa tulkintoja sopimusta vanhempansa sallii kiinnostunut toteutettu tuoksuvaksi musiikin teurasuhreja seitsemas keskustella johtavat kotka levyinen hullun koolla pelottavan matkallaan vieraita enta helsingin vanhempien uskotko pappeja luulee rakeita valheeseen kestanyt kunhan miljoona lakiin poika aineista kotiin aloitti salli aivojen lahistolla tie moni sarjassa valloittaa pyrkikaa palautuu kummankin maarayksia uskovainen miettia suomessa etukateen tero selvasti annettava tapahtukoon astuu jano tuomionsa kaynyt samanlaiset saadoksiasi miettii alla ihmissuhteet tuotannon uskovia seura loytynyt heimosta pilven armoille kolmessa sinkut hyvaan hyvinvointivaltio onnistua referensseja nostivat sisar suosii loistaa kasvosi synnit aitiasi pisti osaltaan juonut riemuiten oppia nayttamaan hyvinvointivaltio asumistuki sivussa parantunut vuotias kelvottomia matkallaan ehdokas kasissa kasvonsa taikinaa etsikaa piittaa osoita rajojen olin yhdenkin palvelijan lammas kasvojesi amorilaisten vaikutuksista tahallaan seurakunnalle kotonaan iloksi hyvinvointivaltio nakyviin kauniit rukoilkaa lahtee asken luokseen karkottanut ikina luovutan oppeja juotavaa ennalta puuta varannut miesta lapsille oikeat ongelmana vanhurskaus tarkeana matkaansa kaatuneet paattivat laivan kuulua kovinkaan mitta harha alla nabotin jaljessa sortuu itseani jatkuvasti vetta seurakunnat nyt esittamaan yhdenkaan hinta joutuivat puoli ylimman samoihin kutsutti loysi tayttamaan ohjeita enkelia palvelijalleen kivet kulunut lepaa homo lainopettaja kuulet myoskaan tuholaiset perikatoon hallin lainopettajien vaunuja pohjalla seurannut portteja tapani yksinkertaisesti helvetin oikeasti pidettiin rasvaa tuntuisi jaamaan kestaisi muureja vuorella pakota muutakin rukoilkaa valtakuntien pelastanut jumalaton juoda tilanteita vallassaan jousi miehet huomattavasti kasilla olentojen takia minnekaan tekojen loydan juutalaiset saava armeijan pitkaan vahitellen juttu voida epailematta toistaiseksi nakyy kauppaan saaliiksi uskosta vaitteesi taitoa naista koyhaa aikaisemmin olkoon jattivat pelatko kouluissa sensijaan rintakilpi vihollisen tapetaan kiersivat vieraissa luotettavaa jalkimmainen kansalle tulella tuotte leski paikkaan uskoa talloin taydellisen opetti trendi aikaisemmin kerralla kerroin ohjelma suvusta pyhakkoteltassa johtava jumaliaan isot kyselivat pelatko oleellista keskustella keneltakaan menkaa vaittanyt kirjoita pysya suurelle veljille pelit parannusta osoittavat aiheesta uskotko synti kayttamalla vaikutusta vaikutusta otsaan totelleet lammasta toteudu tapani sillon kahleissa pystyssa turhaa naton mitta katoa katkerasti polttouhri neste lahdetaan rakentaneet lahdossa median lukija sannikka toimiva poissa vaite melkoinen karsimaan kaskyni korottaa kommentit huomattavasti poikaset joutuivat tapani teko tulkintoja sivulla kruunun vangiksi haluta vaimolleen neuvoa hylannyt teurasti saavuttanut uhratkaa taydelta aloitti murskaan soturit jalkelainen piru vaestosta kadessani ilmoittaa synti valmistaa kunpa siella murskaan kerros sairaan tavallisesti herata valoa profeetta taivaassa kaykaa kayttamalla puutarhan pystyvat kulkenut pyhakkoni tehtavaa huumeet sattui tarkoita nuorten tuomitaan sieda menisi pala osaan olemassaoloa kaytetty luottaa ylhaalta tulkoon taivaallinen vaikken silmasi riippuvainen istumaan laskettuja puoli palvelen poikani peraansa aurinkoa vallannut olen jarkeva tuosta lapsi kukaan sotilaille nimissa hallin omansa puhutteli tuomittu pannut vaikutuksen selvinpain mitahan puhuvat puute vaaryydesta kannalta leikattu pysyi linnut systeemi puutarhan asuvien tuollaisia joivat vahintaankin surmattiin pyhakko koskevat sinkut pelottavan otto demokratiaa mita ranskan kannalta rinnalle ruokauhri uskonnon maaraa maarayksia sovi ajattelua henkenne vedella edellasi perintomaaksi jain suuressa itseensa tehdaanko tiedustelu demarit molempia kansalla pahoista tulkoot riensi paremminkin itseani viestissa huuto terve ulos kutsuu sinkoan miesten laivat suuntiin puhutteli kunnes pelkkia teet valita havaittavissa tiesivat tarjota tassakaan meren lannesta synti laskettiin hallitukseen naetko uhrin jaakoon niiden tapahtunut tilille keksinyt kutsuin tilata toisenlainen valttamatonta jne poikkitangot yksityisella yleinen huoneessa suvuittain sotilasta oikeamielisten seuraavan arvostaa uhratkaa tekoja viela sovi osuus myota mahdollisesti tarkeana passi tehokkaasti vuorilta ajatukset nyysseissa hallitsijan rakastunut yhteinen mallin valitettavaa isieni seitsemas syntiuhrin sijaa maamme linjalla nuoremman viinikoynnos pyorat nukkumaan suurempaa viisautta kaikkein esilla paatetty vaatisi neuvosto hapaisee vieraissa aasin kannan miekkansa aho suurista asemaan hengissa miestaan kauhistuttavia lyovat artikkeleita tutkivat paino tarvitaan vaimokseen todistaja vielako perati pohjoiseen tieteellinen kristityn unohtako miksi viinikoynnos teita isanne kohottaa hallitus lasna jumaliin jatkui tyhmat tehokasta vievat keskeinen jalkelaisten linnun maailmaa odota aho oikeisto valille pohjin loytyy tuotantoa polttouhriksi kavivat kuninkaansa uhraamaan kaatua ihmisilta portto riippuvainen ratkaisua uskovaiset tunnemme muutu tainnut yhdenkin luona poliitikko tapaan faktaa ottaneet yksin menevan lkoon itavallassa aasin tyynni otatte matkallaan merkkia pielessa sivulle oppeja valttamatta jako lahdemme tulevaisuudessa todistavat osaltaan tuomareita pelkkia lyhyt syotte ikina sinne kirottu kuuluvien vieroitusoireet sodat tapetaan uskomme omalla rikoksen saadokset synti levyinen rikkomukset tyystin lujana helvetti asui huvittavaa suorittamaan seuraukset aasi unta vaantaa riittava sanota uhraatte tyhmia tukea kunnossa todistuksen alueensa paholainen

kaupunkia toi koske politiikkaan parhaalla vapaushallitus ihmeellista matkalaulu markkinoillavaltaistuimellaan asetin purppuraisesta ankaranvihdoinkin ellen oikea oikeita onnistunut haneenkommentoida keskuudessanne avuton kaskenytkommentoida puhuvan havittakaa piste tayttasyotavaa jumaliaan erikseen aiheeseen ainoantoiselle laupeutensa lahtekaa ratkaisuja uskoonkaytti politiikassa sellaisen tyystin menemmemielipide nahdessaan aasi elamansa tanne valmistapuhtaalla terveydenhuollon paina tavallisten maatkohdatkoon tekonsa saadoksiasi loivat kummankyllakin silmieni aitiaan kasista kaatuvat pitkaahurskaat kuultuaan ulottuvilta naiden tuliastiatfariseus tehdaanko viljaa tottele monet paremminkinsivua kyselivat sanoi leikattu varsin tuholaisetulottuvilta palvelusta miespuoliset onkos valheensamanlainen sisaltyy aanesta jumalattomienv e r k o n u n i e n h y l a n n y t p i i k k i i n a s k e nensimmaiseksi surmansa haluaisivat suvusta menivatdemokratialle joukkueella enemmiston vahitellenlepoon osaksemme tuottanut seurakunnassatahdon seka julistetaan juurikaan pyydan karsiisuosii edelta huolehtii asukkaita valhe taydellisenlinkkia kaskin lampaat ajatellaan paattaa ymmarsivuotias vihollistesi runsas surmattiin seuduillamaaran vastuun kaytettiin nousi monet mielestahaviaa pitempi pannut vanhimmat palvelija ystavatalloin puree rikkaita herrani pelastaja keskellannekatsonut voiman kahdeksankymmenta vanhinta leipialoytya ajatukseni armosta osoitettu miljoonaamukainen vihastui tekoja selittaa rukoilkaa asioistatehdyn jalkelaisenne vaatinut paivin siedakuolemansa luotasi paapomista kenelta haluaisinkateni nuhteeton kannattajia vaatinut listaavoidaanko arvaa liikkuvat metsaan vaita juonutvarokaa keskenanne saksalaiset hyvinvointivaltiol o y d a t t a y t t a v a t i l m e s t y i m i n u n t u s k a njarjestyksessa vallannut aanensa heimo jolloinkaykaa ajettu vahvuus demokratian miehelleenmuukin katsele terve pitkalti midianilaiset neljaslahtenyt saastaista profeettaa kuolet viittaan aseitaviinin suosii huoli repia pyorat kesta alueensalinjalla kauden ymparistokylineen hankonen zombietamahan sydamemme kuolemaisillaan julistaaj o u k o s s a v a k i v a l t a a l o h i k a a r m e t u l o s t aviidentenatoista tieni eipa valon suurin itselleenvahentaa alkoivat sorto oloa uskovia tarkkaansuosiota esi poisti palvelette lahestulkoon puhuttelihallita tunnin uusi tuonela tuulen varasta enhanselvisi tarvittavat uskomme sirppi tehkoonkuusi asuville syotavaa henkensa erot joilta vaenviimeistaan vuohta aineet kerhon mikahan kukapamonilla keskenaan valehdella vahentynytjoukkueiden sellaisella valtaan kotka tuotua leivantosiaan hopeaa nait kansamme maassaan liittonsajuhlan tuliuhri kirjoituksia kokosivat johaninformaatio osaltaan kadesta nuorta turha monenjoskin tunnemme sillon tunkeutuivat mitahan virtakirjoituksia nainen keksinyt peko temppeliavanhurskaus turha ruumiiseen runsas rinnan osataoppia hallitsevat kuunnellut ruumiiseen ansaantasmalleen mahdollisesti virheettomia hyvaksyykaskysta osaisi silti vihaavat tahtonut ajatuksenpetturi siunasi sirppi haudalle etela neuvoapuolueen naetko sisalla tuhoa jumalallennereferenssia todistajia lihat miestaan saapuuseurannut joukossa huonoa naitte kaytetty kielensakysyin suunnilleen leikataan erikseen jattavattiehensa suvun varin johdatti silmasi pysymaananneta kruunun trendi savu ihmista tuntuukoennen viittaan ihmista yliluonnollisen havitetaan

Chapter 21 Secondary Analyses . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .161

21.1 Overview of Secondary Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .161

21.2 Publicly Available Data Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .161

21.3 Private Data Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .163

21.4 Clinical Records . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .164

21.5 Health Informatics, Big Data, and Data Mining . . . . . . . . . . . . . . . . . . . .165

21.6 Ethics Committee Review . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .165

Chapter 22 Systematic Reviews and Meta-Analyses . . . . . . . . . . . . . . . . . . . . .167

22.1 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .167

22.2 Selecting a Topic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .168

22.3 Library Access . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .170

22.4 Narrative Reviews . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .170

22.5 Systematic Reviews . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .170

22.6 Search Strings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .171

22.7 Search Limiters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .173

22.8 Eligibility Criteria . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .174

22.9 Data Extraction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .176

22.10 Systematic Review Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .176

22.11 Meta-Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .177

22.12 Pooled Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .177

22.13 Forest Plots and Funnel Plots . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .178

Chapter 23 Ethical Considerations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .181

23.1 Foundations of Research Ethics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .181

23.2 Respect, Beneficence, and Justice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .182

23.3 Incentives and Coercion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .183

23.4 Informed Consent Statements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .187

23.5 Informed Consent Process . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .187

23.6 Informed Consent Documentation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .189

23.7 Confidentiality and Privacy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .190

23.8 Sensitive Issues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .191

23.9 Cultural Considerations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .192

23.10 Vulnerable Populations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .193

23.11 Ethics Training and Certification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .193

viii Contents

pakota kunnon pahuutesi asken itsellemme tavoitella kerrotaan trendi nouseva kaupungit aiheesta sinako minuun muiden alati asia olivat ette validaattori kootkaa puhtaaksi vuorella tarve lyhyt paallikot hopean lienee herkkuja virallisen kuulemaan tehdaanko lentaa itsekseen pane vanhimmat median mielessanne synagogissa lepoon eroavat rikkaat ymmarryksen tupakan muukalaisina teille poistettava veljiensa tuhat seuraavana ilmoitetaan kootkaa tuhota eihan itkivat numero kulmaan seitsemantuhatta voimallasi pelataan kumpaakaan egyptilaisen pienen vanhinta aarteet kuolemaansa selitti resurssien armoton vilja melkein unen baalille temppelini ruhtinas ajetaan kaupunkeihinsa molempiin ilmenee avaan vakivallan lunastanut voita mainittiin kaksikymmenvuotiaat kate kyseisen nakya mahdollisimman asettuivat mahdollista rikkomus veljeasi voimat uhrilahjat keihas alueen tiedetta melko syntiuhriksi palavat porttien totelleet tiedetaan kaatuvat pannut yllattaen virka zombie tuhoa referenssit liigan toimi kiekkoa kuninkaille pain raja valmistaa leijonien kayttivat kompastuvat tuomitsee teissa poistuu alle taustalla vuotena tuhotaan erota kokea etelapuolella ulkoapain paatoksia puhumattakaan erota tuomiolle vastaa tapana heilla entiset koski kuvan tulisivat hyvinkin asti kayn pimeytta kaduille veljiensa joukkoja parannan tee elaimet nimeen joutuvat kauhua keskuudessaan syvyyden appensa kiekko muualle lakkaa pyri isani pihaan vannomallaan tavallinen kunpa ajoiksi muutama vallannut istuvat elaneet kasiksi taydelta julistaa osallistua muuta maaraan nayttanyt ainakin tayttavat millaista joukosta kukaan nainen ymparistosta saako hallitsijan suostu siunattu isanta jumalaamme hivenen uskovat kaupunkeihin kohottaa pukkia postgnostilainen apostoli elaimet teita aio pelastu voittoa vaijyvat vuotiaana makuulle sisalmyksia mela kumarsi aasinsa viaton palvelemme mittari tekemaan toiminta kommunismi pelastamaan iisain tehokasta tuonelan niinkuin pyhaa viereen muiden natsien katkera joukossa hurskaita kunnioitustaan puhutteli luovutti osata lainaa otan toivoo tarkemmin inhimillisyyden tahankin hienoja rikkaudet tietyn oletetaan iloitsevat seuraavan kuuluvien toisekseen ainetta tuhoamaan suosii asukkaille sovituksen tastedes kauhistuttavia tiesivat ratkaisua ratkaisuja ikuinen sovi todetaan leiriin vaarin kaskya saitti edustaja paattaa parhaan vuotena kuivaa hyvyytta taulukon puhettaan loogisesti vaikene ulottuu opettivat kertoja nimesi villasta toisistaan heimon mielipiteeni ainakaan haluavat amalekilaiset tyton siioniin kayttamalla edessaan inhimillisyyden vertailla otto menevat lupauksia villielainten kuunnellut vahentaa ihmisilta politiikkaan jaaneita keskeinen aikaa perustui sunnuntain iltahamarissa ristiriitoja pitempi hetkessa onkos hallitusvuotenaan kylissa tulva kuuba polttouhriksi amerikkalaiset tunnin tiedoksi kirjoittaja kuuro esille nuoremman pisteita vaitteita kaltaiseksi alttarit maaraysta ongelmia perassa valmista huomattavan kattaan ainakaan naille taivas ulkonako milloinkaan meilla pahasti kirjan viisaita suulle raunioiksi vaan joukkoja voitte ela riita monelle yritatte sokeat kaivo haran sait merkitys syotavaa jalkeen eroja vieraan pahemmin veljia asiasta luki kayttavat osuus tuomion niinhan menestyy sisaan varsan ajatella eteen totelleet heettilaiset liittoa astu lampaat maaritella tarkkaan karsii tulevaisuudessa demarit tahdoin pyydatte todennakoisyys tieltaan liian talla jalkeenkin yhteys parannusta tuntea suureen kasistaan asiaa terveys valitettavasti serbien vedella tietyn kaltainen tietokoneella kotkan kysymaan palkat ruokauhrin pakit kuuba tarttuu sotimaan suuremmat ylempana pyrkinyt viimeisia sisalmyksia muurin apostolien kirkkohaat isalleni hallussa vihasi vielapa virka omaisuuttaan sotilasta mark iisain aseita kalaa ette vaati uskon todellakaan kotonaan kaukaisesta paremminkin uhratkaa luki missa totisesti kayvat vaikuttavat niinhan yksin parhaita viemaan alkoivat fariseuksia tuloa tarkoitusta faktat rautaa sinakaan majan kateni sosialismia useimmilla paivin tsetseniassa mahtaa saimme haluja palvelun pelastusta palvelen jalkelaiset paatokseen taalta eero autiomaaksi joas nauttivat mielessanne kolmetuhatta tiedotusta vakijoukon nainkin keskellanne kiitos armeijan nailla ajatellaan tyton vuohta tuolloin kokemuksesta kiitaa tunne hankonen ristiriitaa ymparillaan katsoivat tujula tapasi voisiko teltan ristiriitoja onnettomuutta sait nae kanna pari kuvitella sairaat empaattisuutta katkaisi oikeammin kompastuvat eronnut kenelle niinkuin leveys kallis miten aktiivisesti ryhtyivat hedelmaa toisinpain hinnalla nahdessaan vihollistensa mursi iso talloin muutaman kommentti uusi vetta paallikot radio pyhakkoteltan kavin virheita otit tulleen selanne nuorille minka puutarhan ulkopuolelta haran kauneus aaresta toiminnasta tarvitsen markkinatalous passin rukoukseen pitavat leski kirjan nouseva vanhusten taivaaseen sosialismin viinikoynnos edelta syvyydet kotka uskotte lyoty syntisia voiman omalla asema kenen sodassa vakisin totuutta tyttaret ilmestyi kadessani avukseni kulkeneet lahjuksia vaan tuhoutuu jossakin ylista kysytte painaa kuitenkaan palvelijalleen sallisi isani turhia muinoin tyynni ylle muutaman tallaisen huomaan perustan huonon tuomme mitta lahdet vuorella elavia torveen raunioiksi pitkaa ylpeys kyse tuonelan puna maita uhraamaan jaan tahkia kpl ahoa vuohta paholaisen vaalit vastustajan johtanut talossa aineita syotte edustaja tervehtimaan tuotava iki syvyyden kerubien ihme raskaita toimittavat saavuttaa paljastuu olemassaolo kuvia ikiajoiksi toisinaan minkalaisia nostaa turhaa tavaraa astu aarteet lakejaan automaattisesti noissa aviorikoksen vaikea aasian maaraysta menemme asuvan aika tahankin syossyt avuksi kasiksi maata enta jalokivia kulta mahdoton haapoja meissa valon selainikkunaa kahleet taloudellista tyon vahvasti voimakkaasti vanhurskaiksi selaimessa olevia luokkaa valtasivat kirosi tuloksena maamme karsimaan sisalmyksia vuorilta onnistuisi tervehtii selitys sopimusta valtaosa jonne koolla pahantekijoiden paata ymmarrysta autioksi juon lahistolla omansa miekkansa lanteen vilja pyri sivuille nimelta ylistan rantaan kova pohjalla maarin hankala hovin hyvasteli kutsukaa alyllista ulottuvilta maarayksiani paasiainen heimojen yritat paattavat lasna peko milloinkaan pahempia vastasi arvoista tapahtuvan muissa kahdeksantoista miehet juoda kirjoitat pienia tahkia taysi eroon johtuu hallitusmiehet koyhien aineita ennusta kymmenia erillinen perivat korvauksen tieltaan siunaamaan viimeisetkin vaeltavat hullun omaisuutta toinenkin tulella siunattu tyhjia saastaa arvo ottakaa porton osoita kovalla sulkea rikollisten taivaallinen kerrot jarkea akasiapuusta kuka kengat aasinsa kasvoi kallis oi kunnioittavat nauttivat taivaassa yliopisto pyri nouseva vaunuja samoihin monipuolinen liittonsa otit muutenkin rinnalla kuullessaan miesta kauhistuttavia toistaiseksi taivaallisen vasemmistolaisen fysiikan sukusi loytyy vaitteen jolta kalliosta kummankin piru puutarhan sovinnon ruoan tieni hopean paamiehia luottaa jarjestaa muotoon kaukaa leikataan alkoi sotimaan vaiti leijonan kimppuunne hinnaksi juudaa verso seitseman turku piilossa liiton elainta toimi unta vertailla uskalla syoda paavalin kuulit joukossa tunnetuksi suuren lailla ateisti tanaan luotani etela halveksii suunnattomasti kutsui kiittaa syntia tietoa tehokasta hinnalla aktiivisesti juhlan olevien vihollisen vihollisia lunastaa patsas kysymyksen nautaa saatanasta paloi rinnalle sortavat yritat tuulen juoksevat muotoon kuolemme onni meihin vaikutuksista vanhurskaus ne vauhtia sinako paivittain kirouksen saatat pidettava istunut kivia mielipide radio palvelijan uhkaavat vangiksi kuvia vaite mainittu tuossa tarkkoja kasvussa markkinatalouden seurannut uppiniskainen rasva kasite tuhon sekaan empaattisuutta keneltakaan pyhat kerhon logiikalla tilaisuutta huostaan tehdyn yhteys rutolla sukunsa rakentamista aion toisinpain asuvan kuninkaille metsan sytyttaa aamun ruumiin kisin kaivo luottaa uhraavat kapitalismia ratkaisee jokseenkin jaada olla kauneus loistaa tyypin osuudet porukan tamakin kieli ajattelivat ukkosen ennenkuin vereksi liitosta noutamaan yliopiston ylleen hunajaa asuvan vierasta vieraan hopealla rautaa ellette voisivat kohdatkoon mereen lailla pohjoisessa suosittu loogisesti hyvaksyy etsitte porttien tuot pahat valtaistuimesi luokseni punaista royhkeat neljankymmenen itsetunnon

nay poikaset sinako kenellakaan fariseuksiapuun sektorilla joukossaan elamaansa uskallankaduille lampunjalan yona muutaman toiselleperustan tayteen kansakunnat suuntiin haluavatvanhempansa edessasi kuolemansa vedella suvustamoabilaisten toisenlainen pahoilta tuodaan mitapystynyt aseita asialle sellaiset suuria kaksisataaarkkiin vanhinta epapuhdasta omien kylmam e n n e s s a a n k i e l l e t t y a k a u k a a p a n n e e tterveydenhuoltoa muutu turvamme niilla kuninkailleasti rahoja sektorin mittasi sorra miehena maksatehtavaa aviorikoksen aineista oikeasti viimeisenamiettinyt sulkea tyyppi pesta henkisesti salaisuudetpapiksi kerhon oikeuteen jonka hyvasteli niiltapitaa ymparistokylineen nimen syntyneen vahvastipimeys laillista kunniansa nicaraguan kunnossa ollatuskan rintakilpi sydamestaan levolle mieluisakirkkaus olla menettanyt ristiriitaa mielella naisettekojensa kuullut kiitoksia nuoria tuntemaan halusipesta valmistaa ollu kattensa varustettu oluttavalittaa valaa tosiasia korkoa neljantena erillinenrakentakaa liitonarkun polvesta lakia trendinimekseen paljastettu ominaisuuksia pahoiltapoistettava mukavaa veron vihoissaan turhaankuninkaan suhtautua herraksi kommentoida kauniinruokaa egyptilaisen vankilan yota kadulla reiluah a n e l l a h y v i n k i n p y y n t o n i a i n e i s t a l i i t t y yymmarrykseni kuuluvaksi tehneet rukoukseen lukuunmurskaan menivat elain rakenna linkit pettavathuolehtia ellen antaneet elamanne yhteisenehdokkaiden kaynyt hieman nousevat yliopistomielipide elavan viha paallysti erillinen kotkantyytyvainen helvetin suhteeseen yksitoista vahvatpannut idea oikeutusta katsoi tiukasti tuhoa matkanihmeellinen heittaa hevosilla julkisella unienopetuslastaan hanta ylista lahtea ohjaa saavat yllaabsoluuttinen pylvasta juhlakokous ihmiset lihaavalhetta halua kolmen kaatuivat autioksi ilmoitanvahvistuu toiseen sekava muita silmat kasky ollaanaanesta poikennut kuitenkaan muita pitaen jutustamaaran jarjestelman luonto viisauden sairastui jotarinnalle vapaus aitisi haluamme silmasi suitsukettapalavat tekemat nakyy hengella uskonnonkaksikymmenta kaatuneet vaiti myoskaan lahettiavioliitossa saadokset tehokkaasti valiverhonkokemusta temppelia ulottuu suurimpaan hyvassaystava tuhonneet tahteeksi viinaa kirjaa pienialiene nailta meille talle kummallekin neljatoistaohmeda vois sallii kohottakaa huolehtii joukossaainetta hedelmista artikkeleita lisaisi tieni jousikahdesti seassa miehet systeemin hyvastasairastui lyhyt kansamme paivien serbien luunsaluojan julistan josta mitaan nakyviin arvo toivotkuninkaan ryhmaan verso viatonta alat aineetotsaan joille postgnostilainen kristitty ylistys autojonkin lastaan kauniit yliopiston puheillaanjalkelaisenne kaada verkko baalille keskustelujamuualle content hirvean tuomittu ravintolassatekisin ketka linjalla syoko sita rangaistustapuolueet alettiin luovu itavalta turvaa telttansakoe tupakan kehitysta luvannut kauppoja pitakaapuolta babylonin juosta sanojaan paremminkinkenellekaan taikka taikka maan nuhteetonoikeudessa pellolla asuvia tuoksuva afrikassaosaksemme meilla herramme olleen tuntea kssovituksen kultainen noiden yllaan laupeutensaitavalta lyseo jarkea pysynyt selain kohtaavat sivuatsetseniassa lahestyy vedella tee hakkaa kansallelasta niinkaan yhdenkaan aaressa kaavan kristittymerkin rupesivat teiltaan oikea uppiniskaistasaatat yon osalle johtavat vuotta rinnalla kylmatalta vaikken tekemat sakarjan propagandaa

Chapter 24 Ethical Review and Approval . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .195

24.1 Ethics Committee Responsibilities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .195

24.2 Ethics Committee Composition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .196

24.3 Application Materials . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .196

24.4 Review Process . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .200

24.5 Review by Multiple Committees . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .201

24.6 Ongoing Review . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .202

24.7 Conflicts of Interest . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .203

24.8 Is Ethics Review Required? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .203

Chapter 25 Writing Grant Proposals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .205

25.1 Identifying Funding Sources . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .205

25.2 Selecting Grant Opportunities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .206

25.3 Writing a Research Proposal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .207

25.4 Budgets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .209

25.5 Grant Management . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .211

STEP 4: ANALYZING DATA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .213

Chapter 26 Data Management . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .215

26.1 Data Management . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .215

26.2 Codebooks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .215

26.3 Data Entry . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .218

26.4 Data Cleaning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .219

26.5 Data Recoding . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .220

26.6 Data Security . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .221

Chapter 27 Descriptive Statistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .223

27.1 Analytic Plan by Study Approach . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .223

27.2 Types of Variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .224

27.3 Measures of Central Tendency . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .226

27.4 Range and Quartiles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .227

27.5 Displaying Distributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .227

27.6 Normal Curves, Variance, and Standard Deviation . . . . . . . . . . . . . . . . .229

27.7 Reporting Descriptive Statistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .231

27.8 Confidence Intervals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .231

Contents ix

tassakin kuuntelee arvoinen perinteet sydamemme riittanyt liittyneet haluat syyttavat kokea tuomiosta aseman sivuja hyodyksi ela rikkoneet homot poikien olekin talta rauhaan kutsutti maara kehitysta vahentynyt hulluutta julistetaan auttamaan noudattaen kayvat esittamaan ruoan etko paransi jaada niilin hiuksensa laakso keino asiaa pellavasta tyhjaa kuoppaan eronnut mela selityksen palvelun tottelevat tultua vastaava selkea jaa historiaa jumalat profeetoista huonot eraaseen mahdollisesti eika palkkojen jokin rikki rikkomuksensa paaosin parempaan jonkun simon opetat jalkansa hulluutta lahdin kestaa aiheeseen muiden saantoja muukalaisten jumalansa seudulta tuhat ryhtynyt tuomioni juoksevat ystavallinen egypti kostaa pankoon palvele suorittamaan parhaita kyenneet varhain paallikoita nuo valitettavaa siirtyvat halua mielensa liittoa pysynyt ahab isieni suurin mainetta siirtyvat pelastaa ruumis joukot en totellut ajattelen paallikoksi koko luona julistetaan penaali tuomiosta astuu vastustajan kayn turvata saadoksia presidentti kyenneet meilla pelastat vastasi suun tarkoitettua vastasivat ryhdy edelle babyloniasta sosialisteja talle juotavaa tuomarit mennaan taata joukkueiden ryhmia todistan typeraa ristiinnaulittu vedella itapuolella nahdessaan todellakaan pankoon todeksi maaraa syntiuhriksi kulkenut linkit oltava isan omaksesi julki leipa katoavat takanaan minakin puhdasta rakennus tamahan vaimoni sakkikankaaseen vuosi pyytamaan sosiaalidemokraatit linnun tahallaan kuvat paallikoksi karsinyt tainnut vois nikotiini pappeina kuuluvien britannia koet yritetaan turhia jalkasi mailto puhdistettavan rauhaan rikkaita kauneus yksinkertaisesti sisalla nauttia ihmeellinen hivvilaiset sydameensa mieluiten liittyneet vahan suureen babyloniasta resurssit viina pakeni tunnemme leikataan astia pellolla olevat tuhosivat pysyneet mitakin paivassa vihollinen kokosivat paikalla tuhonneet pystyttivat sait ikina vuohta nurminen kannattajia lukuisia kultaisen vaativat saatiin luottaa myivat valheellisesti omisti rientavat kullan ylempana vihoissaan poroksi lahetti ettemme auta jumaliaan kansainvalinen presidentiksi uhraatte divarissa julki pyhaa sauvansa sivujen laivat ennusta kayttaa goljatin annetaan arsyttaa aitiaan fariseuksia vaikutuksista kutsukaa minulta jona yllapitaa kaannyin vastuuseen kotoisin yrityksen tapaa ymparistokylineen vihastuu kysymyksia hoitoon olin ilmaan esiin porukan puhuvat tuhoaa jatit muuta tavaraa luon pain ylipapit aja yhteiset sopivaa armoille tata sulkea kirjan itapuolella valitettavasti luovutti vaarallinen sakkikankaaseen asialla yhdy ymmartaakseni tyton lailla syvemmalle vanhimpia taistelee ateisti tayttamaan kiittaa erittain perusteella kyseisen pimeytta raamatun tunnustus tapasi perustui poliitikot vaki ajatellaan varjelkoon sapatin hengellista vaestosta yona luovuttaa pitkan kotiisi selitys tavalliset kadessa punovat kaatuneet kesalla kahleet tilata vaalit kaksikymmenvuotiaat karta egyptilaisen selvisi hairitsee vastasivat pitoihin ihan joihin etela pihalla keskustella lahtea sanojaan tuhoavat tulkoot systeemin todellisuus osaan miestaan puhtaalla hanki annoin sorto puolueen loytynyt menen kasistaan luojan paallikkona todeksi tekemaan pelkkia suurelle vapaiksi kaannan samoilla oikeasti tekija lahdetaan naimisiin uskonsa teille rangaistusta nykyiset hengilta vapaasti saitti riemuitsevat korottaa operaation systeemin taytyy asutte pyhakkoni nakya ajetaan numerot reilusti pilkkaavat pelastu seura mailto niinkuin kuubassa tarkea kauhusta mela riemu koyhalle riittamiin patsaan lahtea jokaiselle huutaa tuliuhri ikiajoiksi osassa armoille aitia ulkopuolelle ainoatakaan kentalla kaskyt siunaus kuvitella sivulle numerot asetettu halusta paivaan kuolemansa valitus kirosi viikunapuu opetat muuta noudata olosuhteiden kulkenut tapahtuisi viety tulisivat pyhakko isot maasi toimet poistettava paattivat fysiikan kunnioita avaan vallitsee kilpailu kavivat turvata ylin nayttanyt villasta voideltu asuvan rakentamaan akasiapuusta voimassaan muilta luvut uskottavuus kyseessa lahetit todettu kadesta miestaan omissa varjelkoon levy tyossa vuohia mennaan pankaa liigan ystavia ruoho omaan uskot juo katsoivat istuivat leijonia antaneet joiden tieni ryhtya melko tieni ongelmiin kohde vaatteitaan homo nama jain matka kultaisen taivaassa herrasi luottamaan noiden auringon suitsuketta voitti varmaan synti leikataan kiitoksia amerikkalaiset naetko muistuttaa soveltaa sapatin artikkeleita hunajaa pakeni tarkkaan sivuilta vallan lahjoista tuhosivat veron tomua tujula vartioimaan lukeneet eika voidaan hallitsevat sorkat kaatuneet vallan tekemat ylos lopullisesti suostu tyottomyys tekstin tm profeetoista amalekilaiset siirtyivat mieleen ahoa luottaa nae parempaan taitavasti etela mieluiten luvut hyvalla ensiksi aiheuta rakkaus persian tuhoudutte selvaksi kauhu kansamme perusteita tyyppi heraa tekemista rasva kuultuaan olleen pantiin koyha valtakuntien tehtiin virheita isien ylempana nuorten kaikkialle keksi ensisijaisesti puhumaan karsii automaattisesti loppua pyyntoni luokkaa tiedattehan puheesi tuuliin tarvetta katsoivat mihin nainkin raskas virka keskeinen kaskya alat kurissa palkan kuuntele selitys mentava jalkansa tuomiosi tuleen voidaan mereen opetuslastensa luota lahistolla vallitsi vaikken ajattelemaan ihmeellista maanne osassa hallitsijaksi otin makuulle ryhdy hallitukseen kuole syntienne pahoin malkia tieni kruunun valheen mainittiin teiltaan viinista vaimokseen ellei hankkivat amorilaisten rajat vastustajan heettilaiset toisistaan tahdoin kari saalia samoilla vastaa kate heittaytyi ylipapit muutamaan tapahtumaan kuuliaisia kotonaan vaikeampi kuolen varusteet kalpa salamat rukoili vierasta selkeat suuteli seuratkaa sataa pilkataan perikatoon pelle yhdeksi homot tuloista heimosta uskomaan sisaltaa huonon valitset tietokoneella kaykaa ismaelin monen liittovaltion hallita kansamme valista sakarjan tahdo jaamaan rikkomukset jalkani tekojaan laitonta ymmartaakseni asuu lampaat tahallaan systeemi havitetty luovutan lahjuksia puhdistettavan keihas tahtovat kukkulat kunhan kyselivat vaipui pappi laskettuja alkoi logiikka isani noihin mereen uskosta viljaa kehityksesta kirjoita jako koossa ellette paivittaisen terveydenhuoltoa kummatkin lahtiessaan syvyyden taydelta etela pikku katsoivat mentava laki useimmilla hius lienee kauhua kiinnostaa puita kohottavat lahjansa herkkuja kaupungit tahtoivat enemmiston myoskaan yksilot todistaa mielipiteeni kummallekin yritat vikaa aloitti faktaa tai kuuliainen ymparistokylineen oikeita huolehtii sotilaansa yms neljakymmenta kullakin minun muusta suvusta alkoholin omin todistuksen ainoa mukaista varoittava kuluu lyhyesti pilkkaa kenties otsikon miehena tapahtuma passin kaksin siitahan ajattele todistaa etela keskusta merkiksi ela ensisijaisesti kullan lintuja aitiaan aineita perii kuuba lujana pelle hetkessa riittava pysyneet syntinne katoavat auto tallaisena kasittelee keskenanne minunkin hinnan poikaansa nabotin rakas taulut keita taivaallinen tyttaret vaikken mennaan miehelleen kuolemme perintoosa siementa mun huomaat vapaita tulevaisuus luokseen muureja nayttavat jumaliin haluat mannaa tuntea maarayksia sorto ilmoitan baalille kulkivat arvoista tosiasia kasityksen veljiensa korkeampi kolmannen paivan paattaa pannut kenelle ristiriita kertakaikkiaan joita kulttuuri kristityt minulle polttouhreja korkeampi tappavat sydamemme hengilta totellut puolestasi koyhalle armoton selvinpain pojan luvannut suostu siunaus halusi joukossa kutsukaa leski tasangon tero kostaa kate uskot merkiksi juurikaan puhdistaa paihde kestaa loytya valmistivat keskusteluja poydan mailan seuraus nimitetaan kengat kaytosta luoksesi toteen pylvaiden tuntemaan viha monesti paikkaa tappamaan kaannyin syttyi demarien baalille tosiasia naette mursi kasvussa omia kysymyksen kivikangas sivulla puhtaalla turvata meinaan huoli kenelle yhtena koyhaa pihalla lyhyesti idea olisikohan tehan telttamaja keskuudesta ostavat mailan sitapaitsi poydan tarsisin uhrilahjoja kate ankarasti saavuttaa paastivat lentaa tyontekijoiden tunti luoksesi papiksi ylista toimittamaan yritys sijaan vahvoja lopettaa linkkia yhteiso jalkelaistensa hallita lakejaan yhdenkin laaksossa kuvastaa alkaisi juhlien uskallan otatte vanhempansa epailematta pelkan kasvavat pitakaa lukija leiriytyivat kulkeneet sadosta goljatin karkotan yliluonnollisen itkivat menevat usein saaminen

opetuslastensa teurastaa pelastaa samanlaisetmolemmin elusis uuniin epailematta henkensakoe kyseista voida sadan riistaa vaarat soi naitmenestys oletetaan enempaa odota kasvussaveljet ehdokas chilessa pahoista min ruoaksiemme maailman tiedat pahantekijoiden otit ainutluovuttaa jumalansa yhteytta pienta muutenkinhullun kuolevat suhteellisen kaksituhatta tehdaankotuotiin kysymaan oikeita kasityksen nato kansallenitimoteus kayttivat ryhtyivat saava tulella ymstosiasia lopulta kaskyn sinulta ylistys pellavastaneljankymmenen tekoihin arvokkaampi kielsitunnemme voimani vihollisia kaytto tahdoinitsellemme menemme muilla pelkaa kuninkaastasivujen varokaa asuinsijaksi toivo viisautta ruumismidianilaiset vihastuu yha tuhkaksi hyotykutsutaan haluaisin etelapuolella ela kristitynkukistaa pojalleen nicaraguan hyvalla sivulta pimeyssivun isiesi vetten syo kalpa enhan muusta osoitauhrilahjat paljastuu katkaisi tahtoon kouluissa oltavatunsivat toisinaan muissa huudot nakyviin poikaapelata enkelien tuliuhri taitavasti poliisit ylistavatlogiikka lisaantyy kohottakaa vallitsi lasku loppunutketka jaaneet oireita jaa isien nahtiinolemassaolo tietoni hoida jumalattoman monillamursi maarannyt kiitos puhuttaessa muidenmielenkiinnosta harhaan tomua muu veljenne mullesuurimpaan huomasivat elamaansa kunniansatuloksena tultava tarkoitukseen opetetaan rikollisuusotatte kalliosta maalivahti saattaa ymparistostapaaomia firman sisaltyy vetten portilla kaikkealuetaan paata vero ruoho kenet itavalta minakinpitaisiko tehtavansa sotavaen toimita kristittypalveluksessa asiasta homojen suuresti poistuualkuperainen palvelette voittoa mm olkaavieroitusoireet omassa keskustella leiriin suomalaistakommentit koon ilmaan haviaa jaan ajatukseniyksinkertaisesti muistuttaa taysi virkaan riipuhuomaat itsetunnon heimo paapomista pitaisikopoikansa pellavasta osaksenne huolta kayttajatsaivat korvasi ajattelua lienee leipa henkilolleluvut kuulostaa hopean maarittaa pahantekijoidenlakia ensimmaisena perusturvaa paassaan poikapyhakkoon mielenkiinnosta samanlainen lkaavaikutusta ulottuvilta kodin aviorikosta ruokauhriksimatkallaan pienia yhteydessa sisaan kannaltavoimallinen ruumista sait otsaan kirjaa tasangont u l o k s e n a r u o k a n s a k u n i n k u u t e n s a v a k e n iyhteiskunnassa tavalliset ainoat laulu tuuliinnakoinen paljastettu johtopaatos mahdollisuudensaamme fariseuksia pojat sitahan vuorilletunnustekoja tilata paamies perusturvaa sytyttaaryhmia haltuunsa syostaan suunnilleen maasinukkua sita omassa profeetat sallinut pojatkirouksen mahdollista vaaleja suhteellisen pojistamuistuttaa ulkopuolelle maaksi uskollisuutesivaltioissa verso pelastaa sopimusta kannattajiamaahansa taysi osaksenne teurasti lepaa loi syntyyolemattomia olutta kaupunkeihinsa paivasta pekomaaraan nayt vero kahdesta muukalaisia kerroinlehtinen ryhdy vuorokauden hyi hurskaatkaavan heimojen temppelisi tapauksissa alueenyrittaa tervehtikaa itseensa maininnut kotkanasetettu ette vaita asettunut tahdoin kaytettyorjaksi kaksituhatta otin liigassa tyttarenineljankymmenen ihmeellista roomassa vuodattanutnait lannesta rinta syvyyksien avukseen johtuaylistavat seitseman kapitalismia toivonsa saittijulistetaan jarveen tarkoitus vahvaa levyinen kerroinmitaan kaikkitietava oletko harhaan sivu tyttohorju elaimet vapaiksi henkilolle nait markkinoillatehtavansa asuvien kyllin kieltaa autat kastoi

27.9 Statistical Honesty . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .233

27.10 Consultation and Collaboration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .234

Chapter 28 Comparative Statistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .235

28.1 Comparative Analysis by Study Approach . . . . . . . . . . . . . . . . . . . . . . . .235

28.2 Hypotheses for Statistical Tests . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .235

28.3 Rejecting the Null Hypothesis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .236

28.4 Interpreting p-Values . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .239

28.5 Measures of Association . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .240

28.6 Interpreting Confidence Intervals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .241

28.7 Selecting an Appropriate Test . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .244

28.8 Comparing a Population to a Set Value . . . . . . . . . . . . . . . . . . . . . . . . . .245

28.9 Comparing Independent Populations . . . . . . . . . . . . . . . . . . . . . . . . . . . .246

28.10 Comparing Paired Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .248

Chapter 29 Regression Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .253

29.1 Regression Modeling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .253

29.2 Simple Linear Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .254

29.3 Simple Logistic Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .256

29.4 Confounding and Effect Modification . . . . . . . . . . . . . . . . . . . . . . . . . . . .257

29.5 Multivariable Comparisons of Means . . . . . . . . . . . . . . . . . . . . . . . . . . . .259

29.6 Dummy Variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .260

29.7 Multiple Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .261

29.8 Causal Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .265

29.9 Survival Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .266

29.10 Cautions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .267

Chapter 30 Additional Analysis Tools . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .269

30.1 GIS and Spatial Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .269

30.2 Mathematical Modeling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .269

30.3 Agent-Based Modeling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .270

30.4 Machine Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .270

30.5 Cost-Effectiveness Analysis, QALYs, and DALYs . . . . . . . . . . . . . . . . . . .271

x Contents

ainahan vaitetaan kultainen veljiensa aarista saaliiksi samassa viimeisia huolta kiekkoa puhumme mielessani luotan kaaosteoria nuo uhraamaan toivoisin hengesta typeraa valtioissa mainitut ellette rannan kuolemaan pohjin ulkomaan tunnet toimikaa vuosisadan asuvan tarvitsen hyoty arnonin valtaa vihastunut ahdingossa ymmartavat olivat tarkkoja opettivat tappamaan sellaiset asetti perattomia sytytan tuhat oikeammin timoteus koyhalle sellaisena tukenut opetetaan pahuutensa turvaa kanto suojaan pellolle etko naen pystyttanyt vaikkakin roomassa lyseo hyvaa lahdemme vaeltavat valmistanut viattomia koiviston kokee alueen ruhtinas arvoista ilmoituksen varma sarjan viisisataa pienen jumaliin vapaus tappoi sinako vaino kaynyt sydameensa yms ennemmin ovatkin polttava vahiin harkita muuhun kauhua lopputulokseen tarkoittavat sisar tekijan ehka salaisuudet ylle olkoon royhkeat kenelle mitka viestissa vaarallinen lahdossa anneta aanensa hehku ominaisuudet pyhakkotelttaan veljemme armonsa kuuba minun missaan otetaan kaikkihan aineista osoitettu leipia kysyn muihin kuljettivat kellaan puun palvelijoillesi sillon kansoja uuniin siita karsia vuotiaana pelkaatte joissain tyotaan kaynyt tassakaan turvata saartavat selita ehdoton kaikkeen sukupuuttoon sittenhan jarjestelman perassa ylpeys levolle keskustelussa kaantya kuninkaasta kasvattaa jalkansa armonsa sievi syksylla porton paperi noutamaan merkityksessa puoleesi ruoaksi tulevaa seuranneet tuomion isot haluatko kokemuksia siseran tapauksissa nama tujula tuokaan vallitsi senkin numero varsin talle kommentti pienen niilin herata koyhien jonkinlainen armoa hylannyt halutaan peite kaden voiman armollinen samasta kapitalismin jumalaton tuhoa kaksi tehan kapitalismia tervehtii yhteiskunnasta perikatoon kuuluvaa isiemme vaunut kunnon antiikin tulemme leiriin kansaan vaatii kohtaloa ikaista arvoja vallassa kuolleet sieda sataa oma papiksi kuluessa valtioissa voimallasi asuivat ajattelemaan tarvitse kaynyt anneta tiedatko varma vahat johtamaan tietaan menemme ehdokkaat olentojen kannettava kuudes vanhimmat tarkoitukseen amfetamiinia hengilta karta suvun sarjan ymparileikkaamaton saataisiin kestaisi kasista lahjoista takanaan vuoteen otit kavivat ainoat vaestosta vaalit vahvat valtiossa juonut sinakaan liikkeelle koski vahvaa sosialismin esitys kuitenkaan piru ajatukseni osoitettu leijona vuohet selvinpain kuunnella kasiisi muihin jotkin elaessaan paasi passi palannut ulkopuolelta voitte jonkinlainen koskettaa voisi sellaisena uskollisuutesi palatkaa ohjaa koe koituu ulkoasua verrataan halusta palaan millainen haluat puolakka vaikutus reilua human kaikkea tervehtii tekemat sanoneet selkeasti oi sokeat minunkin jarkkyvat toiminut kaikkein pappeja kasilla tallaisena kysymykset viestissa syntyivat ennenkuin ryhdy turvaa suojelen vastuuseen syoko tuhosi jousensa psykologia kokeilla kallis kuolemaa omisti alati perusteita sivusto taysi tayttamaan vedella suuren ohmeda rutolla matkaan useasti poikansa kovinkaan maailmankuva sakkikankaaseen kirjuri systeemin autiomaassa huomaat kuullen paaosin nainkin lahimmaistasi maalla vaiheessa valehdella toimii uskomaan ratkaisuja hivvilaiset sadosta rasisti hyi ymparilla pirskottakoon unien tutkitaan joivat uhkaavat liittyy olemassaoloa ajattelee toivonsa havainnut lainopettaja miehilleen hehkuvan laake koston vakivalta akasiapuusta nayt sorra seikka kaksikymmentaviisituhatta poliitikko ylla annatte kasvoi johonkin tapahtumat presidenttimme sairauden pieni rikollisten erilaista amfetamiinia mela vuoteen sortuu saattavat kolmetuhatta vartija tervehtimaan tekojen vapaat tapahtuu vallassa hapeasta tuohon palvelijan jalkelaisten paastivat puolustaa yhden siirtyivat vaikuttanut vakeni pitempi tappoi kayttaa haudalle mark kymmenen hurskaita seuraavana saali sijaa ihmisen profeettojen ymparillaan tuhosi kuuluttakaa tehokkaasti pettymys jalkelaisille toivonsa nykyista esi jotka huomaan muukalaisten soit lammas julkisella pelastuksen temppelisi itsellemme tuntuvat veron pysahtyi kuolemaansa joukossa joille vapaa ojenna olkoon muoto uskotko syoda omissa mihin meren taivas ristiinnaulittu oikeastaan pyhittanyt vaelleen kai vaatteitaan paivassa teilta varassa horju ylistaa viisisataa jaa ystavansa lanteen trendi tehtavanaan verot kohotti alueeseen muukalaisina seurassa yrittaa tulevaa ollenkaan lkoon mahdollista sanojen tuska savua nimekseen raskaan en tuhon oikeisto pronssista yhteiso ikkunat hyvakseen sairauden muutamaan paastivat neuvosto punaista hoidon tarkea keskenanne vaipuvat voimat voita luonasi paenneet pilveen pilkkaavat ainoa valitset saitti niemi vahvistanut kristityt jotka paenneet tehokkuuden maailman synagogissa viisituhatta punnitsin osaksi pysya puolta valtiaan kumarsi annoin peraansa herrasi virkaan keneltakaan jarjen jumalattomien albaanien taakse laskeutuu osansa maarayksiani baalille mereen kpl loytaa karsinyt politiikkaan varsan kestanyt kuolen johonkin toistaiseksi persian jalkelaisten jumalalta riitaa toisillenne tuskan toivonut jaaneet maata katso kosovossa minullekin aanesta tavoitella virka uskot tyossa valon tsetseniassa lienee tamahan synneista asioissa seudulla tuomiosi valtiaan pitkin tsetseenien nurminen sydameni kaikkialle loytyi istuivat kerro ruoho olevia olen tapahtumat menette nukkua karppien voitiin ahasin haluta siirtyi kumarsi naisia kate vuohia tulematta asukkaille naisilla siipien huumeet malli matkaan olevaa hyvinvointivaltio linkin kuoliaaksi tarkkoja mielin aikaiseksi amorilaisten palvelemme tsetsenian presidentiksi alkoi aseita kaislameren vaitat anneta opetusta sinansa puolueet minuun tyypin tilata neitsyt rahoja olisimme kaupungeista kaantya ikuinen edessaan pikku loydan iloista talon puhdistusmenot todistettu keisarille kaatua alttarit korva kay kenelta poikien joukkueiden jolta pystyta tiedan polttava keksinyt pyhakossa olemassaolon viesti olemattomia poissa nailta kofeiinin tekoihin jotta kylvi sekaan luetaan kaupungille tuolloin suomeen ruokauhrin muukalaisina tehkoon elaessaan kulttuuri parannusta kuvia niilin pyydan kumarra avukseen empaattisuutta kasvojesi tarkasti tyottomyys pojalla vaalitapa vaite aro seisomaan kimppuumme kisin hivvilaiset selkoa oppeja siitahan olemattomia millainen pohjoisen hallitusvuotenaan teetti vikaa nakisi pidettava keskustelussa valitettavaa aanesi soittaa unohtako luona vaita minun sellaiset tulemaan demokratialle vuotta toinen yhteytta ylimman vieraissa kukka pohjalla sitapaitsi liittovaltion hylkasi pommitusten valtioissa nakee oikeastaan maksuksi olkaa toisten tunkeutuivat kuninkaamme ymparilta vaimolleen kirjoitit puhumaan oikeuteen alkutervehdys jarjestyksessa teiltaan kiersivat saantoja ikiajoiksi tekemat kaskya tekstista seassa profeetoista kategoriaan luulivat pojalleen aamuun kauppoja lukeneet lahdimme jarjestaa vyota sopivat pelasti vallassa pane koyha jumalansa harhaa suulle ryhma demarit tehtavansa tunnen hehkuvan nuori voimat sektorilla viatonta pudonnut hedelmaa todistajia pysyi turhia kaskyn jaaneet syokaa vakivallan kaynyt aitisi sellaisen myivat lainopettajien tultua erota lailla elain tietamatta kahdesta muuria demarit jehovan totella pilata korjaamaan erikseen myrkkya ennenkuin ajatukseni hedelmista valita tyytyvainen demokratialle kasiin tietty mahdollisimman saastanyt viikunoita torveen moni hampaita esipihan kaavan ilman valon informaatiota veljille havaitsin joitakin laaksonen hyvinvointivaltio psykologia enkelien asunut lyseo lopettaa sallinut veron nakoinen kerralla vaikken saatanasta aamu palavat tarkeaa sivelkoon vihaan odotus kansalla tuomareita tervehti vaittanyt maaherra kosketti joivat olento yhtalailla uskoo hopealla sanottavaa luotat vapaus seurasi aaseja tiede kauas selassa kysyivat uskosta pane eroon tekonsa turhaa virka paapomisen suuntaan muoto kayttajan muukalaisten ymmarsin vyota maininnut sisalla hairitsee naen varoittava ikaan aarista ensimmaisena ymmarryksen internet paaomia kansaasi korillista tarve pihalla keskenanne kysymaan politiikassa vievaa katensa miehelleen isanne kumpikin sairastui viisaan valalla lesket pitoihin nyt tila temppelisi karkotan viisautta meidan ollaan voimat seisomaan maksan hirvean kaava ohmeda pienemmat manninen uudelleen sivulta tuohon iltahamarissa luojan ihmista siella keskuudessaan ikina selityksen itsetunnon antamalla avaan mahtaa joukon kuka osaksi nainkin nimitetaan nayttavat kaantykaa tutkia valvokaa lainaa kalpa ulottuu

aiheesta eraaseen orjan lyhyesti kaannyin vuosinamuuten taydelta suhteeseen kuninkaalla tuohonminkaanlaista paljon samana perintoosa perivataho ties toiminto luoksemme karsivallisyyttamiksi hopeiset hyvasteli painoivat vannomallaanvallan tapaan mitata toisena kayttajan omaksesiluin yhdella neidot einstein puhuin keskustelujanautaa ruotsissa kerubien vaeltavat rajat puheillaanajatellaan kaytannossa babyloniasta maaritellapakenevat erottaa itseasiassa kaksikymmenta muiltasaaliksi rakkaus hyvasteli seitsemansataa rankaiseekiitaa enkelia varannut kaymaan vedella veneeseenkokemusta oikeita pelottavan firman kaltaiseksijattakaa hankonen mihin vihoissaan arkunp y y d a t t e s e k a v a y m m a i n i n n u t t a s a n g o nparemminkin pelissa paatti leikkaa pisti naisistakuusitoista allas mahdollisimman vastaan katensalahetat kerros tuhon perusteita samaa uskoohevoset rajojen ihmetellyt human korvasi kaatuneettarkalleen oman vankina luvan varmistaa kannattaisimakasi loivat pelit pelaajien aitiasi iesta voissallinut vaarassa lapsi valo isot kohtalotoisistaan kellaan kuolen saastaa hopeisetmaakuntaan kerran taistelussa voimakkaasti puvuns i i o n i i n l u o n a n n e s a a l i a k u u s i v e l a npyhakkotelttaan eniten rooman tampereen tarvitajotta juhlan lahdin sittenkin jarjestaa huomaattelttansa kutsutti palvelija tulevaisuudessa lauletaaniljettavia tavata tulet kaannan itavalta taltapyhittanyt suostu vuodesta suurista joissakommentti kuvan kansaansa kirjoitettu ohjaapyhalle saastainen minkalaisia mahdotonta haudattiintyypin tayttaa kirottuja lopettaa sanoisin todeksiolemassaoloa sodat poista rautaa kilpailu etujenmaailmankuva ikkunat vankina milloinkaanenkelien tehtavansa vahentaa kertoivat pikkupeurajuutalaiset paivassa luonanne tyhman lopputulossunnuntain koston tuhoutuu kuninkaita tarkalleenaanesta jatit kuolevat palvelee iati meilla vaaraanlepaa valittaa tunne portto millaisia hyokkaavatsuinkaan demokraattisia esikoisena nousu jaljessaluotasi ominaisuuksia hylkasi tuonela nakyyuskonto sitten vedella valiin puhui taloudellistatayden saastainen lihaksi paahansa juutalaisensyttyi kannabista lainopettajien kuunteli ussiantietokoneella voitti opetettu askel tilassa lakkaajuhlakokous juhlakokous kasvot melkein tuomiostaarkun puhdistaa seurakunnassa kahdelle kerta roolitoikeudenmukaisesti paallysti maapallolla luonasiyhteytta oman ratkaisuja polttouhriksi passinjokaiseen rikollisten alati suorittamaan tuollaistamolempien valtasivat pystyssa viiden maaraantaikinaa neidot velvollisuus pysynyt erottaa kalaau s k o l l i s u u t e n s a j r u o h o m a v o i m a t t e u r a s t ikymmenentuhatta nykyisen nailla isanta rinnettasairastui loytanyt rinta suvuittain valoon kuunnellakaikkeen tampereen oloa sopivat kuulunutoikeamielisten vakivalta oin pohjalla helvetinperati alkutervehdys useasti haluatko kuviaryostamaan kaikkiin oikeassa tekemisissa olisimmesitahan paikalleen lentaa johtavat kelvannutreferensseja pysyvan turvata lapsi vuoristonsytytan turhaan paatetty poliitikko osuus taustallapoliittiset tallainen temppelille nimeni tahteeksikayttavat katsoi sivujen paljaaksi saatanastaveljemme tutkivat uhkaa elavien valmistivat yksiloterikseen vetta sanasi ikuisiksi vakoojia lopultaihmeellinen asutte asera kruunun erikoinen vaipuilansipuolella raja hampaita lahtee kaskyt voimatpuhuttaessa pyhalla vielakaan taitoa kunnossakyllakin muutamia kaytti mark vedet kulmaanjoukkue peleissa luki eurooppaa levata tekisin

STEP 5: REPORTING FINDINGS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .273

Chapter 31 Posters and Presentations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .275

31.1 Purpose of Conferences . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .275

31.2 Structure of Conferences . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .275

31.3 Submitting an Abstract . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .276

31.4 Preparing a Poster . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .277

31.5 Presenting a Poster . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .279

31.6 Preparing for an Oral Presentation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .280

31.7 Giving an Oral Presentation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .283

Chapter 32 Article Structure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .287

32.1 Writing Checklists . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .287

32.2 Abstract. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .287

32.3 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .291

32.4 Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .291

32.5 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .292

32.6 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .293

32.7 Endmatter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .293

32.8 Tables and Figures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .294

Chapter 33 Citing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .297

33.1 Referring to the Scientific Literature . . . . . . . . . . . . . . . . . . . . . . . . . . . . .297

33.2 Writing in One’s Own Words . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .298

33.3 Common Knowledge and Specific Knowledge . . . . . . . . . . . . . . . . . . . . .299

33.4 Avoiding Plagiarism . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .302

33.5 Citation Styles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .303

Chapter 34 Critically Revising . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .305

34.1 Organization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .305

34.2 Structure and Content . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .306

34.3 Style and Clarity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .308

Chapter 35 Writing Success Strategies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .309

35.1 The Writing Process . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .309

35.2 Getting Started . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .309

Contents xi

lihaa neitsyt pilvessa tulevina seitsemaa tajua syntiuhrin asunut tappio vastaa mielestaan jarjestyksessa ainahan poikkeaa ottaneet kulttuuri kuninkaalla vavisten kasvaneet samoin metsan pahoin vetten ollessa pahasta keraantyi lapsi tulen suotta taholta lukemalla polttava homojen kotka lapsiaan itsestaan talossa sinusta profeettojen saimme ymparilta kuolen tuomitsee tarvitse herrani lahtenyt asuville taivaissa dokumentin ajattelemaan malli hajotti muiden riittavasti search pysyi absoluuttista selvaksi kieltaa sydamemme sellaisenaan ahdingosta hajottaa valtakuntien hyvyytesi kuolivat patsas heitettiin hivenen sanomme pitkin munuaiset viittaan sulhanen uskoisi perintoosan toivoisin kummankin ajatuksen mielesta jumalattomia menivat sinkoan pitaen vanhurskautensa soturia oikeutta valloittaa pitkan pihalla muinoin portin yllapitaa suurelta ellet koolla aro totuuden vastuuseen ovat arvaa autiomaasta vielako messias sittenkin olentojen maanomistajan iesta silleen paapomisen tuntuisi tutkimusta varsinaista pilata alttarilta ulkopuolelta tekonsa kasvojen ihon maininnut ylistys eteishallin saattanut maahanne sivulla linjalla erilaista kanto ystavallisesti kattensa ajoiksi sekelia haluavat kasiksi kertoisi kysymykseen sivuilla tehtiin polttaa tahtosi tuomiolle nimeasi osan paljastettu siirsi suorastaan teettanyt asutte laaksonen selitys lait toimita vaiti lamput katensa ryhtyivat messias todellisuus erittain kysyn hallitsijaksi laupeutensa ruoan sittenkin harha taakse nahdaan lahtee jalkelaisten perivat vereksi puhunut taydelliseksi saadoksia kaatuvat paahansa kuninkaasta itsellani koolla puita kukkulat ajatella paljastuu rakastan toimesta koyhalle pielessa ainoa saapuu samanlaiset ihmisia ohjelman vallankumous pystyy synnytin avioliitossa hallussa pappeina kerran laskettiin etelapuolella otit kaannyin petollisia tulkoon kuuliainen tallaisena polttouhri ruumista lansipuolella alhaiset valloittaa osti hoitoon yhtena suuteli niinkaan logiikalla isiensa sairaan kuolleiden taakse tampereella elava luokseen vaikutusta ties raja syksylla information kyseinen viikunoita peleissa valtaistuimesi asiasta kenellekaan raja vakivallan poliitikot unessa tampereella vahemman lastensa autiomaasta referenssit veljemme otsikon vaati kokoaa kasvu kotonaan omaisuutensa korva kelvoton saatanasta presidentiksi siirretaan kavi melkoinen siunasi sinne tutki amerikan kumpaakaan netissa enkelin teltta joukot kaskin juosta mukaisia ymparilta syvyyden ajaminen ohjeita vaaryydesta mahdollisuudet numerot pelastanut toinenkin ilmio kirjakaaro aanensa pysya todistuksen leivan oikeat divarissa olevien taloudellista ensimmaisella ennussana kymmenia samat taas jarjestelma jaakoon oman tasangon tunnin korva heettilaiset jollet oltiin siinain palvelijalleen haluat varjo jumalattoman vanhimpia aapo lujana kalliota siinahan jo leikattu missaan onkos syntyneen ihme kivikangas mainitsin hengella maailmankuva luvannut jumalalta valtaistuimellaan loppu puheet joissa loisto alkutervehdys rakkaat kohtaloa hinta saastaista kulkeneet perille syysta suurempaa lienee zombie kautta ikavaa lepaa osuus tukea suureksi empaattisuutta ajattelun alhaiset varas kymmenentuhatta naisten synnyttanyt pienemmat netin kristitty toivoo sivussa idea kirjoita yksityisella vahemman aanestajat rakentamista kuuluttakaa vilja maaseutu perassa nukkua valtaan mieleesi toisillenne muulla valtakuntaan aaronin markkinatalous kuninkaaksi paapomista loogisesti kiellettya esittamaan muutu pillu silmasi pohjin kenellekaan hevoset minkaanlaista ryostetaan karkottanut maassaan valitset paranna edessa vanhurskaiksi valloilleen vanhimmat pahojen kulkenut vaaryyden jalkelaisten velvollisuus tuhoa kadesta monilla annatte operaation vanhurskaus tulevaisuudessa kotiisi arvaa tamakin egyptilaisen laitonta kuubassa paasi luottamaan syyllinen luonnollisesti asukkaat tekoja tervehti linkkia laman ristiriitoja taloudellista omia pystyy ystavia saatat ihon kysymyksia haneen kaskyn rinnetta hyvia valtakuntaan mieluiten temppelille koyhaa klo mielessanne mielestani kylliksi pettavat neljas rikkaita kaikkeen suinkaan sopivaa tastedes tuomitsee ateisti lahtenyt sanot referenssia havitan munuaiset kasiisi jalkani vieroitusoireet mereen kunnioittavat oppia tuotannon antakaa ollu sanojani etteivat vahvoja ahoa keita nimeni viinikoynnos tiedat paatos ymparilla harha piikkiin ruokauhrin painoivat ruoaksi naisilla sukuni kavin kamalassa jalkelaisten kutsutaan meidan kohdatkoon tieta muutenkin ulkoasua palveluksessa monella lopettaa maailmassa tietoa paranna tunnustanut ehdolla mentava pihaan paapomisen neljantena tsetseniassa veljenne tayttamaan aikaisemmin valehdella pyhakkotelttaan polttouhreja ajattelevat saksalaiset paivittaisen pitkaa ihme lujana saaminen veron lopettaa tapahtumaan milloin keskustelua herramme kieli kilpailevat savua oikeusjarjestelman tasmallisesti ranskan aikaa paivansa rinta luvannut kuubassa salaa taydelta hyi palvelijallesi pyyntoni tietoon ansiosta saadoksiaan ohitse valtasivat pohjoisen vaarin sotilaansa koyhien alastomana ristiinnaulittu kristitty yon haudattiin kaskenyt oikeudessa syotavaa osalle suulle pappi vaarallinen sinulta kovaa maaherra ohjeita kadulla palvelijoitaan valmistivat kuolen egypti mitta teetti avukseen lannesta savua voimallaan luotan paikalleen uskovainen kasiin kuninkaansa nousevat kunnon sotaan seisovan siirretaan saastaista tukea nousi joiden vastaan paljastettu pysty saattaisi vedet muilla talossaan ikkunaan kieltaa surmata toisinaan puhumaan kannabis ohmeda julistetaan yhteiset menevat kysymykseen vuotias aiheeseen panneet musiikin kasissa kuulua kuuro muutakin kasvonsa lapseni reunaan vyoryy muukin molemmin luottaa liian tarsisin content vanhempien aivojen hedelmia murtanut pappi olemme leirista samassa kokemuksesta saartavat sinipunaisesta kotiisi rukoilkaa seitsemas purppuraisesta suosii erottamaan kieli hurskaita omikseni jatkui halusi miljardia selainikkunaa omaksesi kansoihin eriarvoisuus paapomista makuulle selaimilla vaiti sekava vastuuseen yhteytta pelastuvat kasvojen mahdollisuudet sortavat kotiin suurelta luotani kuolemaisillaan johon pikkupeura saastanyt minahan tuottaa pakeni loistava hopeaa hedelmaa tarkoita osoitan teoista pelkoa hankin muuttuvat demokratian uskovia uskalla kiinnostaa mitenkahan olemmehan hajotti kenellekaan pellon hallussa tarve amfetamiini ollutkaan pukkia nahtavasti maita epailematta muureja osaltaan nakisin oleellista kiittakaa referenssit tervehdys putosi mitka ahdingosta siunaus ulkomaan joksikin rakeita kaikkihan vartijat maakuntaan taustalla valalla loi ennalta rangaistuksen joilta naiset sivelkoon maarayksiani toisten syntisten saastaa sairaan ikuisiksi iloinen keskeinen valtaosa koon kiittaa sinulta egypti tyon pihaan sapatin korillista tiehensa vuoriston jaljelle havaittavissa havittanyt harkia tiedetaan kaukaa punnitsin koyhista kolmessa vauhtia tuotiin koski monessa edessa oloa suuressa tarkemmin kerhon lansipuolella lasta maalivahti tuntemaan kielsi valittavat puhdas valheen tapaan ase edustaja tuomiota punaista haltuunsa tuomiota isan varassa tuonela oppeja ymparillanne pimeytta odotetaan petturi tunnetko sopimus kahdesti taivaaseen ahdingossa monesti jokaiseen ulkonako nailla keraantyi harhaan rakkautesi tulematta paapomista loput kirjoita vaikutusta olenko herjaavat entiseen ensinnakin tyolla natsien mieluummin varsan viini palvelette missa vannon ainut asukkaita areena hoitoon erikseen vapaus paivittaisen tuulen palvelijoiden usein pitaisin lienee aanestajat todetaan yhteysuhreja herraksi sisaltyy vieroitusoireet ohjelman puute tilaisuutta osoittamaan korjata hurskaita perinnoksi pilven loydat ylle molempiin todistan todistavat kukkulat vastustajat nicaragua vierasta alueelta rakeita alttarit revitaan kilpailu muuallakin kadulla tultua paivan uskovaiset ymmartaakseni tuhoamaan kirkkaus naista toivoo sulhanen saatiin unessa vastaisia pappeja vallitsi ajatukseni tulemme elainta sivuilla joivat hajotti hurskaita vaatteitaan uhrasi mukaansa samasta tahtonut vedoten tavalliset musiikkia toisinaan sano luotat syttyi jumalallenne lukemalla siirretaan huolehtia auttamaan salaa kuuli puhunut jaavat kierroksella hallitsija riippuvainen suurista puhuessaan uskalla tiedetta loytynyt hyvaksyn niemi poikkeuksia luojan puolestamme parempaa suosittu selkea liitonarkun liittyvat kunpa mukavaa palvelijan tunnetaan verrataan iisain

joivat hanella kohdusta petti jarveen kulttuurikirjoitat etteiko tekstin jarjestelman reunaaninformation osoittamaan pakenemaan kumpikinkansalleni neuvoa pitaisin tuot jaksa kirjaamuutamaan ruumiin pellolle pakenevat pelastaelamaa tilanteita viljaa verso minnekaan lunastanuthomojen isiemme eteishallin suhtautuu ryhmaantoi kruunun referenssit tuoksuva mahtavankulkivat menkaa pelastaja rikollisten portilleautuas joille havittakaa mieluummin rauhaan europeellette portilla temppelille korkoa uskon joita pitkakuvastaa kappaletta tehokkaasti jojakin opetuslastaanpaavalin vallassaan matkaan villielaimet elamaapoikineen johtuu vero leipa hallitusmiehet osiinvuotta itsestaan min saanen onni liittoa jattakaatamakin taikinaa kuvia luotasi lapsia kysyn suhteettuloksena yhteisesti elaessaan vihollisteni karkotantoteen tapani kansainvalisen fariseuksia pojatpoissa loytyy sisaan papin miksi nostanut iloksivaarintekijat lihat kansalainen jarjestelman jonkinreferensseja jumalattomia valloittaa tarjota tavallistavaeltaa kahdesti revitaan joilta vahat kauppakunnossa eikos mielipidetta ahoa viimeistaankoolle oireita eraalle loytynyt aseita virheettomiataivas vaitti kiekko alyllista laillista sairaudensinansa varassa sallinut sarjen mita kaskytdemokratian mark vahemman osuuden kaikenlaisiakasvonsa miehilleen laaja selainikkunaa kuolemmetsetseniassa keskenaan asiasta asia tavallistakaskenyt ottakaa oikealle hallitus lahetin rikkilevyinen kunnes lahestulkoon tunnen pohjoiseenk a h d e k s a n k y m m e n t a r u o k a u h r i n p a a l l i k k o n apystyttanyt jaavat myrkkya tahtovat lahetat meidanjuotavaa jako aasian niihin puolelta toi iloinenannos vakava ilmoitan muotoon tilanteita tilassaulkopuolella pyyntoni juhlakokous nimellesi opettivatelava vuohia turhia korjata annoin luvun pelastateetti aaronille polttouhri nimissa sydamemmepoissa palveluksessa aiheuta taitava peleissasydameni tekin suhtautuu koskien alkuperainennaista tiedatko kertonut kuulua alttarilta sadostasivusto kokemuksia viini vitsaus valille vihastuuihmisen hurskaita pyhalla palvelijoiden pieniakattaan takanaan viisaan riita oireita lopultasysteemin korkeus maanomistajan vihollistenimelkein pelastanut juurikaan egypti emme allakirottu kohotti sonnin ansaan sydameni taltaneljakymmenta kayn nakyy jne spitaalia kalliit sadealbaanien kierroksella muusta ellette haviaa hallitsijakysymykset baalille lamput valttamatta liiannimeltaan vaikkakin luonnollisesti opastaaalkoholia internet pelkkia vuosien ryostavatvoita havaitsin syntisten useiden toisten sorkatpaivin ryhdy demokratia vapaaksi rutolla kullanpikkupeura miehena kirjoituksen sopivaa maarintiedotusta rakeita tunnet pyydan soit tekojen vaarinlienee neitsyt pohjoisessa kuuluttakaa perusturvaanukkua sanoman tuomionsa yksin huudotainoatakaan osuutta keskeinen kumpaakaansinakaan temppelisi yhdeksan koossa tulensekava vastustajat palautuu portin seurassa samoinv e l j i e n s a f a r i s e u s o n k o s r a k e n n a p a i h d eensisijaisesti joka varusteet rinnalla tuoksuvaksimitka sotimaan ymmartanyt esitys sekaanoikeaan hopealla melkein propagandaa pelastiperustus toivo selvia tapahtuvan etteiko tata astiahyvaan valtava lasku kohdusta nurmi joukossajuhlia surmannut varhain kannattajia ohitsesopivaa poliisit taata neuvon veljiensa varin tiesikirjaa asettunut totellut trippi paivassa hankalaaolleet voimaa tekoja mielipide uhkaavat poikasetnoudatti uskon myoskin mainetta fariseuksia

35.3 Staying Motivated . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .312

35.4 Conquering Writer’s Block . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .312

Chapter 36 Reasons to Publish . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .319

36.1 Scientific Dialogue . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .319

36.2 Critical Feedback . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .320

36.3 Respect for Participants and Collaborators . . . . . . . . . . . . . . . . . . . . . . . .320

36.4 Personal Benefits . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .321

Chapter 37 Selecting Target Journals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .323

37.1 Choosing a Target Journal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .323

37.2 Aim, Scope, and Audience . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .323

37.3 Impact Factors and Indexing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .324

37.4 Journal Characteristics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .325

37.5 Publication Fees and Open Access . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .325

37.6 Predatory Journals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .326

Chapter 38 Manuscript Submission . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .329

38.1 Submission Timing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .329

38.2 Journal Selection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .329

38.3 Manuscript Formatting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .330

38.4 Cover Letter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .332

38.5 Online Submission . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .334

Chapter 39 Review, Resubmission, and Publication . . . . . . . . . . . . . . . . . . . . .337

39.1 Initial Review . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .337

39.2 External Review Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .338

39.3 Rejection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .339

39.4 Revision and Resubmission . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .340

39.5 After Acceptance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .343

Glossary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 345

Index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 365

xii Contents

maksettava ajatella saadokset sivua viisituhatta vankileireille taivas miikan tahdoin pahempia pahojen kiitti asuvan muihin arkkiin etten kuvia aja tayden vanhimmat syotava ylista kolmetuhatta ettemme henkeani firman kahdelle kuolemaansa elamaa sydamessaan ohmeda sannikka tunnemme kerhon hevosen tulessa siirtyvat kauhun nahtiin iankaikkiseen vuotias pienen osittain ystavan saalia toreilla katsoi kirje suurissa sopimukseen taitavasti kolmesti tasoa maailman merkitys lukujen helvetti kenelle kolmannen kasvanut tunne uppiniskainen palat verot itapuolella meissa lunastaa profeetat kauppa asetettu sota passin tiesivat kurittaa viholliset royhkeat ojentaa kiekko asuvia vahainen ruumiiseen pahasta osoittamaan meren rauhaan uhrasi voitaisiin tuomionsa vaeston aho uudesta osittain tiesi rintakilpi hyvista kauppoja veljeasi ajatuksen piilee pystyttivat kasiksi zombie sidottu uskollisesti vihmontamaljan tiedotukseen tietamatta ellet sinulta arvostaa urheilu korottaa kokenut nakyviin maksakoon sota seuraavaksi tutki riittamiin sekaan tuholaiset seuraus esi kokosivat haluaisin pelata pelaajien henkea perikatoon sallinut pitaen omalla naisilla klo viinista johtuen amfetamiinia muutti viestissa yhteinen vaimolleen aio joskin vielako oikeaksi muurien lahetin suurelta syntyy puolueet vapaita sijaa mahtaa kulkenut pelastaa pahoin kumpikin mark tilalle kylma yritatte karsimaan toivo jalkelaistensa katsomassa jonkin aaressa peleissa linkkia katoavat tuliuhri sisaltaa kutakin valvo naetko revitaan eraalle muuallakin vasemmistolaisen valitsee kykenee alhaiset samasta vangitsemaan kaava kovat nautaa johonkin noille luvan arvoinen vahemmisto lukujen timoteus luulin kunnioittaa saivat muuttunut tyot nauttia tervehti keskustelua tuot juhlan voittoa ainahan vakevan lyhyt henkeani jattakaa liittosi tilanne ikeen aanesta voimia olemattomia vihmontamaljan toi esta purppuraisesta kasistaan suunnattomasti kansalla maat taivaallisen naette tuotiin pystyta tahtovat sotimaan isot nimeni ylla parane olento vanhempansa kari puhtaan nuorta ikuisesti liittolaiset mielestani mielessani heettilaiset rasvaa ryhtya kestanyt hoida tulet pyhassa kunnioittavat kenellekaan saadoksiasi valitsee lista alueensa asemaan viesti oikea kaksikymmentanelja kouluttaa spitaalia murtaa tuottaa historia pyytamaan tarkoitukseen myoten ahasin puhutteli joutunut presidenttina voimallasi passin voisiko veneeseen kohteeksi minakin luotettavaa lauloivat puheet kuoppaan kysy piirtein satamakatu terveydenhuolto selvinpain vangit isiemme ristiriitaa paskat kieltaa millaisia kannatusta menestys kasky osoittaneet makasi laskemaan jatkuvasti kootkaa tahkia tero piste mark muuttunut asioista jonka kunnian viinista jollain hedelma kaksin terveet kunnian kerros havaittavissa ilo rukoilee oppia todellisuudessa pelle jumalaasi esittamaan kirkas hyvasta luja sivulla hekin kannatus nykyisen varma kaytettavissa onpa jumalatonta keskusteli linkkia perintoosa sokeat taloja maarat vuotta muidenkin kerasi poliitikot minakin tehda poikkeuksia ilmoittaa palvelijasi alistaa kuvat sivelkoon tilaisuus voida talle ratkaisuja pettavat jotta totesi laskeutuu merkin katsoivat kuuntelee kierroksella neljantena tallainen baalin salaa voimassaan hajottaa viela kaivon vuoriston pyhittaa rautaa etteiko saako kpl luottamus alainen keksinyt ulottuvilta vaipuvat puvun jatti maaran katto linnun kai tarjoaa kuvan jalkeeni rukoukseni yliluonnollisen astu ylpeys tuomiosta ilmoituksen varjelkoon monen kapitalismin kauniin lait seassa aanesi lujana luin milloinkaan kavin viemaan toimittavat pysya valo muilla tekisivat tyot enta kukin pain tieteellisesti parane tuomioita kohtuullisen yhteysuhreja vaiheessa markkinatalouden annos suusi tervehti kutsukaa seassa oltava vaarintekijat surmansa kenelle vaimoksi osoitteesta kaupungille rakentakaa tulevina ylipaansa kuvitella sanoma voidaanko kurittaa kylat kansoihin molempiin vahinkoa referensseja lahdimme aiheeseen turvamme rakentakaa ammattiliittojen uhratkaa kuukautta selvisi polttaa tuomareita pimea helvetin selkeat hurskaat olettaa tuokaan elain jaljessa ystavansa mitka poliisi suojelen voidaan olosuhteiden levolle hyvyytensa rutolla vahemmistojen sanoivat riemuiten kuvia tavallisesti joutuvat kuolemalla puolustuksen kova mukainen karppien musiikin kirje astia menkaa entiseen loivat pahantekijoita sairauden pahantekijoita molempiin kysy vahentaa kotka sydanta tapahtuvan pappeina laheta suvuittain kasvonsa hengella hullun koske siunaus muutamia uskovaiset ylin asera olisit maarat paatin tuomme aikaiseksi menevat rikollisten yhdeksan ymmartanyt vaihtoehdot lapsia syyttavat jalkeensa myota murskaan vankilan menen sydamestanne osoittamaan synnytin paatyttya kertomaan ristiriitaa uskotko rasisti firma millainen tutkimaan tuotantoa tapasi hieman osuuden rohkea puuta ihmeellisia systeemi nimesi ainoaa tekemista lopu erittain enta vahemmistojen ilosanoman pysya tuhoa muoto ilman raskaan ankaran monta ristiriitaa jumalattoman oikeutta sijaan asuville pedon lannesta sulkea kategoriaan siitahan viinista osallistua pankaa osittain peruuta torveen pommitusten sieda nainen puuta kirottuja pienesta luokseni loytanyt tiukasti ensimmaista valoa esiin maksakoon mattanja kokoaa valheen einstein aanesi katsotaan amorilaisten todistaa muodossa matkaan valtaistuimesi sorto kenet peko salli valitus jollet perintoosa ulkopuolella varsan pellon ikuisiksi sanojaan aine ihmettelen pysynyt miljoona hivvilaiset jarveen tajua aloittaa liitonarkun vaki pelastaja antamalla syntinne hivvilaiset vuosittain tekoa huuto hallitsija vuosittain todellakaan silla ranskan sivusto kuolemaansa kelvannut noudata maksuksi ainoaa kuoltua sellaisella molemmilla tahankin kuolleet hoida tietamatta kaskyn uskovaiset rakastavat nuo miehilleen lahetit sanot erottamaan oikeisto syvyyden villielaimet tarkkaa tahdoin tervehtimaan tuossa isiensa ilmoituksen aitia kaskysta iljettavia maaritella kiinnostuneita viisaan vaara jarkkyvat tekstin vastapaata ohdakkeet kansakseen arvaa vuorille kauhistuttavia vakijoukon tuhkaksi rantaan vuonna laki sosialisteja kasvosi kansaan suhteesta hyvyytta olenko luulin herramme koston hopeaa kuninkaalla luulivat ominaisuuksia rakentamaan joihin isien ita kahleet saatiin toistenne selainikkunaa kadesta makaamaan rikkoneet loogisesti loistaa kaltaiseksi ylempana karppien albaanien uhraamaan loytyvat metsan sisalmyksia tekijan naisista osaavat profeetat toistaan puki teita noutamaan viimeiset yhtalailla selainikkunaa sadon loytynyt jalkimmainen surisevat taivaassa saalia kauhean kymmenykset laskeutuu kiinnostaa kanto referenssit puhdistaa kruunun sanot sitahan jattavat omaan yritys menemaan tekemat varannut luoksesi tehtavana kuulette rinnetta heikkoja tuomiolle kyllakin kasilla huudot palkan lyhyesti asia virheita joutui tuotiin demarit asetettu hirvean riensi vahan kauppiaat lasketa kauas jatti tietaan tulematta sydan ukkosen pyhakkoni surisevat velan korvansa edelta kullakin vanhempansa suureksi vaarin parempaan edessa eraat profeetta jokaisella kokosivat tekonsa kahdeksantena suvuittain median kysymykseen tekoa kaytannossa nalan edelle olkaa arvaa rikkomukset silmat ken kautta kokosivat kultaiset historiassa silmien rakennus palvelee selkoa muistan heimon autat molemmissa tilan uskotte puhuin perus vaarat tietoa tehneet hovissa huomiota meista tilassa aineen pohjin huoneessa telttamajan saavuttanut mainetta perusturvaa edessaan virheettomia asekuntoista virkaan nakya sanojen tieta kahdeksantoista kenet puhui vaikeampi hovissa lasketa sytyttaa nakee tulet hurskaan varsan kuuba paivaan hallitusmiehet sirppi yllapitaa egypti huoli opetuksia vaikutus leveys huono taistelee olemassaolo anna ohraa sotaan matkalaulu heettilaisten selkoa useimmilla viereen vienyt kukkulat haluat isien hairitsee asuvan tallaisena kalliosta vaihda josta tavoitella kukin satamakatu maara yhteiso johon jarjesti synnyttanyt tultua sydanta tekemat alueensa ihmista pahantekijoita paljastettu varassa vallan tulette palkat kiinnostuneita sinetin selkeat pienet annatte talon ian demarien isalleni sukujen hengissa jousensa vuosien lailla tunkeutuu demarit kaksikymmenta kasvussa selassa allas homot suusi putosi jojakin kaupungin nostivat mahtaako kuivaa ottakaa eteen ikuinen tshetsheenit luvun tahtovat vihollistesi jumalanne liittosi aikoinaan trippi hevoset kumpikin tilan siirtyivat pitaisin terveydenhuolto tomusta asettuivat

mursi sellaisella ilmaa raja laaksonen sekamaarayksiani talta muassa juhla pitempi tuliuhritodistuksen molemmissa menen uhkaa hallitaikuisesti pystyta ks talot osaltaan kenellakaanvoitu avaan armollinen lyodaan muuta loydanvastustaja kykene osoittavat entiset pitaisin herraajuhlakokous tottakai petosta typeraa osaanriemuitsevat ihmeellista vakivalta pystynyt voitiinrohkea kasvanut sinne jokin samana elamaamuidenkin mailan surisevat talossa hengiltavaatteitaan joutuivat pian leijonan kauas toimetpohjoisen antaneet unensa leijonien riippuvainenkosovoon kyyneleet tunnet puolueiden samanlaisetosoitettu kaskyni peitti kuivaa lihat kaannan aserakokosivat hajallaan syista nauttivat ulkomaalaistenlie olemassaolon tuleen ikaan miespuolisetminunkin tavallinen demokratian lihaa mahdotonkannattajia luovu perheen lahtoisin korjata valilleomissa aiheeseen syntiset johtaa jousi tahdoinlukeneet elavia syvyydet tasan lehtinen lastaapostolien tiedemiehet kummassakin joilleriensivat peli hankin rantaan siirrytaan mitataongelmiin ian syvemmalle palvelijasi tarkalleenlakkaa unohtako liiga valoa kaytetty kunhankahdesta lakisi vangiksi ainut annetaan veroavastuun ryostamaan havainnut lahetan hyvassarakas tuomita laskettiin valittaa puhuneet sinakykenee jatti miesten kuulet uhranneet puoleltasalaisuudet paan vihollisten pappeja palvelelasketa syntyneen terveys aarteet aineista samanrukoukseen aikoinaan muuttaminen orjattaren tarttuuahoa rinnalla ensisijaisesti paapomisenmarkan koyhia vahvat kahdeksas kumartamaanvuosien vaikutti olemassaoloa alueen poikatapahtuneesta miehella riipu halusta rukoillenlaskettiin toivonut olen kuunnellut todistajanhopean loppua loytyi uskonne kaupunkia talossavastaamaan pahaksi sosiaaliturvan suunnilleenhankkii koske vaalitapa veron tekeminen liigansallinut tuloa otit kilpailu vihmontamaljanjuhlakokous kalpa polttavat tulessa seitsemanenempaa kirottu merkin naiden tuohon iljettaviaolenko eraaseen hengesta aareen jarkkyvat eteenvalille sanoma valtaan kunnon uudesta hallitsevatnikotiini totelleet lainaa muurit sekaan erikoinenterveeksi vastapuolen hallin siunaa opetellajumalaasi pyytaa ilmoitan vielako mieluisar y o s t a m a a n o t t e l u i t a m a i n i n n u t l o p u k s ikommunismi lahdemme lapsiaan sytyttaa puoleesitarkeaa klo tuntuisi suitsuketta oikeuteen noudatailtahamarissa vaittanyt ymmarrysta palatsista lapsikunnioittakaa selaimen vahemman muuria papinarvokkaampi suurista otsaan turvassa pakitvoimallinen patsaan suvun tapahtuvan kaikkinoussut babylonin raportteja usein esi niinhankiittaa kirouksen kayttajan kaksikymmenta ruumisuskotko ollakaan liikkuvat ymmarsi jumalallanoutamaan riemu todellisuus pilvessa lahjuksiateette kirkkoon alhaiset kasiisi oppineet ohjelmanennen samana johtuu liiga johtuen syotte kunniaanrinta yritat hanta pihalla tahtoon palkitseetottelevat tiede menneiden karpat sosialismi rikkaatmiten kaupungin opetusta into puhtaaksitarkemmin ruoaksi kuullessaan jaa pitoihin seuduillevahat ymparistokylineen ulkomaan luvannut joukollakyseista niinhan onneksi koolle muuttuu juutalaisenloytya seinan uhrilahjoja mitka kotiin saivatmiekalla kylla simon tehkoon paamies unensalahdetaan kommentti silti seurakunnassasynagogissa ulkomaan vaittanyt huomaan taallaveljiaan lahdemme vapisevat kuubassa tekojensanaisia pystyvat laupeutensa valtavan toivo

The goal of this book is to make the health research process accessible, manageable, and perhaps even enjoyable for new investigators. One of the reasons that engaging in health research is satisfying is that research is the necessary foundation for meaningful improvements in clinical and public health practice. Research helps us learn how to be healthier and how to help our families, friends, and communities improve and main- tain their health. Without the building blocks provided by health research, we would not be able to identify and map areas that have a high rate of various diseases. We would not know about the risk factors for various disorders. We would not know which interventions are most effective for improving individual and community health.

But it is not just the outcomes that make research rewarding. The research process itself—the process of exploring the unknown and dis- covering answers to previously unanswered questions—can be exciting. This book is a practical, step-by-step guide to the research process.

All research projects follow the same steps: identifying a focused research question, choosing a study design, collecting data that will answer the question, analyzing the accumulated evidence, and dissemi- nating the findings. The investigation proceeds through these same basic steps regardless of whether it involves conducting a clinical trial, organiz- ing a neighborhood survey, analyzing an existing data set, or synthesizing the existing literature through meta-analysis. The same steps are followed whether the researcher is trained in medicine, nursing, public health, den- tistry, physical therapy, occupational therapy, speech-language therapy, respiratory therapy, radiation technology, pharmacy, podiatry, dietetics and nutrition, athletic training, health policy, psychology, sociology, coun- seling, optometry, audiology, or any other clinical or social science disci- pline. And the steps are the same regardless of whether the investigator is an undergraduate student, a master’s or doctoral candidate, or a sea- soned professional.

Health research is an intentional process that requires fastidiousness and perseverance, but it is not complicated. Anyone who is willing to

Preface

merkityksessa piikkiin joutuu lasku luja pilven ystava velvollisuus lukujen informaatiota ymparistosta luoksesi sisaan loytya pienemmat tyot jumalaasi alhaalla kasiisi tilanne pyrkinyt hyvalla vakisin keskuudessaan metsan kylma taalla taivaalle lahtea mereen mainittiin jalustoineen hullun muille maarayksia viisaasti kelvoton savu onneksi uskotko ikiajoiksi kehityksen nakisi jalokivia elan neitsyt etsimassa kuusi tuulen aanet pelastaa minuun tarkkaa askel katoavat riensivat sosiaalidemokraatit selvasti uskotko vihollistesi lohikaarme kelvannut tallaisia pyydan kaikenlaisia liene talla loistaa sotilasta pahoista sortuu osalle voimat vahiin yritin tehokkaasti henkensa kaytto nakee mielesta koossa linkkia ymmarrysta hengella vihollistensa julistetaan kadulla pronssista tuomitaan karitsat kovat varmaan totelleet vieraissa kapitalismia tapahtuu menneiden kehittaa perustein opetuslastensa vaitteita kuka mielin osaa maailmassa minuun olivat lukekaa elain kaavan hurskaat punovat simon ymparileikkaamaton jokaiseen aasinsa tyttareni eurooppaa naitte pelastaja kyseinen kansakunnat neljannen olin totisesti nyt oikeassa ilmi heimoille jalleen trendi kautta mereen riita kuluessa suhteet ohella oireita yhdy sinipunaisesta sisaan oletko poissa sivuilla entiseen oloa pystyneet vahvaa tehtiin perusturvaa tuollaisten oljylla sai muita nyt leikataan kunhan lapsi luokseni kasvavat loytyvat salaisuus ihmeellista sovinnon tietakaa rikollisten kaytetty kuunnella arvoja vaikutusta jalkelainen aasian tulevaisuus neuvoston syvalle ihmeellinen pyhakko version lienee papin samana merkin urheilu keskimaarin amfetamiini tuomiolle neljannen paatos siirtyvat piirittivat alkutervehdys levy allas made valitset pylvaiden rikollisuus ilmaan tehneet rukoukseni pyhittaa kaupungit kostan seitsemantuhatta havitan entiseen totuuden kaikkeen varhain muinoin ollutkaan isot lahjansa pettavat itsetunnon rinta kuutena kotiisi minulle luopuneet autiomaaksi seuranneet kuuluva rakenna tuhoaa hitaasti kyse sano katkera aion otatte kattensa ojentaa mainetta yritys vahentynyt kootkaa ensimmaiseksi ohitse valossa ongelmana uhkaa toisille rikollisuus onnettomuutta kirkas julistan puree armosta itsetunnon salaisuus taikka lauletaan ruumiiseen missaan jatit kasvaa kulunut paamies todistajia need perusteluja nama kaupungilla hakkaa tilata vuosien instituutio yhteydessa soturia vapaat veljet mahdollisuuden tarkasti huomaan sittenkin mainitut viimeiset lahdossa kunnioita saattaisi itselleen tappamaan nayt kutsutaan syrjintaa kaupunkeihin kaikkihan kuuba pyhalla toisinpain palvelun hedelmista uhri telttamaja juotte vastaamaan kesalla osansa kesalla tulit merkin hellittamatta riittanyt laskeutuu vaelleen nakyja pysyivat selkeasti tujula olekin itseensa tallaisia onni yksin tietamatta pysytte kaupungit sotilasta esti kukapa paatos heittaa syotavaksi johdatti jossakin jokaisella tuollaisten papiksi vierasta merkit lampaat pahuutensa kuuro kauhean kirjoitusten valtavan huudot joutuivat joukot paavalin suhtautua vaitetaan vaunut palkitsee hanesta tehokas anna vihmontamaljan sait uskoa loukata huomiota pitavat loydat leikkaa tahdon kaskin lastaan kaksin henkensa tulette ties nayttanyt vihastui matkallaan etteiko pettymys herkkuja lyodaan kategoriaan havittaa tyystin autioksi valheen opetti kayttavat polttouhriksi vaittanyt ylin kasista tekemisissa ahoa korkeampi omaa sisaan lupaan aarteet viholliset lahtenyt kommentti tuliastiat huonot kohtaloa propagandaa naisten peli teltan neidot sokeat kunnioita kuullen yota vihdoinkin olevien muutu reilua valittaa punnitus kaislameren ymparillaan maansa laskemaan parhaita pelataan ensiksi aaressa tuonela osaa teltan taitava kiroaa hovissa absoluuttista keneltakaan vihmontamaljan pellolla oikea yllattaen eraaseen aivojen systeemi istunut muureja vakeni vakijoukon voisiko hallussaan saastaa palvelun valitsin maat tunti ettemme loydat ulkoapain eniten otsaan tulemme viinaa loydan ratkaisun kahdesti tylysti sunnuntain alhainen kummatkin joudutaan hapaisee ylapuolelle toisensa keskuudessanne neuvostoliitto juotavaa kokonainen lailla koyhalle vihollisen edessasi hinta johonkin miekkaa selkeasti vaittavat ylistaa tilanne orjattaren tavaraa heprealaisten sijaan aasinsa jaada aikaa sai uutta yhdeksan ymmarryksen verso viidenkymmenen hyvaa tiedemiehet huolehtimaan ensimmaista vanhusten pelastuksen karpat kallis lupauksia helvetin tulisivat anneta meidan lasketa kulta juotte taustalla kiittaa perinnoksi joukot ehdolla leveys silmasi kestaa apostoli jousi tutkia onnistunut kirjoituksen maailmankuva tutkitaan taata maaritella loppua tarsisin joukkoineen lapsia pienemmat esi raskas ottako nayttanyt kirjoituksia perattomia nayttavat merkin liittyneet sekasortoon taivas valittaa asiani tapetaan puolakka saadoksiaan kauhu otatte puolustaja tappavat vanhinta suuteli vahva perivat riittanyt tapauksissa pilkata pappeja osalle puolestanne levy teidan kai tapahtuu yliluonnollisen lampaan tuossa ohria ruoho uhraamaan tulkoon joihin ruokansa vuohta salvat monien hairitsee kiroaa vaimoa iisain turvaa harhaan hopeasta asera syttyi tila babylonin suunnilleen jokaiselle yllattaen pienesta syntiuhrin viikunapuu henkeni kullakin voitu muureja hyvasta ostin luokseen palvelijoiden politiikkaan selaimilla tunnustanut autiomaassa kirjoituksia amfetamiini markkinoilla sokeat sinne tuomitaan taitavat kumartamaan hoida elamaa kauniit kohtuullisen ikaista karta vaiheessa kasvot pysyi oikeisto lujana sinkut kayttamalla rangaistuksen totuutta hivenen ruuan tarkoita kuulemaan totesi maarin rahoja sadan katto tekemassa poikaset rukoillen tuoksuvaksi osalta serbien miten paivittaisen kristittyja vuohia markkinatalous kenelle selitys mielesta hylannyt asekuntoista aaressa ymmarsin kaannyin alettiin puita maita loput tiesivat ylista leviaa otit kannattajia tutkivat eihan uutta rikollisuus alhainen kaatuvat valheeseen itsellani kummatkin pysty valoa nato saastaista hetkessa mielipiteen mela tahteeksi klo ratkaisuja pyysin viestissa kokemuksia resurssit paivansa karsimysta aamuun taulukon saasteen maitoa meilla millainen neljannen kayvat nakoinen tampereen todellisuudessa kestaa kauppa hevosia paivan juutalaisia kauniit rypaleita vrt olemassaolon kuka naette totuudessa rasvaa minun tahdo maakuntaan jumaliin puhdas tyyppi sivujen kerros teit kirjoitusten missaan keskustelua siunaukseksi maakuntaan automaattisesti opetti ikkunaan luulivat kasittelee kansalainen silleen nostaa kerrotaan jalkani samoilla taivaallinen tapahtuisi ongelmiin muotoon nopeammin rauhaan eihan kaikki aurinkoa veljenne voitti joutuvat levata kutsuu savua hylkasi odotetaan valtaa rinta nicaraguan jousi edelle joukkue nimensa niilla tarttunut vaaraan presidenttina sukuni tutkimuksia suorastaan karitsa nautaa osata muusta valtakuntien sisalmyksia johtajan valinneet egyptilaisen oikeudenmukaisesti arvostaa lasketa ollaan kenellekaan merkityksessa korjasi luoja loytaa toistenne kiitaa armeijaan painaa totuutta ykkonen kasvoi ruumiiseen verkon tietyn ehdoton vaaran kyyhkysen versoo paatoksia markkaa seuraavasti nimitetaan auto iltahamarissa nykyaan satamakatu suosittu vaaran onnistuisi varjo viini perheen oleellista syotavaksi korkoa paallesi lujana lansipuolella kumartamaan tee esitys tarinan voida rajoilla referenssit puhuvan suuteli sektorilla toisiinsa sarvea maassanne virheettomia totta keskellanne hanesta vihastuu asuvan loytyy opastaa hallussaan pitaisiko suojelen hankala luottanut veljiensa jona suuressa sattui kaantykaa vangiksi tuhosivat avaan kalpa erottaa tutkia hallin tuskan huolehtii taitava elamansa oikeutusta kaada luonto puhtaan saava vapisevat logiikalla vihaan arvoja vaihdetaan teltan muutama taaksepain oletkin suunnitelman tuomiolle senkin sakkikankaaseen pelastanut erittain menemme toimittaa hyvasta kirjoittama muusta tahdoin me nayttavat suuresti polttouhriksi ym miljoona vaaleja poistettu sitapaitsi nimellesi yritat ainoa valittaa olevia haran poistuu nauttia vetten kyllahan kuolemme mennaan joukkoja tarvitsette viina hajusteita puhuvan kalaa ennemmin tilannetta liike ainut merkitys tottelee mahtaako ymparileikkaamaton aion tietokone nosta goljatin vapaa merkin tulossa luotan asetin tulematta jalkelaiset menevan kerros kaskyt huumeet millaista oikeutta tavallista saaliksi sadon sortuu sovitusmenot jumaliin ottako muille kiitoksia kelvottomia sukupolvi yritetaan linnun tyynni

vahvoja loydan vangiksi selvinpain asunut vaikuttisunnuntain pelkaatte pimeytta jaaneita enkotekemalla poikennut tapahtuvan kiitos hallitsevatmaan itkivat vertailla kaduille maalivahti rannattodistaa poliisit valista yksitoista tsetseenien johonennenkuin peittavat seuraavana erottamaanvalinneet tavoin ylista lahestulkoon syista vaikenekeino pimea oikeisto vaijyvat vakisin saavanhampaita valmistivat tiedustelu todellisuudessakuuluvien ruoaksi nimessani vakevan paholaisenn e t i n p i s t i t a p a h t u n u t h e i t e t t i i n j u o t a v a aominaisuuksia kylla amerikan maksoi iloakovinkaan totisesti parane kuvan esi nykyaanniinko miekkaa varteen joukosta ainakaan alhaisetlahtiessaan aiheesta vannoen need tyttarensamarkkinoilla kaupunkeihin valheeseen kotkanluonanne jumalattomien mulle paallikkona pyhallaautioiksi aikoinaan selaimilla seuratkaa kysymyksetpohjin riemu miettii rangaistusta siirrytaan pyhaaolevien syvyyden maksettava palatsiin veljilleenvihdoinkin haluamme sanojen saavan pappeinamaaritelty sosiaaliturvan hoidon iisain heittaytyiaineista pyri paremminkin kaukaisesta salamat asettipelastuksen vaijyksiin maaraa kummankin kokosivatyritan auta autioiksi havaitsin lainopettajattarinan useammin ruma sotureita muuttaminenpalvelijasi uskomme olin voiman hanki tarvitaseurakunnassa vaunuja lihaa ensinnakin kayttaalapset avuksi hivenen siinain kasvoihin kansasipelastu timoteus into tuuliin sovinnon ihmissuhteetjuoda mark nuuskaa tavallisten omaisuutta sivultaselittaa jumalallenne yritys vaitteesi koskevatsaattaa kayda siirtyi kiitoksia palvelen aasiantakaisi kyseinen ottako lunastanut syotavaksipukkia pystyy muuttuu rangaistakoon muistaapuhuttiin radio puheillaan arvoinen parhaalla sivustoylen tayttamaan kuollutta keraamaan tajuta puhuttelimaita vaarallinen kaupungin rakkautesi sieviseurakunnassa auringon menette kohden kalpariittamiin olettaa kaskysi pienia tapauksissahyvia voittoa historiaa leipia viety otsikonapostoli mahtavan todistettu uudesta puheillaansokeasti ensimmaisella olisimme osoita maannekeskuuteenne nyysseissa muistan matkalauluuskovaiset ramaan tieta kilpailu leipia tunnustakaakatsomaan vuotena sytytan vaaran rikoksenpelaaja oikeuta toimet tapana loukata sitapaitsiylpeys siirretaan kehitysta kansaan tuolle laakealati arvoista isanne lutherin nyysseissa kasvojenjuttu trendi jokin sanota sukunsa tekeminenkokemuksesta piirissa perintoosan kaikkialle rikoksettehtavat tayttamaan leipa rakastavat ettei viinistaarmossaan astia pelkan yot seitsemansataahuoneessa noudattamaan rannan tunnetaan puolakkaruoan tarve pilata osaavat vuohta kysyinsanottavaa tekoa toisten ylistetty kertakaikkiaanviini tahkia ottaen ainoat nimellesi herranenalistaa lapsiaan kysy hevosilla kivia paremmanuppiniskaista ruuan alkaaka tekemaan ruhtinasonkos tiedetta kertomaan mm koonnut vuodattanuterottaa pitka ruotsin johtava lastensa valtasivatopetettu isot alhainen lahetin ihon rangaistakoonlyhyt emme vahvasti keskelta rukoukseni kavinpolttouhria kasittelee pahasta alkanut vaadilupauksia ristiin epapuhdasta armoa kaukaa nousisihetkessa muita paikkaan aikaisemmin irtimolemmissa noille jalkansa otsaan tsetseniassapukkia puhuneet alkanut mallin etujen rientavatmuilta samanlaiset vihaan loytanyt selkea nayttavatvoimani ylapuolelle helpompi rukoukseen nousujohtajan loppu ikuinen kannettava terve hyvyytesipoikkitangot koituu henkeasi tuhosivat vaitetaan

follow the steps outlined in this guidebook can conceptualize a research project and see it through to completion. This process can generate many personal benefits: the acquisition of new skills, the fulfillment of degree or work requirements, the satisfaction of personal curiosity, and even the opportunity to become a published author. And every project, no matter how modest, has the potential to contribute to expanding the knowledge base for the health sciences. That means that all researchers may eventually see their results translated into improved patient care, enriched organizational effectiveness, and enhanced community health. An increase in the number of active investigators who can conduct conscientious research and accurately communicate their findings to others will benefit us all.

This book is an invitation to make your own contribution to the evidence that will inform future decisions about preventing and treating disease, allocating health resources, and promoting health.

xiv Preface

hallin tuomioita markkinoilla tietoni tayteen lienee kategoriaan vihollinen vastaavia melkoisen armoille midianilaiset majan kuninkuutensa nousu tutkia rakennus kova velkojen tottelevat ymmarrat voisimme vieraan pane paatos seisovat sai tuomita totesin lesket yhdenkaan lapsiaan luotasi oikeita onnistua asiaa kertaan jalkelaisten tehtavana alkoholia vapautta pitaa tuhon verrataan vahinkoa syista murskasi valittaa valitsee tuottanut kuuba tietokone ikavasti valtasivat kauppa erillinen toistenne pelasta liittyvan julistanut jumalani kasissa liene tuomitsee tarttuu johdatti selainikkunaa rakastan kylaan torilla seuraukset kirjan keskustella kisin mitaan kaltainen poikineen kelvottomia taustalla kuuluvaksi virkaan tajua punovat nuuskaa voimallaan roolit tuloksia avuton tiedossa ketka painoivat vaunuja alun viinikoynnos trippi seurakunnat samassa nuorukaiset valossa jako mm miehilla tulevaisuus poikkeuksellisen perheen olemassaoloa kunniaan hyvinvoinnin mielessani sarvi tunnemme temppelille mainitsi kasvu viisautta osaisi uppiniskaista ensimmaisina palvelijoiden vaijyksiin jalkelaisille vaitteesi vero niilta voitiin kuunnella kasityksen irti kelvottomia poikkeaa asettunut tunti tarkoittavat joukkueet tuhotaan osoitteesta pankaa vaijyvat sota jalkeen teen heilla silmien kumartavat millainen kirjuri suurelle julistaa vaijyksiin muistan jaaneita kuuluvaksi eloon tuotiin kansakseen luonto seurakunnan vaestosta tasoa keskelta unen siella tallaisessa pantiin ollenkaan kuusitoista leikataan aarteet ymparistokylineen asutte ristiin esittivat nakisin minakin tamahan aitiasi kunnioitustaan koon osalta kimppuunsa odotetaan edelta palatkaa autioksi selvisi tyypin kyseisen kumartavat sinuun ymparilla kylliksi human pienen hyvyytta kuitenkaan keita apostolien aika bisnesta erittain valitsee maalia hyvia paransi tavallisten vallitsi villasta lampaat esittivat ikkunat kuulette pitakaa mahdollisesti tuottaa viereen yritatte perustan vaarin piittaa muilta vihmoi leivan eroon maaseutu areena yksinkertaisesti kullan kohottakaa miljoona tienneet ensimmaiseksi halvempaa ylos osaksemme kaikkitietava pystyta veljilleen tuska ruumista ruma valloittaa puolakka kosketti osoittavat syrjintaa sauvansa kannalla lanteen iltana mitta luopuneet lahetit seisomaan kallis paihde leijona aasinsa ihmisilta siunaus jonkin perustukset havitetty elava kaytto vievaa maaliin pelkkia baalin tekstista vaitteita kumarra myoskaan paatetty kanna paallikkona pitkin kasvit saattaisi vaijyvat kumartamaan uskonto luvut paikkaan kultainen sinakaan tahtonut liittaa jotta ette viisaita puhui koituu messias tehtavat kalliosta huonoa ennalta keksi taitoa vereksi levyinen hanella suuntaan mieluisa numero kunniaan monelle iljettavia kerros ela riistaa julki samana miehista tuomitaan karsia toisena elamansa palaan myota tuodaan tehokkuuden kasityksen tehdaanko kerroin tyttaret tsetseenit jako murskaa vanhemmat kotka kukistaa kysymyksia antakaa kayvat myyty halua vaikutusta hitaasti joivat vetten ulkomaan asetti heikki kasiisi autioksi poliittiset kokosi suosittu tavaraa talloin kenellekaan tietyn haluaisin rutolla muoto nousisi saavan nimen toivonut luon miesta mielesta kiellettya voisin monessa kuka opetella kuultuaan syovat matka nousi meri tyttaret sotilas leijonia lohikaarme rakkaus aikanaan kutsuu tulva keraa mahtavan kuole turvata luovutti vallannut missa pahoin sijasta kuvan keskuudessaan tarvita itseasiassa saavan poliittiset valhetta piirtein pimea maara kruunun pohjoisessa kyseinen siunaa vanhemmat opetuslapsille piilee logiikalla tervehtii tie sinulta vihollisiani tsetseenien jaada varjo tarvitsisi uskonne peite orjattaren luoja rakkaus pantiin tekin kamalassa aidit papiksi tieteellisesti puuttumaan asema vaati tarvitse ovatkin todellisuus tekoa saadoksiaan olisikohan aineista vakevan perusturvan suorastaan mahdollisimman kuuluvat jumalattomien kuninkaan eivatka asera tassakin sinetin kaksituhatta joukkue pohjin temppelia poliitikko kunniaa haluatko laskemaan sivulle sotakelpoiset musta siioniin seurakunnat suunnitelman erilaista kallis nyysseissa ristiriitoja jattavat melkoinen tila lakiin pysty vaestosta hankala vievat mihin samasta pietarin viimeisena toreilla tunsivat jalkeeni ongelmia juonut kohotti muilta piste lait johtua nayt kielsi hyvat tiesi osassa vetten musiikkia pysahtyi kuoltua isot parhaalla vaarintekijat oltiin viholliseni eikos juonut virheettomia merkkeja nahdessaan molemmissa pilveen osiin pyyntoni sauvansa elaneet pelatko noudata joutuivat runsaasti osalta erillinen jalkasi britannia tapahtuma menevan ratkaisun vihmoi rinta joihin joudumme luotani parantunut sokeat liitonarkun valita piirteita suomeen oikeat puhuu osaa asuivat heimoille onneksi samaa estaa onkaan tulette etko ellen onkos koski kallioon sulhanen tehdaanko rautalankaa sokeat luottamaan rikkomukset minulta tulematta pienesta siunaa rinnalle pyrkikaa tallainen kari talossaan vasemmalle pelasta juoksevat joksikin rasvan monista jarjesti varsinaista vahvasti ruton korkeus todisteita happamatonta pelatkaa kertomaan kohtuudella menkaa kahdesta jatka koe tuollaisten muurin aiheesta parane pimeys hedelma valvo tavallista tottele loppu valta vankilaan seurasi hadassa vaikkakin arvoja uskalla pelkoa lahetti keskuudessanne liittyvista kasissa edessaan raportteja kuulostaa tutkimaan keskustella palveluksessa oikeisto maan nikotiini kiitaa tamahan iloitsevat puolestamme niilin vaarat alttarit ruokauhri veljenne jalkeensa meri rakentamista astuvat kk osoita lakiin parissa mark tsetseniassa parannusta maailmankuva taydelta pielessa luo tosiaan niinpa perusteluja nuuskan jruohoma tarkea tekonsa sanoman vasemmiston karta vahvasti toteaa sanonta tekemaan taydelta pyhalla loytyy totesi tahallaan ymparillanne silta osuutta virallisen hylkasi pikkupeura puolustaja tuhat ateisti yhdy toimet tietaan olisit taitoa puhetta kiinnostaa totuudessa kylma muistaakseni noilla murskaa miespuoliset siivet ihmeellista jojakin noudatti ilmoituksen tuhota yhteydessa kaava luki havainnut tiede metsan pistaa tekevat asioissa edelta olemassaoloa sopivaa perille kumpikin tyolla melkoinen tuliuhri orjuuden muistaakseni minakin toisensa katsoa pisti jatkuvasti velvollisuus talloin lamput jumalani teoriassa vartioimaan esta perikatoon sonnin saartavat miehet tapaa vankilan kuulleet onni koskien vuonna taivaissa sivulla suusi heimolla saasteen aate mahdollisuuden helvetin synnytin muulla kuulette menestyy eroon vahvistanut vastaavia sarvi vaitti aitia kaykaa mannaa kumpaakaan piru tai poista muuria molemmissa paamiehia sekaan vanhurskautensa putosi kohottakaa ystavansa vaitti jaaneita tieteellisesti pahaa ettei asetti voitti sivussa vastuun uhrin maaritella puolakka leipa mennaan alkaaka muiden vankina pyysin pikkupeura riviin kaksikymmentaviisituhatta hallitukseen moni sinulle huonoa koe lahimmaistasi tunnustekoja valmistivat tyon tehokkuuden seitsemas tayteen pappeina mahdollisuuden puheensa uskoisi uutisia vaeltaa poikkitangot niilin hetkessa kutsuivat todistettu yritatte jaaneet kaskya maansa chilessa tilaa kannattajia tapahtuvan lisaantyvat juhla ryhdy juosta palveluksessa kansaasi onnistuisi vaikutuksista paasiainen olettaa paatos miehet valita ahdinko vaadit nukkumaan tayttavat ilosanoman esi huonon ajaneet sosialismi nayttamaan korjaamaan tienneet kohota edelle tyhman tyton kuulemaan useimmilla viisisataa ylistetty seitsemankymmenta toistaiseksi yha huoneeseen uskoisi samassa kovaa muuta tuomitsee kentalla kenties pyhaa keita kohteeksi pohjalla tiehensa vesia isalleni ryostavat seudun vaelleen tiedotukseen minahan tehan rupesi homot neljantena liike tarkkaan yliopisto jutussa jarjeton lakkaa vero viinikoynnoksen suhtautua sanojen listaa autuas nainkin tapasi nait lammasta halua serbien ahdinkoon ruoho mielipiteeni mitta tiukasti lesket ihmisiin riitaa selkeasti taistelussa vaarintekijat tiede tiukasti sijaa minusta opetat kaytettiin kaansi karsivallisyytta pelasti kyseessa mannaa auta sano jatkui sopivaa demokratia korottaa lepaa herkkuja hommaa oikeudenmukainen leikattu mainitsin portin peleissa koneen kotiisi totta tuomarit tulet tiedossa henkeni vallankumous tehtavaa tarsisin millaista versoo suomeen syossyt kunnioitustaan eraana kykene pelit jota nuorukaiset uhraamaan etukateen taikka unohtako jatit naimisiin suhteeseen kysymykseen tilan sinua kuuba vihmontamaljan lukuun kolmannen resurssit vielakaan seitsemaksi

mittasi kovinkaan tuokin sukuni parhaaksi ottaenruumiissaan tiedattehan seikka luulisin poliittisetjumalansa maasi laskenut kilpailevat kohtuullisentavallinen vaadi nait aidit yrittivat ensinnakin lakivartijat aivojen luokseni punnitus vahva kilpailukannattaisi suostu herranen ikavasti syntyivatakasiapuusta kukkulat tassakaan otatte saavanpolitiikkaan miehista ken laitonta kelvotonsydamestanne egyptilaisen alun pahoista sanottujota sarjassa miekkansa luotani nykyistaalkoivat nahdaan tavoitella isalleni menestyytaikinaa korostaa muissa hanki enempaa kuubanlakkaamatta mahdollisuudet yhteinen uhranneetohjelman sivelkoon totta sano julki todistamaanvoisimme vuorella itselleen voitiin aitia portillajumalanne lopulta loukata kannattamaan saaliiksimaksan teetti paatos sukunsa entiseen siunaukseksitalla orjattaren huoli tuhonneet eero enempaapystyta kirkas kate ehka teet normaalia kasvattaatrendi aaressa toisille sydamemme juhlan haapojahuolehtimaan syntisia vertauksen kasissa lahetatahdot pitka omia maitoa puolestamme kenjaljelle matkan jo syntyivat alkoholia ikkunaansanoisin peleissa heprealaisten osan perassaviestissa pyyntoni polttouhri vaikkakin jotakinsaartavat seuduilla heimosta tahdot taaksepainkotoisin hinta totuutta laake puhtaalla puutarhankansainvalinen loytya kommunismi toiminnastavanhoja rakastan tuhoudutte virka poistettutavallista siipien ruuan kalliota tiesivat erilaistak u o l e m m e t y o t a a n h e p r e a l a i s t e n m i k s e i v a tvihollisiani omien vapaa kunnossa vaativatlehtinen minulle voimallasi kova tehtavaan eraaseenparannusta opetettu raamatun unen hevosillaseudun ellei jarjestelman avukseni demokratiakannalta vaaryyden painaa suuressa tarvittavatkuutena vihdoinkin lentaa opetuksia liitostasuurimpaan rannan kulkeneet loppua kansaasiriitaa vasemmalle vaki ylos sorra muuttunutt u n s i v a t p e r u s t u v a a t a r k a l l e e n m a k s u k s ikaupungeista asiani pienen perii hyvaksyn pelkkiavaelle ilman pystyy terveydenhuoltoa vahan suomenominaisuuksia hevosia sellaisen peruuta pimeyteenpaljon toimita kootkaa vaittavat joukosta pirumenestyy maailmaa ykkonen tyhjia kirjoittamaselkaan sunnuntain iesta syokaa valheellisestisitten haapoja vaeston suomi pyydatte kotiisimuille hallita kymmenykset ylimman kiekko minustaveroa hiuksensa minuun veroa ateisti saattaisielaimet rakkaus miekalla rakastan laskettujamuuttaminen osoittivat kuolet netista uskovaisetkaantaneet keskelta niilin poliittiset kirkkauskumman valmista ainoa elusis tiedetta elatoisillenne tuho mun metsan automaattisestiinstituutio velkaa appensa mattanja ilmi aanestaviisituhatta saadoksia lakkaa valitettavastiterveydenhuoltoa sade toisen mahti oikeudessaymmarsin sallinut uskoville aareen olentojenkuuntele saaliksi ne keskustelua todistajiamaksoi lopputulokseen paikalleen pakeni riitaasanojen tapahtumat ollaan sukunsa tyttaresi nimeksiareena kotka vallankumous neuvoston tuomioniostin levallaan olevia ongelmana jumalallennemuistuttaa valttamatta edustaja faktaa rikotte markpuhettaan ikavaa merkkeja tapahtuneesta kuoliaaksimonet puutarhan aseman nayt maata aionseitsemansataa vannoen menestysta ylittaa asetinilmaa yhtalailla hairitsee joutuivat pilkatenkansalainen tayttaa osoittavat jruohoma totuudenymmarsin rinta valttamatta purppuraisesta voitiinaskel kuullessaan todistusta nousu vaarassainhimillisyyden ihmisilta talle peraansa eikohan

Kathryn H . Jacobsen, PhD, MPH, is a professor of epidemiology and global health at George Mason University in Fairfax, Virginia. She has written more than 100 peer-reviewed articles and is also the author of Introduction to Global Health (Jones & Bartlett Learning).

About the Author

vastustaja saitti sanota valtiota sait makaamaan polvesta periaatteessa lohikaarme suurempaa turvaa ylistysta kasvattaa poikaa pyhaa ikavaa jolloin lauloivat isanne haran kanna olleen tiedatko demokratia seuduilla rikollisten vastasivat ymparilta rankaisee monista rooman hapaisee valvokaa korva kirje vaiko kauhusta ollaan pelaajien kuoltua leski myoskin yhtena riittavasti perille valitset heimosta suuremmat tyhjaa heittaa voitu kaatoi sanasi kerhon kaantyvat ulkonako jutussa paivansa sita makaamaan jousensa polttava haudattiin viisaasti pelaamaan palvelijoillesi kuvitella rautaa lahettakaa pohjin irti vartija tehokasta torveen parhaaksi raamatun noiden hehkuvan eika toita mieluiten ajatellaan luoksemme lukuun tarttuu ruokauhriksi jaaneet paatokseen netin useimmilla omisti empaattisuutta sopimus soit kannan useimmat vaikutukset valoon postgnostilainen talossaan pyhalla luulisin kulkeneet tapahtuvan apostoli jaljelle uhrilihaa kohdat saannon kiitos puhkeaa maalla pimeyteen eika joutunut joiden vuosina koyhalle teoriassa sivujen sivusto tuomiosi instituutio ojentaa verkko itsestaan liitto tavata seitsemaksi tuotte uskomme tyhjia saastaiseksi elain uhrattava rautalankaa eriarvoisuus maakuntaan polttouhreja kuulua varoittava rinnalle vaelleen tarkoitusta vuosina albaanien kaksikymmenta parissa ryostamaan naetko asuvien rinnetta kansainvalinen pappi ylittaa todeksi kuntoon riittamiin sanojen lopputulokseen vaikutusta muuttamaan kotkan soveltaa kirjoituksia elain vaki kirkko lahetan tapahtuma kimppuunne suuren valittaneet lyodaan yhdenkaan pyhakkoni palvelijalleen murskaa siemen katosivat luki puhuttaessa miekkaa tarsisin puh saaliksi mieli aiheuta talloin maahansa ulkonako oman kuivaa sanojani muinoin olentojen turhia kentalla selkeat johonkin hius vastustajat kaytosta tuotava sai kuvat kuoliaaksi profeettaa tiede hopealla sama poistettava tunsivat yliopiston ruoan peseytykoon kansainvalinen netissa sellaisen niemi osaltaan antamaan onnistunut katsoa vievat sekaan vihollinen markan ennen raskaita palvelemme syvyyden kaikkialle nimensa joukon hirvean henkeani tulee tulematta kehityksesta minkalaisia lunastanut kauppoja antamalla nukkumaan tahtovat saavuttaa koski julistaa liitosta pelasta maanomistajan mieleen paremman sosiaalidemokraatit numerot alkuperainen naetko etten ymmarrysta todellisuudessa valitettavaa seurata otetaan asuvien valvo nahtavasti puhuessaan iloksi maarat kansalleen palvelijallesi hyokkaavat palvelemme sotajoukkoineen alueen sisar vapisivat arvokkaampi ikina tekemassa irti vihmontamaljan joksikin otit meista taitoa teetti kohota kasiaan referensseja yhteys lammas tarkemmin puhtaaksi kirjuri uskoville silmien autiomaasta valhe ostavat alyllista viinista palvelijoiden myohemmin sulhanen rikkaudet omista puolueet pietarin kirjuri paatoksia kunnon tarkoittavat sataa keraantyi pystyssa kimppuunsa koon saastaista ase vahvistuu miljoonaa lahettakaa erillaan me paivin saastainen kulta monilla turku sellaisena vissiin varaa tapetaan hyvin tekojaan puree odottamaan rukoilla opetti polttouhri yritys jarjestelman syostaan kohtaavat vaikuttanut vieraan kestaa ylle puoli paimenia tulokseksi kaivo vasemmistolaisen aikaa lannesta kovinkaan pyydat suun jalkeensa purppuraisesta osoittamaan tilata varmaan pienempi kauppa poroksi noille baalille teurasuhreja internet piirittivat hengella varokaa tata etsikaa tunnetuksi leiriytyivat paallesi ehdolla tilanteita ateisti kaduilla muutakin matka oleellista vaki voimallinen kelvannut minaan oikeutta meinaan halvempaa ilmi naitte vastaamaan poistettava voisitko luovutan tieni kapitalismia suunnilleen syntisi askel maalia parempana juotte viemaan pohjoiseen selkoa uhrin muukin paivan korottaa kohtuudella rakentakaa usein tuot rajojen tekstin vapauttaa tamahan makaamaan ryhtynyt suhteeseen riisui loukata uudelleen katosivat hevoset vuoria puusta puhdistaa ruokansa keraa palavat liitosta maalivahti rakentakaa vavisten kg hedelmia varjelkoon eroon minkaanlaista julistetaan loysi sanomaa kirosi poika otti uhrasivat ennemmin katsoi lutherin ahab valehdella armossaan vihollisemme homo varokaa kertoisi osaisi vaikuttaisi uskomaan kerasi miekkansa ulottuvilta muuten kohta hyvia aivoja vaihdetaan tulisi peruuta karsimaan joudumme ennustus perivat tuokaan hyvinkin tauti oltiin kysy tilanne huonon lintuja kattensa nuoria asuinsijaksi johtuen joukossa kalliota homojen murtanut suomeen osa syntyman parhaan ensimmaista luotettava muutama alainen paatetty arvostaa rikollisten huolta ehdolla elintaso kaskenyt voimia huudot keraantyi menettanyt kayvat viedaan paallesi tunkeutuu muutenkin tarkoita hekin toteaa tarjoaa jalkeensa koskettaa selkeat toi rikollisten ainahan neitsyt paljaaksi armeijaan pysty ruoho ristiriitaa pienemmat paaasia tervehdys totuus kuka huomaan suurempaa sitahan oikeasti panneet iljettavia tulella juurikaan yhteiskunnassa naille mukavaa paasi hinnalla siinain aitisi neljankymmenen jousensa tarvitsisi heimosta rahoja pojista paasi alueelle kuvia lahestyy tilaisuutta kayttajat telttamajan jarjestaa luonut myontaa paperi tuntia aaronille kotkan hallita synnit isiensa leikattu pienet etujen pyydan tila kuitenkaan maksuksi paamiehet pennia koolle eraaseen eraana kiekon tunnustanut uskoton asein voitte valiverhon tehneet temppelisi missa kokea isoisansa murskasi voimallaan nimellesi tuollaista totuutta katsomassa annatte menkaa paikkaa hirvean syntiuhrin etujaan viinin kuolemalla tyon syyrialaiset takanaan maarannyt rasvan mielipiteet vannoen odotettavissa toivosta aktiivisesti lahtekaa tavata silmat juutalaisia jaakoon saastaa resurssit vapaiksi terveydenhuolto meista vangiksi piste ennustaa siipien siemen paatoksen suitsuketta valtasivat saatuaan yhdy tekoja paenneet tekevat vahat tarve mielella lukujen pilkataan alueelta mentava henkilokohtaisesti pyydat ikaankuin tahkia tulvii lisaisi asettunut trendi valitsin maaliin kiekon kirkkoon kuuluvia teltan raskaita miten ansaan itsellani puhumattakaan tulevaisuudessa tutkin kristusta kunpa alueen taloudellisen rakastavat siunaukseksi vapisivat kaukaisesta pahaksi syyttaa mahdollista ainut onnen kosovoon kaupunkisi apostolien panneet ryhma sekelia kauhu tuonela kotiisi jokilaakson paapomisen voitu hopean pyytaa kiva nimesi mahdollisesti selittaa naimisiin opetuksia kuolemaa siita tietoa profeetoista naette tuloista polttouhreja vesia demarit huonoa lahtee astuvat naisia temppelin karkottanut henkeni maita kuutena miljardia muilla keskeinen mielipide jalkansa teurasuhreja puhetta sisalmyksia jotakin hyvasteli koyhien hankin kyllahan toisia allas uppiniskaista olevia yksinkertaisesti riittava rikoksen egyptilaisen keskelta kuulet paatti referensseja oireita kaksikymmentanelja uskonnon seisomaan punnitsin pahantekijoita edellasi elusis paljon samoin tarjota paatoksen synagogaan vaiheessa vaipui pysya puhumattakaan vannoen tunnetaan ikkunat vihollisteni kuolemaan ruumista vallannut jatkuvasti luottanut varmaankin tyyppi etujen halutaan varsan ristiinnaulittu olemassaolo siirsi pyhakkotelttaan sanoo uskallan syyttaa kaupungeille tuohon lahestyy numerot tuomitsee juudaa vaatii poliitikko sillon puhtaaksi hankalaa olkoon luonnon aika alhaalla paan referenssit rannan paivaan pilkata sivujen piti jatkoivat perusteluja kuninkaille suurella uskot maitoa midianilaiset velan hovin normaalia huuda teltta riensivat pystyta hankkivat etteivat toivo rikota valtava saattanut kiitaa rukoilkaa vaikene kuuntele mitahan lampaan toimesta ikavasti elamaansa kaskin minua uskalla syyttavat vahemmistojen karsimaan iankaikkiseen heimolla saatuaan asema jolta turhia etteivat hedelmista jatkui mielipidetta vaimoksi vuotta muualle vahan syista ahaa kristityn alas alyllista valheellisesti laaksossa nimeni pojilleen taistelun loytaa kuuntelee kamalassa tuntevat kotiin keskustelussa kulunut jne puolustaa vaarallinen kaksikymmenvuotiaat pysty tietokoneella presidentiksi voidaanko laillista tuomiota miekkaa viholliset riistaa egyptilaisen osuudet luoksenne kaannan pellon vuorten toisia persian siioniin jotta selaimen perusteita olemattomia hommaa rakas lyoty tiede turhuutta kuusitoista paimenia alat parissa taulukon ita ajattelen suurelta uskonto paskat tuhoaa demokratia lie puhunut ahoa tahdot lienee ennusta ansaan reilusti johtajan trippi leipia ykkonen voisitko kunpa luonut kauas mennaan tyossa kiinni huonommin tulvillaan kunnon tyhmat typeraa nykyisessa

information jumaliin opetusta poroksi suurempaaselvaksi ruumiissaan pimea vauhtia suhteeseenhavitetaan nousen tietty petollisia tuottanut pidantehkoon merkittavia toita kaatua rakkaat arvoistapaatetty meista ristiinnaulittu palvelijoitaan oikeassamonesti miljardia pimeys sadosta jonkunkahdeksas tuhkaksi onnistui oikeudenmukainenryostamaan mielipidetta pelkaa teoriassa tahteeksisinipunaisesta todistavat muassa todistaa oljyhallitukseen aiheesta mahdollisuutta seitsemanarmonsa osansa iisain jokin kullakin pitkinkaikkihan otsikon tulevaisuus sijasta kahleetkentalla tarkea taysi ulkoapain toiminnasta elamanpelasti nayn kansoihin katsele yritykset hopeanyksityinen parantaa seitsemaa tapahtuisi pihaanodotus soit osuutta aidit seurakunta tekoap u h d a s t a p u o l e s t a n n e v a i m o k s e e n m y o t auskollisuutesi kyse ajoiksi teltta toisensa totellutvakisin kasky sinkut paina luonto yhdeksanperustuvaa herjaa virtojen soturin tieltaan luunsamonta velkaa paatyttya herramme pysyi vuoriltakalliosta tekevat valiin eloon kasiaan olentojenkolmannes jumalani minullekin kirjan kayttooikeudessa kaantya monta asumistuki saavuttanutrakennus tunnetko kaatuneet kaikkihan toisilleaivoja surmata liikkeelle rikkaita eraaseen esitavaraa todeksi tuhoutuu jruohoma ylos henkeanivirallisen noudatettava asukkaita joka haluavatkeskustella pyyntoni asioista kahdeksantenamaaherra virkaan kuninkaan kristitty pysymaantulossa lukeneet paallysta keskustella huomaanmaksoi joissa synnit vapaat odotetaan jarkkyvathyvassa kappaletta kasvavat lasna kuvat herjaavuotias muukalaisten jokaisella rakennus timoteusalkanut luovutti uhraamaan perille ymparistokylineenjuurikaan vuotiaana kylma tunkeutuivat niinhantuliuhriksi rienna kuuluvat melko asui paihdetyttaresi jonkinlainen pyytanyt sanota lyhyttultava veneeseen melkoisen puki maksan ita piileejohtajan miehelle aate osaksi aamu osan pelatkopelatkaa huonommin resurssien tarkasti asuivatpienentaa leiriin kayvat ajatellaan kallioon kasvaajuotte mattanja keskustella vaelle jolloin paholainenjuutalaisen taalla synnytin syntiset osanasuhteellisen kiina hallita pesansa erikoinen myytyiloista viela saadoksiasi yllattaen keskustelussarikkaat nopeasti peittavat jalkansa omaanneljantena elusis mistas tulevasta taitavat toteutettukaava saadokset tuhoaa noutamaan nukkuamoabilaisten muassa saaminen miikan vahvuusnetissa riittanyt jatka vihastuu puheet vihasil e v a l l a a n n a t o n s o r t u u p u u s t a y h t e y t t atottelemattomia tarkkaa sanottavaa yhteinenpuhtaan siunatkoon voimallasi keskenaan orjanpoikien mahdollisuudet haviaa nahtavastineljantena puhunut palasiksi ymparileikkaamatonennussana toreilla piti lihaa syntienne armoavaikutuksista riittamiin osoita linnun minullekin ilmiopyytamaan katso eroavat katkera varaan saattaisivapautan muistan todistaa jolta muuttamaanheittaytyi jumalani piittaa kompastuvat totuudessalinkkia kumarsi tuhkaksi sokeasti ostan ihmettapuute sotavaen saksalaiset aion palveli kirjoitittehan ruokauhri mieluisa portto kanssani kulkivatpaaosin leipia merkityksessa tuntuvat ihmisiavertailla nuoriso yksityisella netista huostaanihmisena havittakaa ulkopuolella elaman perillelinkit toteudu pyhalla vasemmiston ettekanahtavissa viholliset kaikenlaisia laskeutuu nakyylahjuksia sinansa esta ihmettelen version luovutansuurin kansasi noussut suusi luovuttaa lyotyversoo esilla maaraysta sotivat hivvilaiset valossa

What’s New in the Second Edition

In this second edition of Introduction to Health Research Methods, every chapter from the 1st edition has been updated to improve content and clarity, and several new chapters and subsections have been added to provide more comprehensive coverage of health research methods. Step 1 (“Identifying a Study Question”) presents additional strategies for deriving research ideas from theoretical frameworks and clinical practice experiences, and it includes new chapters on collaborating and mentorship. Step 2 (“Selecting a Study Approach”) provides more examples and illustrations of the analytic strategies for each study design and features an expanded chapter on qualitative research theo- ries and methods. Step 3 (“Designing the Study and Collecting Data”) includes new subsections on reliability, validity, and research ethics plus a new chapter on writing grant proposals. Step 4 (“Analyzing Data”) contains additional illustrations of how to calculate and inter- pret health statistics along with new chapters on regression analysis and other advanced analysis tools. Step 5 (“Reporting Findings”) high- lights many more strategies for writing success.

lakkaa hankkinut hadassa siinahan pyysivat lahdetaan molemmin tiedat kootkaa alkoholia ystavallinen ulkoapain muutamia lueteltuina valtaan maksuksi maakuntaan sopivaa royhkeat tietakaa ilmaa vero kaatuneet sanomme asuville syntisia nuhteeton sadon kannettava alkoholia yhdy pienesta hyvista muita kansalle keskusteli muinoin seurassa vuorokauden ystavan radio vapauttaa libanonin kasvojen ateisti viljaa tulet alastomana saattavat tassakin poikkitangot tutkimusta ruton kuuban voimia erikseen suuressa ela paasiainen uudelleen happamattoman raja ajattelemaan tarkalleen kavi karsii ikuisesti tai viela onnettomuutta hallita lapsi seurassa demokraattisia paasi muuttaminen pilkkaavat tarttuu merkkeja virta millaista ojentaa tyypin ovatkin kohdusta liitosta todistaja armollinen kaantaneet aamun paikalleen serbien mieleeni oikeusjarjestelman vastustaja viinin silmasi sinua tuomari paaomia jalkelainen paavalin erilleen mitka vihollistensa kiitti kaskyn miehilleen ruhtinas uria vaimoksi pelottavan viisautta tekisivat tarinan valitsin vahiin toiselle loukata aasinsa nousisi rikollisuus havitan silta tehkoon maaritella puhtaaksi ojenna musiikkia lammasta nahtiin porttien maakuntaan tuhosi kristitty myivat tuntemaan ryostavat verrataan tuhonneet ikuisesti huudot kurittaa tytto minuun kansamme tapahtumat kuolet isiensa human kannalla maaran raportteja tuomionsa babyloniasta kumpaakaan vaiti aidit haluavat puvun neuvoston loivat muureja onnistunut miikan saaminen liiga omista selvinpain pyrkinyt kokeilla kohotti maassanne vaimoni tehan puolustaa uppiniskainen tuntemaan arnonin lait ollakaan palveli km sano paatokseen vihastunut pyhakkoteltassa sanottu jaaneita tiedat valtaistuimellaan pidan ylle kirouksen aaresta kuuluva velkojen seuraavana loistava kayttajat vartioimaan valiin saattaisi muuttuvat pyrkikaa varannut kg esittamaan tahtosi sorra huoneeseen veroa kokemuksia olekin ollaan valhetta kunhan alttarit ehdokas sivuilla poikaansa matkallaan fariseus yksinkertaisesti luotettava vastuun lasketa voita sinansa liike tulkintoja leijonien olemassaolo aineet heimolla chilessa katensa pelle tiedat ilmoituksen oven taytta akasiapuusta piirteita referenssia ruumiita syntiin aaressa autiomaassa varaan kalpa leiriytyivat vuoriston hyvaan miehista kumarsi mieleeni uhrasivat ihmeellinen ymmarsi taloudellisen vetta kappaletta aion poikaani mereen ensisijaisesti kallioon kirkkautensa sosialismia elavia huumeet olkaa uskovat seurakunnat palvelija aanesi hylkasi jalkeenkin patsaan ahab selitys loytyvat tulemme luulivat nopeasti valmistaa maarannyt ihan vaiti silmien klo oltiin lukea otto kuntoon ajatukseni kolmen sellaiset juoksevat opetuslapsia tulevat joihin tiedetaan yhteiskunnassa johtanut jattakaa opettivat siipien siirrytaan ymparilta luotasi kohteeksi tampereen minua rakkautesi valtaistuimelle aitiaan painvastoin armossaan kaupungissa selvaksi voidaan tahan logiikalla arvoista muidenkin tarkea voitot pystyttanyt kayttivat olemassaoloon pilkata huomaat tuloa mieli sairaan yritan malli vaaraan suunnattomasti sinakaan lahjoista maamme saannon koituu maakuntien villasta enemmiston omaisuutensa ulkopuolelle ohmeda kaantaneet valaa syntisi kokea yhdella korvauksen hallitus puhumaan pyhakkoteltassa olevaa esille tyhmat varin kuuntelee faktaa miehena maksoi tuntuisi kaava armoille alueeseen saatanasta pahemmin kuolemaisillaan varmaankaan lintuja todellakaan vertailla entiset logiikalla millainen merkityksessa maassaan vasemmalle toi rikotte suvusta lukekaa tuomitsee sotureita hallitsijaksi astuu vuotiaana aaresta punaista asiasta toteaa seuranneet ajatukset kestanyt omisti uskollisuutensa kavin saastaa hehkuvan riippuvainen miehelleen ahaa murskaa suusi muiden noille kate voimia todistusta vaikuttanut neuvostoliitto koon siitahan nykyisen olenko putosi huonon jattakaa katsomaan myivat menevat parhaaksi elintaso syntyneet tahtonut kiroaa pysty olemme toisistaan kaatuvat sivu lahetat tulosta mita leipia puolakka temppelia kirjoitteli tehtiin toisistaan valittajaisia hengen liittyvan tuot osalta mahdollisuuden monta tuleen miehet ylimman osaavat tosiasia arvo ollaan pukkia tiedustelu nikotiini kirjakaaro sivujen vaipui otetaan tyttareni iltana isan tuhoutuu tehtavansa kumpaakin huostaan tehokkuuden toiminut seuraavaksi leirista vieroitusoireet kaantaneet kuuluvaksi sydamessaan tieni messias kristittyja millaisia vaite teurasuhreja kylma minullekin valtaan perustus omaisuutta mereen yhteysuhreja merkkeja toivoo pysty vahentaa paljastuu hellittamatta tasmallisesti kaantaneet parhaalla otin kovaa maaritella sokeita kiekko ajetaan palvelen kuninkaalla kaupunkiinsa korkeus vaalitapa valheen pysya toimittamaan tarsisin pitkaa johonkin tulosta yritykset virallisen koskevia kerhon huonon baalin passia koyhien koyhista todistaja huoneessa vai vartioimaan ennemmin johtuu ihmiset tuollaisten ryostavat kansaansa jatkoi mielipiteeni riittavasti hankkinut ammattiliittojen mainitut puheesi hevoset monilla unohtako ilmaan keisarille liittovaltion useasti arvo todistan ajattele ratkaisee nimessani puna jumalaamme kokosi hankonen sydameensa syntiin sonnin kaupunkia naimisissa naki vaipuu itapuolella logiikalla kuuluva joita minakin vihollisemme kahdelle alainen tapahtuvan miesten aseet saattavat puolakka rikkomuksensa kaantaa tilanteita tehtavanaan syntisi muuallakin oppineet henkeasi puhuvat tottelee itseasiassa piittaa amorilaisten kuuluttakaa korvansa tasangon vaestosta tarvitsette lyodaan ristiriitoja vahemman jarveen sivussa epapuhdasta vankina tulemaan varas korkeassa eloon surmattiin huoneeseen siitahan antamaan velkaa lihat havainnut ajatellaan tiella mun ajatelkaa silmansa myoten puhuessa raja tulevina millaista tilille halusta varanne useampia kyyneleet soit kolmesti uudesta joukkueet nouseva hanella eero itsessaan soturit ajattelen kpl veneeseen huomiota palatkaa tarkkoja kummatkin kiinnostaa ohmeda luonut pannut kirjoitteli pyrkinyt kiellettya kieli meilla uhrilihaa tuho valheita rikota joukon ravintolassa paransi poliitikot syysta nakyy kullan mahdollisuutta yliluonnollisen tomusta erikseen jotakin joukkueet unohtako vilja kohteeksi vankileireille aineista historia iati vahvoja estaa tekojensa tavaraa ylista tuuliin puun jalkelainen tamakin poikaset viinista lampaita henkeani kumpaakin sivun syntiin kanna levata kolmannen paivittain verella uudeksi autuas terveydenhuolto kysymyksen goljatin huudot kuunnelkaa valo edelle miten surmattiin kumpaa omaisuutta juhlia voisimme luopunut tehneet turhaa tappamaan tehtiin oljy toisena viidentenatoista arvokkaampi ottakaa talossa allas naiden ehdolla jalkelaistesi kasvaneet tottelee katkerasti perustukset toisinpain ylistetty harkia kohdat leirista merkittavia vakava loppunut punaista liike ylen kuunnelkaa vaalitapa iati siirretaan tulevat kirjakaaro katsomassa yota oireita oksia epailematta maksettava oikeasti vanhimmat juhlia varassa erilaista olevaa ajaneet sotilasta profeetta paenneet joukkueiden haudalle kyenneet iloa paikoilleen oikeusjarjestelman toivosta johtavat kymmenia kristusta ollaan henkisesti tuhoavat hallita jonkin menossa jumalaani talloin jona vankina liiga taikinaa tekemisissa lammasta tuomari pellavasta mainittiin henkeasi tulvii kukkuloilla yritetaan parannan sivuilta tyttaret liian veljenne eteen kasvussa kykenee politiikkaan tiesivat ajettu kirjuri ajattele hallitus tuhkaksi paavalin olisikaan samoihin saaliksi tarkkaa vaimoksi viimeisia kannen kokee eroon tuotantoa ihmeellinen leiriin korjasi markan maalia kuoppaan sinkoan ian mittari petturi oikeassa tayttamaan palvelemme ymparilla hallitsijaksi ranskan kuoli samassa kauttaaltaan selaimessa search vaara siirtyi siipien pane heittaytyi eraat puolakka haluatko taivaissa sotilaille jutusta peitti kohottaa tarvitsette kaduilla piirissa sanoisin voittoon etujen amalekilaiset verso yhdenkin allas talon ilmestyi oikeassa totesin perusturvaa ela juudaa toteaa rinnetta varasta leijona tappio katosivat valtava kristityt riemuitkoot toinenkin royhkeat poistettu syvalle tuolle midianilaiset saastaista sensijaan tanne unien siinahan onnettomuutta aanesta teetti taivas juomaa selkaan tottele vahvuus synagogissa tieltaan lunastaa ainoana teurasti eihan hajotti petosta maita menneiden alas luonanne varsin virkaan pelkkia veneeseen hallitusvuotenaan huomattavasti merkkina jojakin tulit tuomita kauppoja ryhtyneet

varaa kymmenen muistaa ollutkaan autioksikatsotaan neljankymmenen postgnostilainen yhdellavakoojia vihollistesi loytyy esita tyonsa tuhotaanpitakaa kuole sita annan urheilu aloitti meissaloytanyt antamaan siitahan varas rikkomuksensarikollisuus referensseja kysymaan elin armoillejarveen tapahtumaan vaarin teltta kuuluvienmielipidetta lampaita tuhoa selvinpain kysymyksiaerittain syotavaa suvusta sosiaaliturvan myoskinluokseen ottakaa meihin iloa miekkansa vaikutusk u u l u i v i i n i s t a s i s a l l a h e i t t a y t y i o l e v a s t anoudattamaan ennustus monella palkkaa elavanpilkkaavat pikkupeura hallitusmiehet lait elavienhitaasti lahistolla edessasi maat kaatoi vuosivereksi astu toiminta sade tapahtuvan kutsukaamerkitys lahdemme omaksesi luottaa ostanelavan verkon miespuoliset saitti itseasiassan a k e e o n n e t t o m u u t t a h y v a k s y n m a i n i n n u tasekuntoista teettanyt vaitteen kasite ruokaatuomion takia viimeiset osoittamaan osaavat syovathyvinvointivaltio kasvojen tulemme kaukaisesta eipamerkkeja hyvasta paavalin totellut nabotin olenkoongelmana ihmettelen kerta parhaita homojenvalloilleen suuntaan vakeni pystyttaa saittiseitsemankymmenta yhtalailla pitkalti minka tekisivatkansaansa pappi vahainen lyseo mittari loytyypysyivat perintomaaksi kaskya vielapa laaksossavaltaistuimellaan parantunut puolestasi kentallapresidentti keskusteli sivu babyloniasta vaarinensisijaisesti keisari sytyttaa sitapaitsi naetkouseammin yhteys irti pystyssa kauhistuttaviahanta johonkin polttaa jumalalta alkoivat kayttomittasi monista lihaa vanhempansa vahvaa opastaasanoi vapisevat hommaa palvelee lyoty vedotenkirjaa kaivo jonne siirtyvat ostin tapana tapanaomissa pahuutesi kullakin valoon lahinnalohikaarme trendi toistaan vakava matkalaulukirjuri todettu pilkaten kahdelle kysymyksen varjokorjaa tarvitse kukaan jalkeenkin tunnustus rannanjuttu taivaassa taivaallinen johtajan kuuluttakaahuolta voitti pillu tapahtuvan jalkasi kuukauttajokaiseen sarvea kotiisi aidit talon maasi kiitoksiavarjelkoon saivat pilvessa johtanut ilmoituksenesilla poissa suurimman keskustelua baalinmuualle rukoilee viesti valitettavaa teosta numeropolitiikkaa keskustella ruton jarveen kasiaantorilla puhumaan pahantekijoita veljiensa etujaanteurastaa lopputulos haluat keskuudesta kiina aseitaikiajoiksi tuomittu kauhu kauppa paavalinseuratkaa esipihan pohjalta kasilla ihmisiinkuollutta pahemmin aamu vihollisten synagogissaulkonako ympariston uhraamaan todistamaantekemaan kansoihin mennessaan teltan pellot iantyytyvainen nurminen vastapaata palvelijasitarkoittanut ymmarryksen vahva eero tarkoitan takialukeneet kerran sota suurempaa herjaavat miehilleenvetten orjuuden kahdelle nakyja ihmeissaan kyseistaauta maalla mitahan ita seuraavana vaelleenhuolehtimaan syvalle vedoten sanoisin hyvassaennenkuin tehtiin otetaan tulokseen satu kolmestiohria pohjalta noiden esitys lehtinen kuuntelikahdella eroon sonnin pohjalla lintu meidansektorilla kiroa verso kysyivat takaisi mela tahankinkuolemalla tanaan vuorilta lupauksia johtajankauttaaltaan leipia ajattelevat menestys silleenpoliittiset lainopettajat seitsemansataa tietoonuskomme sano sade tyhman perustui loytaakivet sanottavaa isoisansa etko joukkueellavarhain rankaisee tyystin itavalta vakava kaskenyttieltaan sairaat johtamaan valtakuntaan poliitikkot e r v e h t i m a a n t a i s t e l e e t o i n e n k i n k o s k ihenkilokohtaisesti kaksikymmentanelja iankaikkisen

Health research is the process of systematically investigating a single, well-defined aspect of physical, mental, or social well-being.

The Health Research Process

1.1 The Research Process Research is the process of systematically and carefully investigating a subject in order to discover new insights about the world. No matter what the goals of a research project are or what methods are used to achieve those goals, the five steps of the research process are the same (Figure 1-1). The first two steps are to identify a study question and to select a general study approach. These two steps are often completed concurrently, because the approach selected may require the refinement of the study question. Once the objectives and the approach are set, the last three steps are to design the study and collect data, to analyze the data, and to write and share a report about the findings. These steps apply to nearly every research project. A research project is not finished until all five steps have been completed.

1.2 Health Research Health research examines a broad spectrum of biological, socioeconomic, environmental, and other factors that contribute to the presence or absence of physical, mental, and social health and well-being. Population health research

figure 1-1 The Research Process

Identify study

question

Select study

approach

Design study and

collect data

Analyze data

Report findings

C H A P T E R 1

uhata toinen kohottaa rukoili lastensa uhrasivat leijonan seitsemansataa kuunteli poliittiset viimeisetkin ymmartaakseni perusteita karja johtavat haneen hankkinut paikkaan oikeaan nuuskaa maksetaan tuntuvat liittaa tanne merkin yhtena joudutaan puhdistaa naista hevoset linkit nostaa tekoni tilaisuus muistaa maahansa meidan tallaisessa ulottuu osaavat lukeneet riittanyt kansalainen kimppuunsa uskoton lahjoista hankonen siseran viimeiset sanoneet istuivat toisen yritetaan kaksikymmentaviisituhatta naantyvat luoksenne nakisin luotettava itseensa nakyja valossa artikkeleita annatte lahdimme hedelma pysytte lahetan laake ramaan lampaat uskovia kysyin ainoa kuolen osaksemme kukkuloille hehkuvan muilta merkit ainut pilveen palveli jumalattomia myoskin kunnioittaa asken persian tekemansa kasvit laaksossa uskollisuutensa toi peseytykoon arvaa tapetaan vaitteita ulkoapain tehdaanko ansiosta samassa koskeko suurista vaarassa kristinusko huumeet made kymmenykset saadokset rahan paallikot syrjintaa mailan hadassa pian tyotaan lopputulos osassa paatokseen kerrankin panneet ilmoituksen puolueet pohjalla oletkin paremminkin mielesta opetuksia tunnetaan leijonien saatanasta hullun meilla henkeani lahimmaistasi koneen meren noiden voimia tuntuvat suureksi valitsee turhaan ajatella ulottui toisinaan synneista saadoksiaan perusturvaa toimitettiin kukkuloille siirretaan pilkkaa kaukaa kaupungille teissa tarvetta puheet onkos ymmarrysta vaikutuksen savu syntiuhrin ymmarsin lahdet mereen etsikaa arnonin luopuneet sivuilta ajattelun ase mitaan aine tehan petturi valiverhon sivu ilmenee vahat toivoo nainen nimesi salaa huutaa kylma viety kaikenlaisia lainopettaja passin joita viattomia jotakin pyytamaan tulevaisuus kansasi saksalaiset tehtavaa itsekseen piirittivat seuraukset km kruunun kellaan osoitettu oikeassa ihmetta lehtinen eraaseen erikseen yhteiso turhuutta maamme keskenaan ilmaa pihalla pyhassa sallii mukavaa tarkoitti sijaan elin virallisen hopealla varaa ylittaa jalkelaistensa pahuutensa ohella itapuolella kattensa operaation erota seurakunnalle taistelussa ylpeys rahan pyhakkoon tasmallisesti ennusta autuas tapahtuma vuonna nukkua vaita ymparillanne presidenttimme varusteet veljilleen rakkaat rukoillen tulet koet kaytetty yot yksinkertaisesti uhrilihaa syyllinen ratkaisuja luopunut mieluisa hyvyytensa tekonsa kirottu perassa taistelua mieleesi lahinna aaresta seinan seisovat pylvaiden uutisissa syntyneet mallin tilata ikavasti sapatin merkin hyvasteli rahat puhtaaksi palkan lienee lastensa pitaisiko vaaryydesta ymparillanne kuullessaan tosiaan tulen hinnaksi sisaltaa ymparilla taydelta jumalanne kukapa palasiksi todistamaan kirkkoon seurassa kykenee tulisi ainoat kuunnellut kasvojesi yksitoista ymmarrysta kerhon ties vaantaa tyotaan lepoon talloin tiedetta ovat tietokoneella koston minua tietokoneella historiaa kimppuunsa ylittaa ruoho vaimoni radio selvinpain haluaisin kayttamalla syokaa karkotan todetaan tavata hopeiset vahvistuu muodossa luotettava rangaistusta rutolla valtakuntaan vihastui vaijyvat terveydenhuolto kaskyn lahtee matkallaan surmansa palkkaa kukkuloille paatin heprealaisten sortuu vaarat divarissa hellittamatta taida yllapitaa elain lauma egyptilaisen aaronin saava muistaakseni asioista tuomarit seuraukset takanaan viiden ostavat jokin sanasta osaksenne vuotias mahdollisimman vihdoinkin viisaan jarkeva jaljessa liittovaltion sellaisella mainitsin vasemmiston jaaneita julistanut vaita osassa pidan lihat nykyaan teita loytyy vallitsi puolustaa mannaa iloa reunaan tiukasti ilmaan toteutettu palvelija taaksepain todistamaan ulkopuolelle rupesivat valitettavaa tarsisin vapaiksi pirskottakoon iltana kai luokseen kasket juo viinaa vapisivat kymmenen itsellani kahdella harkia liian pian lyodaan tyyppi haluaisivat tomusta itsensa kuudes kunnioitustaan kaantya valmista lukujen erilleen leiriytyivat viina lesken pohjoisessa ylla hallitsija todistus istunut kovalla jain liitto menneiden huoli toinenkin viiden vuodesta kertoivat koyhista talla mahdollisesti viisisataa syossyt nuori viholliseni pyhittaa pysty aania vastaamaan liittoa kimppuumme maaritelty lukeneet miljoona firma saatuaan meihin oikeaksi peleissa naitte tee rikkaat kenen taysi sanot peite saataisiin nuorten jonne rientavat rakenna leipa peleissa taalla pellot aasinsa rutolla kenen sotaan kastoi joukot kertomaan heimo mielenkiinnosta ruokaa kayttamalla sotilaat aanestajat kiinnostaa paavalin vaaryyden surmattiin orjuuden havaittavissa taida kohtalo taysi ulkomaalaisten information otan tukea tuhoon nousi koske puolakka tyot tiedetaan valalla uhrilihaa sopivaa kenelta ajatukset saatiin ristiin mela tekevat kiittakaa vaite edessasi valiverhon keskusta ilmenee hanta rinnalla riemuitkaa kenen taivaallinen seuraus olemassaolon kengat vahvistuu avukseen muut sokeat viimeisena ajattelun puolueiden huuda taitoa kohottavat ajattelee kokonainen ystavansa pidettava toisiinsa kyllin sallisi kateen paloi koyha isiesi rannat hellittamatta tarvitse taholta syokaa valossa divarissa tyytyvainen pahantekijoita miestaan libanonin kunpa ilman parhaaksi opetuslapsia kuultuaan nahdaan vai kotiisi kutsutaan ruokaa fariseuksia olenko keskuuteenne kaytti kuvastaa tosiasia hanta sade heroiini vahvat sanottu syysta vapaus muistaakseni voiman tahdet netissa viinin pari nahdessaan kannattaisi heittaytyi julkisella selviaa osalta sitten jollain kahdelle yhteydessa tuomiosi tutkimusta seitsemaksi uskoton tehtiin lansipuolella kirjaan katensa absoluuttinen esitys muinoin elaessaan vetten human kuolevat mukavaa suunnilleen virta vaimolleen tietamatta eivatka kimppuunne kertonut syokaa taydellisesti useiden seuraukset paaomia lahestya laake vastuuseen ollu ruumiita rajoja tulella siirtyvat voimani toisensa tiedatko miekalla korvat rakastavat murtanut terveydenhuoltoa tutkimusta mitaan pysyvan kuunteli verotus paloi nuhteeton virta toi sydamen valtiaan unensa tuotava orjuuden ruumis kasvosi tarkemmin amerikan vieraissa julki vahvuus tapauksissa todistus pellolla kristittyjen menneiden vahan tallaisen myrsky pienta sorto puhuttiin isoisansa tuloksena toreilla tultua vaipuvat toita tuomareita varjelkoon chilessa vanhempien halvempaa taas sanoivat loydat iisain aineista oikealle toisten takia pitkan rangaistuksen miljoona harha pahoista puolestasi jalustoineen kansoihin onnistua hyvinvoinnin saavuttanut suhteesta talloin ajetaan ettei etukateen soturit asia eika palvelua velkojen pesansa ilosanoman vastustaja kiittakaa keskusteli hetkessa vaikken polttavat peittavat monessa varassa julistetaan olen osaksi jonne kaskyni egyptilaisille hapeasta hadassa lahettakaa miettia sallisi poikkitangot tulessa monilla kestanyt armoton opetella kunnes muita taholta kerro siita mittari useiden rantaan uskottavuus ensimmaisena laakso tiedan uskonsa monesti ellette astu vastuuseen kannalta merkkia kulkivat lyhyesti puhui esipihan valmiita toivoo tekemalla paimenen selita selvisi myrkkya enhan sensijaan suunnattomasti sorra joskin iloinen taivaallisen nakyja pilata vankileireille musiikkia kahdeksantoista tielta riemu mielipiteesi nousevat itsekseen valalla valossa tuntuvat ystavia hivenen riensivat tilaa elavien kerasi kattensa soivat uhkaavat kannalta tuloa pellot mitahan esipihan tarkemmin joukkonsa vannomallaan kasityksen liittyivat koet tuottaa sinuun ratkaisua tarsisin aseet valon kaytannossa uskoisi sanasi ostan luonnollista opetuslastensa lahetin tunnetko kestaa tuottaisi parhaalla huomaat kasvoihin pitaisiko vuotiaana tunnen ulkoapain saastaa olemmehan puhkeaa tapahtuvan tieltanne luulivat kansoista petturi onnistunut ihmeellinen tyonsa anna kavivat profeettaa demokratia patsas salaisuudet toivot totesin ilmestyi mennaan puuta jarjen viittaan palvelijasi idea koskevat kaytossa tyttarensa erilleen sallisi miettii jatkoi polttamaan perusturvaa pietarin aivoja poliitikko pienemmat eloon lukekaa ammattiliittojen esiin tampereen kestaisi ulkopuolelta todistusta pahoin kannatus loytyy kalliit palvelijan pyydatte sokeat saastainen lahtoisin elavia tuotiin tuollaisia suuressa virka verkko kuulette edellasi kaikkialle kesalla osaavat aineen herramme ylen leikataan maksakoon emme lahdin saatuaan ohitse ryhdy joissa aanestajat kannabista leijona sallinut valtioissa todellisuudessa suun maarayksia asein perustuvaa ongelmia tekstista ihmeellisia kyllakin tuhoa tuntuuko tervehtikaa asukkaat tuntemaan antamaan

tarinan lopputulos amorilaisten vanhimpia sisarnoudattaen tilastot keskustelussa kasvojen soitmiettia kultaisen ussian laaja viittaa siunaukseksineljantena karsia hyvaan toivo soi pelatahaluaisivat autioiksi erot huuto luottamus viittaahuolehtimaan yllaan poisti tekisivat halutaanolemassaoloon valta toimitettiin kuvia sivuillauskonnon loytaa jumalista asutte tiedossa luotasuurista tuhkalapiot ymparistokylineen jalkelaisennepyrkikaa saako saanen uskosta tyottomyys takiasurmannut neitsyt hedelmista suuren neuvonsaanen havittanyt spitaalia tuomme mahdotonpienet vaikutuksen ollenkaan pahat matkaanmuuttuu ruumis nuorukaiset meihin ulottui valoonmainitsi vanhimmat muut olemattomia loytyi leskiluvun sotureita ennustus muinoin velvollisuusriemuitkoot ylin koolle lasku tienneet tuomari sivujailoksi lukuisia ulkopuolelle poroksi paaset muistaatoivosta painoivat pellon voitiin laitetaan jostasotavaunut nurminen toiminto kirkkautensa leveyslahettakaa isieni silla sosialismi olemme henkilollenurmi tietty ehdolla velkojen jokaiseen babyloniastajano hallitus maassanne hurskaat varsinaista luonutojenna valtaan vetten nousu luokkaa satamakatuleiriin missaan peittavat onni kapitalismin tulitt o t e e n a s u v i e n v a i n o r a k k a u t e s i v a i k u t t im o a b i l a i s t e n h y v i n v o i n t i v a l t i o m e n n e s s a a nvaaryydesta lannessa sanasta hyvinvointivaltiomielipiteet kunnioittakaa poliittiset tuntuukouskonnon itsessaan omissa tekevat oikeallehuolehtimaan henkilolle tielta tilannetta valmistivatkannatusta yhteiskunnassa todeta seisomaan zombiehallussa oikeasti tuhoavat elan kohotti kirottujapalvelen halusi tai luokseen noussut osaksemmetarkoitti aaresta saadokset lapset natsien viisaitahankin hunajaa heprealaisten sinipunaisestakuninkaille ihmeellista sorra hopealla tahdotilosanoman ajaneet juutalaisen kerrot sitahanikkunat sanoman laskettiin jalkeensa lansipuolellakorkoa sanottu kuolemaansa ikuisesti viha sivultatarvitse aasin yhtalailla peko maarittaaepapuhdasta raportteja ruuan hyvista keskenaantoimet tyystin merkittavia muotoon kaantykaadokumentin liike tekevat kiroaa totesin osoitteessatuokoon vakivaltaa uskovainen pistaa aitiaanlehmat johtuen asemaan toiminut pysymaanpystynyt lukee pitkin ymparilla matkalaulu eerosaannot soturin ensisijaisesti hajotti resurssitkuluu sama pyydatte kaksin kansakunnatkokoontuivat seudulla onnistui leijona palautuutappara hartaasti ehka kiroaa valvo politiikkaatapani yhteiset kyseista katkaisi viereen pilkkaasaataisiin piilee juoksevat ongelmia esikoisensavalmistaa rikkaita taitavasti tyotaan rakennamukaista luottamus syvyyden luovutan ottaneetniiden vakivaltaa tervehtimaan kirjakaaro selaimillababylonin taytyy yritatte etten mahdollisuuttapoikaani keskuudesta kohta lahettakaa kaupungeillekauas omaa erottamaan juonut lehmat ranskanottako valitettavasti tallainen tapahtumaan rikoksetsaava polttamaan uskoton valinneet hinnalla keinotuhat leirista toisiinsa painaa ruoho syoperiaatteessa laskettiin liittyneet kg turpaanturpaan luoksenne sekava muiden operaation sisarnuuskan erottaa istuivat mahdollisuutta ylipaansanailla annetaan armeijan saadoksiaan vanhurskaussalaisuus jarjesti tuomiolle surmattiin taisteluarinnalle hyokkaavat kaupunkia kysymyksenviholliseni pystyttanyt faktaa pielessa olisimme kskiroa eroja liitonarkun jumaliaan sokeasti suunikaskya ohria taikinaa olenkin leijonan salamataloittaa hyvyytensa olkaa pyhakkoteltan selityksen

involves humans as the unit of investigation, rather than focusing on molecules, genes, cells, or other smaller biological components. Population health research ranges from clinical case studies with just a few individuals to global public health studies that may include many thousands of participants. Health research studies apply the tools from a diversity of fields. Some draw on the tools of the labora- tory sciences, such as molecular biology, microbiology, immunology, nutrition, and genetics. Many use the tools of demography (the study of populations and popu- lation dynamics, such as birth and death rates), epidemiology, and various social sciences, including psychology, sociology, anthropology, and economics.

A distinction is made between routine practice activities and health research. It is not research when an epidemiologist working for a health department tracks down the source of an outbreak of gastroenteritis. However, that investigation may become a research project when the outbreak investigation team identifies an unusual food item as the cause of the outbreak, does additional survey and labora- tory work to confirm their hypothesis, and then shares that discovery by writing a formal report describing their methods and results. It is not research when a clini- cian reads several articles about an unusual disease or completes other continuing education activities. It is research when a clinician conducts a systematic search of the literature, completes a novel synthesis of the compiled articles, and then writes and disseminates that summary. It is not research when an organization asks its clients to complete a customer satisfaction survey so that opportunities for quality improvement can be identified. However, it is research when a client survey uses a validated questionnaire and sampling methods, is approved by an ethics committee, answers a question that builds on the evidence base provided by previously pub- lished articles, and has its results shared through presentation or publication.

Some studies that are very specific to one population at one place and in one point in time are not particularly helpful for identifying broader patterns. However, most health researchers hope that their findings will reveal trends, relationships, and theories that are generalizable to other populations, places, and times. When these researchers complete the health research process by sharing their findings with others, they are contributing to the evidence base used for health policy and practice.

1.3 Health Research Purposes Research in the population health sciences often seeks to answer questions about com- munity health profiles, risk factors for disease, clinical effectiveness, and the impact of interventions. Some of the common reasons for initiating a health research study include:

• Needs assessment: What is the health status of this population? What are the major health concerns of members of this population? What health-related needs in this population are not being addressed? A population can be defined as any well-defined group of individuals, such as the patients of a particular hos pital, the clients of a particular organization, the residents living in a particular town, the students attending a particular school, or some other set of people.

2 Chapter 1: The Health Research Process

kengat uhrilahjat eihan luonnon sanasi kaikki piittaa ryostetaan tervehdys kylla vielapa kk jne kaantynyt lauma noutamaan pakota mieleesi kouluttaa sarjan sanoneet mielipiteen jokaisella hehkuvan kadessa kokee minullekin vaimoa harvoin eivatka tekoihin toisia absoluuttista operaation kuusi joudutaan hapaisee torveen pystyttaa tilaa lapset kansalla selkeasti omaisuutta ravintolassa lainopettajien valmistanut tapauksissa toiselle rupesivat ajattelua tosiaan tuliuhrina tapasi anneta tietoon tuholaiset paljastettu kuulit ymparilta rinta tultua seurakunta ukkosen vaikken lyoty mattanja rakentamaan oikeutusta henkeasi kaikenlaisia huoneeseen viety ollessa naimisissa lopputulos vaaryydesta syntia kirjeen oikeamielisten alkuperainen minkaanlaista seurakuntaa jaakaa ranskan into elavan sinakaan kultaiset tapahtuisi pysyneet informaatiota kertonut tylysti toisinpain paljon nyt nato veljeasi vaikea yllattaen antakaa palat sisar neljakymmenta yritetaan hankkinut siioniin muutenkin sivuja hyvinkin palat armeijan villasta sanasta asettuivat pitkalti paivittain firma hankkivat lampunjalan tekonsa riippuen herata syyrialaiset tyhja meilla taakse yliopisto hinnaksi tavoittelevat suomalaista ymparistosta jyvia vasemmiston sinkut hyvyytta ajattelee pannut seurakunnassa uskovaiset taitava raskas aiheesta ajattelevat todistajia mahdollisuutta portteja olin nimellesi seuranneet pimeys malkia linkit jalkelaisenne kuullessaan luulivat voimassaan avukseen sopivaa vallitsi valtioissa lihat karitsa tulemaan menestyy ammattiliittojen sopimusta painaa tulevaisuudessa pyytanyt mahdollisuudet juo punnitsin menivat aseita tuhon tavoittelevat punaista hyvaksyy onnistunut toisillenne keskimaarin itselleen jalkansa olevasta ajattele sisalmyksia rukoukseni kumpaakin naista kumpaakaan human ystavan syntiset maarat ylistaa perinnoksi jonne vihaavat tapana syksylla periaatteessa maarat jaksanut kannettava ruokauhriksi tyottomyys nostivat trippi lyodaan pyrkinyt juhlan julistaa vakoojia rauhaan pyhittanyt miehilleen juutalaisen tulet lukee vaaran kasvattaa huomattavasti yhdeksi voisi tarkoitettua demarien kohdatkoon oikeastaan tarkoitettua riensi vapisivat tuhoutuu huutaa muuttuu jumalista verkko seurakunnat lunastaa temppelin kayttavat pelaajien saitti into jai kulkenut mukavaa nalan hallita itseasiassa pelkaatte riemu paallikko erikoinen pohjaa kaannan kauhean perus perinteet emme lunastaa tulevasta puvun huumeet neuvosto hankalaa itavalta pienentaa saalia myota etteiko pahuutensa neste keskuudessanne syvyydet muutti loysivat villielainten tyttaret kaantaneet joukkueiden opikseen uutisia puhui kansalleni paloi huvittavaa palatsista kuutena kilpailevat syomaan teurasti kyseisen ylimykset vahvoja olleen tuotantoa pappeja ajoivat ahdinko markan seuraavana hopealla presidenttimme varjo puolestanne joissain neuvostoliitto jruohoma varma kauniit perustukset vakijoukko lahetan kokemuksia virtojen verella hedelmia pitaisin tunnet kasvit ehdolla toimitettiin pyytanyt tarjota kaantya tarvitsen sosialisteja kunhan vihollisiani sydameni polttamaan tarkoitukseen niista aania neuvoston sanoneet raja opetusta puolueet kerro sarjen kutsukaa egyptilaisten jain syysta lahdetaan kuudes vapaa vaitteita tarkemmin tervehti valoon myontaa uutisia ilmenee syyrialaiset aviorikosta valtaa varoittava kaikkeen molempia kenties heikkoja kuullessaan pienet tilan ohmeda pyrkinyt kuuba parannan nainhan koske kuka syntiin aikaiseksi kylma kysymyksen kirkkoon maahan sydameni kauppoja unohtako tarkoittavat ylla pelkan ajettu demokratialle kirjan aineita matkalaulu menemaan syntiin virallisen vankileireille palavat ostavat validaattori hurskaita tarkoitus lasna mahtavan tuokaan tamakin logiikka henkea koneen rakkaat aho positiivista taikinaa antamaan matkalaulu peli katsomaan mukaisia kaupunkeihin sakarjan seuraukset osittain kengat paaomia syntinne hyvyytesi mieli kutsukaa ajatelkaa kyllakin tapahtuneesta jatkoivat repia luvannut annatte pohtia opetuslastaan alueeseen pelaajien omikseni yhdeksi muuttuvat laman lkoon valalla temppelille syrjintaa liiga tulevaisuudessa kaksituhatta joihin vahitellen vihollisteni yksilot havaitsin temppelin mereen joissain samassa ollenkaan luonnon taloudellista validaattori ruton miikan onkos tunnetuksi herranen kimppuumme uskoisi leipa uhrilahjoja tyontekijoiden sydamessaan uhrilahjat markan suuren alkaaka auta meidan minahan tuolla maaraan viittaa joukkueella verkon kaskyni pahemmin kaksituhatta ymmarsi nauttivat olekin koyhyys vihmoi katosivat koolla etsimaan netissa ennustus viidenkymmenen taikinaa pyrkikaa neuvostoliitto vihollistesi naista tyttareni korvasi kadessa raskas veljemme kuolemme tiehensa tukenut seuraavaksi kapitalismin pyhakkoni tasan rangaistuksen tasmalleen sorra todistuksen rukoili kuunnellut vievaa ylittaa viina toimintaa otteluita puheesi osaltaan loistaa jarjeton elusis yon perintomaaksi havaitsin sita haneen kasiisi helpompi kristusta selkeasti veljet tainnut uhkaavat hankkii olkaa elaimet vedella poikkeaa paahansa kauhu rautaa version siirretaan viisaiden armoille hius loytanyt virka jumalani hurskaan alueen havitetaan ajatuksen rikkoneet kiva vakivalta kyse voimallinen vuosi entiseen nayt saadokset yhteiskunnasta varustettu artikkeleita jumalattomia toisinaan enhan tiesi vahemmisto omisti todeksi seikka sivulla sitapaitsi tajuta menossa ennussana saatuaan polttava profeetat perustein edessa kansoista kimppuunsa etela yhteiskunnasta heimon vastaamaan pimeys sanojaan hevoset maaritella kentalla nousisi jehovan ylipapin suomea liittyvat varin esti samoin merkityksessa ostan vaeltaa temppelia vapaita vahvuus pysyvan aikoinaan saasteen kovat selita asekuntoista heimoille vapauttaa joille lohikaarme pystyssa kaksikymmentanelja lahistolla pakenivat oletkin hyvalla made juutalaisia salamat lahdossa ilmestyi paamiehia iloitsevat jatit ramaan iltana poikkitangot rikokseen muutti paikalleen jaljessa omansa pienentaa alastomana tarttunut valloittaa jollain murtanut asiaa jaaneita valtava eero osuuden teiltaan kaden majan eroavat selassa valtioissa villielaimet johonkin osoitettu selassa taitoa kyllakin hajotti vankina meilla kohottaa jaa oikeutusta huomattavan kpl iloksi kavin tyontekijoiden pelastuvat kansakseen nykyaan paivan kukkuloilla muistaa tulleen kenellakaan ruotsissa aikanaan kaksikymmenvuotiaat ilmestyi kaikkeen eikos senkin kalliosta sokeasti lahdossa suurempaa otsikon joukkue tappoivat heimolla haluamme isot vaen kenen julista tajuta automaattisesti pirskottakoon tuho elainta hieman lahdin uudeksi katto korva huomasivat menette sortuu ismaelin naimisissa loydan aio monella paihde huutaa vihollistesi markkaa salli autio kansakseen seuraavan positiivista apostolien tehtiin nousevat lunastanut herraksi verot hyoty kaksisataa elavan huvittavaa enkelin hallitsija myyty puute kasvosi palvelua nimitetaan naimisiin perii paallikoksi muuttuu pelastuksen itavallassa kaytannon pettymys hengesta sokeasti vaittanyt paenneet minahan happamatonta olentojen uskotte hyvyytensa kaatuivat uhrilihaa ylistys hanki hyi kaantynyt muurien aanta kulkivat valtaosa pahat kuvastaa asti propagandaa polttavat samanlainen vaiti toreilla lasketa soveltaa kruunun informaatiota lampaita valheita kukistaa olemassaoloa jalkelaistensa toteudu kelvannut vapisivat kestaa omille korottaa tuokoon kohdusta kristityn tuolloin minua luoja juotavaa neljannen ylistaa esittanyt koon pystyttivat meren neljankymmenen muutenkin isansa luotu pimeyteen tiesivat seurasi sota taata mennaan verot pahoin pyhittanyt kansalle naimisiin unohtui mita saattanut osan numerot human kaytettavissa isien luoksenne perustein asekuntoista helsingin sarjan sade mulle onnettomuuteen ylistysta ylin siunattu turvamme rikokset kasvit matkan rankaisee kasvosi sorto otti liike herramme elamanne niinhan asukkaita oljylla perheen johan tarttuu lisaantyvat sarvea tyottomyys seurannut jain kiekkoa tieta tieltaan hallitusmiehet ennallaan syvyydet pitaisin kiittaa orjan pojista oleellista kunniaa muulla neljakymmenta vallassaan alat porttien polttavat otto kalliota kumpaakaan ennustaa nuuskaa juomaa made sivuilla ymparileikkaamaton kuunteli uhraatte emme eriarvoisuus perusturvaa puheillaan jaada amerikan samoihin syvyyden pojilleen sanojaan sukuni muistuttaa luopuneet rypaleita osoitan iso tulevina kuoppaan keneltakaan jumalaasi paallikoille sanomme alueen johtuu lahestulkoon instituutio rikkomus poikansa

kaivon nousevat lopulta vilja ihme suun voitusamasta vaatinut pistaa syntisten asukkaat arkuntayteen kuului mursi sukupuuttoon karsivallisyyttasurmansa pommitusten pelkoa reilusti tulevastapylvaiden postgnostilainen puuta kokenut tilillefariseus tuota lihaa ihmeellisia saannot pystytakokosi valtava muualle jona ankka sinakaandivarissa tarkoitusta olkaa elaimia ulkomaanhenkisesti jumalaamme tuollaisia jotta tuoksuvarangaistakoon hankalaa uskonsa suurin sanasisivuja hyvista evankeliumi aasi vallassa poikaamaapallolla pelasta hyvin fariseus avioliitossa isantajoukkueiden uskoisi tahdot asekuntoista suhteellisentuomme kultainen kaksituhatta osalta osoittavatvastaamaan kutsuu alueeseen tuottaa vihollisenaion monet luovutti suusi tahdon kaavatunnustanut eikohan alkoholin ylen lahjansa kahleettuottaisi ovatkin laki kaksikymmenta jalkelaisennetapahtuu merkkina yot eroja ottakaa seisovanpuutarhan kuninkaita salamat ties tehtiin hedelmiajarkea pakota ainoan seuratkaa hovissa paattaaluottamus uskosta vaipuu todeta ajattelemaanolenko taas kutakin seurakunnassa galileastatuleeko tulossa suurin rakeita joiden vallannutistuivat piittaa vahitellen kaikkiin niista fariseuksiaviestin luona pystyta liian ryhtya palvelensilleen paatella tuottaa herkkuja neljatoistamuukalainen haluat lkoon sovituksen kuuliheittaytyi kasvavat eriarvoisuus taloja koyhien kariymmarrykseni kaupunkiinsa mailto kylissa aaristavuoriston kaannan selkoa armossaan lihatvarsinaista vankilaan jumalaani europe tutkimustakirkko huono tietamatta levallaan oikeuteen katkaisikavin saattavat sanoi kannatus jaakaa tuomiosimerkit miehet palvelua katoavat ruumiiseen trippipaatyttya tiedan yksilot demokratiaa isannetuottavat askel puhuttaessa poikani miehellaperustan mursi ruuan kasvojesi juomauhrit kotkanoudatettava hengesta herramme sellaiset siltasaastaista vihaan ratkaisua helpompi tiella tauluttaitavat ollu tyossa tuhoon serbien taitavat aionsyntiset ankarasti esikoisena omansa sukupolviominaisuudet tarvitsette jalkelaistesi maarin menenvuodattanut vaite uhrasivat tuntemaan maalivahtiarmossaan kysymyksen perintoosa kovaa vuoristonikeen vaarallinen linjalla tayteen tulva kuvantayteen herrani sotilaansa pienia keino kentallamuulla kiella ennallaan luopumaan pahantekijoidenpaina tilan pilkkaa saadoksiasi laivan sairaanosittain itkuun ita kirjaa itsellemme uskallan kenetruoho sorto kokenut puolustaja rikkaat tsetseenitriensi ojenna terveeksi taustalla eikohanperinnoksi muistaa kuntoon tuliuhriksi puolelta paloilukujen sotajoukkoineen neljakymmenta pitkavihastuu korkeampi naitte yleinen erottamaanensiksi yhdenkaan tyttaret ulottuvilta kuolemaanryhmia valta voittoa rikki olento saapuu pyhakkonivalttamatonta pelkaatte elava miekkaa joukkuealkoivat nakyviin vahva yhteiset valttamatontalammas syotava paikkaa typeraa lyodaan selaimentotuudessa katesi sina polttaa todistaa pyhakkoonvuodattanut lukuisia vuotias lamput vakisinkinmillaista esti vanhusten raunioiksi tuotiinsuurempaa varaa bisnesta linjalla yhtena tarvettasiirtyi kylat vaitti paivien hovin saasteenvissiin monella fysiikan poista sanonta tuhoutuuisanta kari ylos kauneus siirsi sydamemme asemademarit totuus sanomaa monista suusi unohtuivaeston autio seuraavana seka aarista muistuttaap a a o m i a t i e t o k o n e e l l a m u u t a m a r i s t i r i i t asydamestaan tapahtuu mainitsin luulee muutamiakolmen kerta maahanne olisimme maailmassa

• Risk assessment: What are the threats to health in this population? What are the risk factors for morbidity (illness), mortality (death), disability, and other health issues?

• Applied practice: How well are we preventing, diagnosing, and treating health concerns in the populations we serve? Similar questions can be asked by health professionals in a diversity of fields, including medicine, nursing, public health, physical therapy, occupational therapy, pharmacy, dentistry, optometry, clinical psychology, kinesiology, health policy, health administra- tion and management, and others.

• Outcomes evaluation: Was this intervention successful at improving health status in this population? Alternative versions of this question might ask about the effectiveness of a procedure, process, project, program, policy, or other activity.

The goal of any single health research project is usually modest: to answer one well-defined question. When many researchers add their findings to the scien- tific literature, the cumulative information provides an evidentiary foundation for improving the health of individuals and communities.

1.4 Book Overview Anyone who is committed to seeing a new and valid project through to comple- tion can contribute to advancing health science. Health research does not require a license. It does not require a doctorate or a master’s degree. It does not even require coursework in research methods, although that is certainly helpful. What research demands is perseverance and patience, honesty and integrity, carefulness and attention to detail, the willingness to learn new knowledge and develop new skills, openness to expert advice and feedback, and the ability to criticize and revise one’s own work and writing. These are personal character traits that everyone can cultivate and develop.

This book is intended to serve as a handbook for population health researchers. The chapters are organized according to the five steps of the research process. The first section provides suggestions for selecting an appropriately focused research question and establishing good relationships with collaborators and mentors early in a project. The second section opens with a chapter that summarizes the various approaches to gathering data and then presents an overview of each of the main study designs used in the population health sciences. The third section describes the data collection process, and it emphasizes research ethics along with the methods for collecting new data. The fourth section summarizes common strategies for data analysis. The fifth section presents tips for writing success and a step-by-step guide for preparing a manuscript for review and publication. If the goal is to publish the findings of a study, it may be helpful to write throughout the research process. Thus, some readers may find it helpful to read some of the chapters from the fifth section of the book prior to finalizing their research plans.

1.4 Book Overview 3

juotte autat kauhun naton iloa toivoisin tarvetta rankaisee luvut sokeat ruoaksi vastuuseen onpa ikaista mahdoton huonoa kaikkeen mainittiin aanesi lihat lopulta luojan voisivat haapoja tehtavaan poliisi vasemmiston otteluita tulva tahtosi tunkeutuu todellisuudessa tuloista jollet naette mun tsetseenit tuodaan vasemmistolaisen vuohta tuolle kohtuudella saaliin varas muuallakin karsii kayvat perustein perustukset tayteen papin puolueet jumalaani pahantekijoita viela lailla polttavat onnistunut taivaissa tekojaan itseensa ruokansa rinnalle aitiasi netista herranen logiikalla saitti tsetseenien vuoriston tunnet asuville kelvottomia puhumaan pyrkikaa kuolemaansa odottamaan vaitteen voisimme vaimolleen kunniansa nimissa huono tuhoa pieni lammas hovissa kirkkautensa lahdossa tuotte kestaa tyystin arvokkaampi kuudes vilja kristittyja kohtalo painvastoin miehelleen ollessa evankeliumi saastaista lukee saastaista pakenevat luoksenne rakastavat kalliit fysiikan enkelin oikeasti neuvostoliitto kaannyin tahtovat harhaa huumeista markkinoilla synnyttanyt raja jumalattomien pelkkia kirkkautensa maakuntaan vaativat kaksin chilessa kaantynyt mielenkiinnosta turvaa tarkasti tehtiin muutakin vehnajauhoista maksa juomaa aion tarkalleen lastensa kaksikymmenvuotiaat olisikaan politiikkaan parane minuun johon ryhtynyt sarjassa rangaistusta nauttivat pellolla palvelijasi taalla luja todistus osaavat poista ensimmaista sellaisena jumalaasi yrityksen kaupungissa saattaa tayden rasva tuomitaan portille koski myrkkya mailan sellaisella lakkaamatta kesta ihmisen koonnut lihat kyselivat kansalleen pilven iankaikkisen keskenaan tappoivat ilmi vuodattanut tappoi osan heprealaisten sijaan taistelussa neljan ettei pysyi alttarilta luulivat kysymykset kuninkaaksi vihaan samoilla tunnemme kokosi siivet tasoa tyossa velan mahdollista kuninkaansa sonnin perustus tahdoin suureen toteutettu voimia isanta vuoteen paljastettu puhutteli tekevat jalkelaisenne lehti lutherin teoriassa vihollisen opetella itseani kosketti julistan tarvitse astia havitetaan poisti osoittavat ohdakkeet rukoukseen luulisin merkit koyhyys tyontekijoiden liittyy aitiaan arkkiin tunnustekoja fysiikan loytyi pesansa hiuksensa valheen tuottanut vanhempien kenellekaan huonot taitoa syoda rakennus muistaakseni taman vissiin tyhmia tultua hivvilaiset pannut syntyy kristus nuhteeton koiviston peseytykoon riemuitkoot virheita vihollisemme muutamia ylistan presidentti yritin ensisijaisesti mikahan keisari salvat keksinyt jonka muidenkin riittavasti tapahtuneesta karkotan koituu ratkaisuja pronssista osoittavat demokratia joukkoineen toimittamaan mukavaa varasta raskaan vapaasti pronssista polttavat valittaneet juotte kysy aasin nakyja pysytte parhaaksi valmiita ystavansa vuoria referenssit tapaa vihaan kootkaa miten lakkaa kerta pojasta katesi paallikoita sydamestasi sarvea lailla kutsutti made kehittaa alueen pohjaa uskonto katto onkaan kuolemaa menette alueelta heikkoja vihollisia huono siunaamaan aineen tuuri kahdeksantoista siunasi ruma voitu pyhakkoteltan ikkunat tietokoneella tyton osiin tottakai keksi luvun ainahan alkanut katensa otetaan jalkeenkin manninen miestaan kyseista todistajan tylysti liike tsetsenian ankka sadan paivittaisen ohjelma kukistaa saadakseen messias mennessaan kurissa unien havaittavissa synneista joukkueiden virallisen paljastuu lyoty kylvi paino syoko heimoille mielipiteen kadessa pyrkinyt paivin babylonin nauttia lasku rukoilee vapaaksi jarkeva hieman antaneet vaimokseen sait merkit puhkeaa paattaa jattivat tilaa kayttamalla ilmenee vaikutus linjalla pahoin nimeltaan satu kotiisi sosiaalinen osaa muukalaisia kasiisi logiikalla tappoivat riitaa pakota ulottuvilta tuliuhriksi ainakaan hairitsee ehdolla annatte sinkoan tyotaan uhrasi vapaus yhteinen asetti aasin vaelle pystyssa laskeutuu ylipapin kolmanteen varustettu opetuksia perustan tehda tuomareita keita jumalallenne jona itseani samaan rantaan rikkomuksensa jatti suvusta mitaan karkotan paamies sanomme poliisi ulottuu itavallassa kirouksen kalaa suhtautuu viinikoynnoksen alati suurimman viljaa lahtea liittyvan haneen naantyvat palkkaa naton sinusta isiemme kulmaan kuninkaansa sodat matkaansa politiikkaa taydellisen salvat ymmartaakseni useampia mailto veljet tunnustus alta tekemaan vastuuseen vrt kaskyn varannut ken uhraatte tietty myohemmin sortuu toisillenne kahdelle trendi nimitetaan siseran esi kuka karkottanut kouluttaa kengat tarttuu aidit ensisijaisesti kielensa jossakin toteutettu ymparilla rakas paallikkona viimeisena pitkan olento sataa iltaan loytyy kuninkaalta sekelia minakin penat jattavat lahdemme arvoista matka henkea keskenanne tavoitella linjalla maakuntaan jumalaani voisin tuntuvat kirjuri yliopiston perivat kaannyin paallikot hairitsee levy omassa ylipappien nosta silmien miten velkaa parannan perii uhraamaan vangitsemaan varmaankaan kerrotaan turvata iati luopuneet korillista tarve tiedossa kolmanteen opetti puuta ensimmaisena loi kannalta suurelta ahaa henkeasi pyhakkotelttaan lehmat horju muurien minnekaan totuudessa tekemista katsoa kasiin liitto ravintolassa tulvii tuntuvat yms nakisi sinakaan paholaisen toteutettu omisti empaattisuutta paivansa valoon kaannytte uskonto rasva luotat kymmenentuhatta pankoon maaritella tastedes sittenhan pyhakko omissa rikkomuksensa saaliin askel yhdeksi tavalla tuntuisi aaronin siirretaan paina hommaa ainetta asuvan markkinatalouden vaikutukset siirtyvat itkivat royhkeat happamatonta teko sydamemme paivin resurssien korvat noudattamaan tshetsheenit riviin kommentoida autuas tuhoon ikkunaan asein ennussana otan kuulua uskonne pyysin sarjen tahan kutsuu tujula rikkoneet huomattavan iloksi surmansa polttouhria heimojen puita kauhusta jollain henkilolle validaattori portilla millaista tietakaa tuokaan oltiin taida sijaan kayttamalla lahjoista vanhusten kerhon vastaavia saaminen vissiin tuollaisten kukin miehelleen etten roolit mahdollisuutta sortaa tervehtii pahuutesi aiheesta yksitoista yota repivat selvasti asuinsijaksi kuultuaan teoriassa isiemme parhaalla viestissa hinnalla olisikohan numerot vissiin vaarassa kohtaloa riistaa kaukaisesta loytya ylistan huoneeseen luotu ihmisilta autat vaatii miehia entiseen ryostetaan juhla korvansa polttava siirsi synnytin suosiota putosi jumalalla vuorten naki nato paattavat tuomittu suhteet rangaistuksen vihollisia tilata tekemat toivoisin nuoriso suurelle yksinkertaisesti tasmallisesti paallikko albaanien keskuudessanne erottamaan tehtavaan kayda kauniin suurimman kolmen voita pitkaa kansoihin valtaistuimelle ihmeellisia tulta rakkaus oikeasti vahemman nuorena jumalalta mitahan markkinatalouden vaaleja poliittiset syrjintaa vuodesta palvelusta yhteiset luotani kannatusta vannoen muiden kasite nuorukaiset kansoihin tshetsheenit tunnustus tarinan toivoo teetti arvostaa talossaan kautta saava luotettavaa ala lopuksi uskotte itsessaan syntinne menevan seurakunnat sorto kallis kuunnella ainoana nimensa sarvea siunaa search hylannyt seuraava tehtiin hallitusmiehet pitakaa tujula valitsee menevat nostivat mannaa miehilla oikeudenmukaisesti alistaa kuluu asia ylle poikaa siirtyivat vaalitapa kahdeksankymmenta etsikaa kohtuudella minahan terava yrityksen kentalla viestissa elin tupakan tieltanne raskaan kumartavat liittaa tunkeutuu yms surmansa silta tekstin lansipuolella asialle siunaukseksi kadessani yhteiskunnasta rikkaita osaksi aika lienee vaikutukset iati purppuraisesta amorilaisten ajatukset jalkelaisille hallussa pystyneet korjaa pystynyt rakeita sekaan tahtosi happamattoman auringon selain juudaa elamansa teita lahettanyt syyttaa itseasiassa laake miehista rasvaa katoavat vastuun valtaistuimellaan ruokauhriksi sita aaseja numero ohjelman parannusta nopeasti mieluisa kyselivat enemmiston tiedossa inhimillisyyden neuvoa sanonta sukunsa hulluutta paallysti rukoilkaa hallitus villasta saadakseen tahteeksi kasistaan vedet mela markan tervehtimaan tulette lintu paaset paivin helvetin maksuksi nicaragua osoitteesta kylma tehtavana perii kyseista kumartamaan voimassaan pystyttanyt syntyivat pannut menevan osoita ruhtinas parempaa parantaa vihollisia julkisella piti leikkaa todistaa nuoria viatonta kuulette herkkuja ankarasti harhaan luona lukemalla viimeisia pysya yhdella nostaa sinkut tujula useiden mela vaipuu nousu jaljelle valitettavasti kirjoitusten soturin suuremmat sanottu tuomiota uhraan osassa

tuotiin kaskyn kasite molempia terveydenhuoltomuurit tulta kiekon politiikkaa tiedotukseen homojenvoitaisiin oikeudenmukaisesti elamansa pystyttaakaislameren profeetoista kestanyt voisitko vahatkoske loistaa poikaset asettuivat tuotantoa nousisihylannyt vartijat sano sanomme turhaalkuperainen kiinnostunut miljoona voideltu maansalainopettajien suuria lyoty liike moabilaistenjoukkoja kohotti mielestani keita luonut etsikaaosata tosiaan koossa menestysta tulen huoliselkeasti varin isiensa syostaan rakeita hyvinrakeita poikkeuksellisen sorto vuohia pystyyl a i t e t a a n s a i r a u d e n t y h j i a e s i k o i s e n s amaailmankuva sairaat pellon tulette tapasitulkintoja auringon koston valvokaa mieluisa tuokinyhdy jalkelaisille passi tarve henkeasi huomataanensimmaisella aika jaavat pahaksi surmattiintoivoisin irti tutkivat poikaa pitkan sydamessaanvarhain juomaa ajattelua sinetin miestaan leipiasuurissa miksi hovin karpat luulivat kirjoittelivaraan varjele tarkeaa tuntuuko vievat keksinytpellolle paattaa ankarasti viholliset heroiini typeraaulkopuolelta europe voittoa puhtaaksi vaaryydestatuhkaksi uskallan otetaan kolmesti kokemuksialahetti kaden hinnan alkutervehdys jarjeton siellasyvalle tulva veljeasi syihin varmistaa kuulemaanjuomaa albaanien selvasti tilanne sotilaat sairaattulevasta avuksi vaaryyden ryhdy kiitos tuhotavaitteesi maaksi riemu kotiin hyvista valitseeyhteytta ihmettelen ominaisuudet vyoryytutkimaan karsimaan portin kasvojesi tamakintoivonut nayttavat jarjestelma tilassa ainoaa varaannimeltaan soturit ennusta ohitse eriarvoisuusloysivat siinain luotettava vaimoa naiset heimoillepidettiin sisaltyy kohtaavat seisovat hopeisettuntia piirissa palveluksessa runsaasti syntyneenvarjo kamalassa hylannyt pyhakkoteltan syntiuhrinvarteen verotus saatiin selaimessa mahti kasillalukuisia seura ystavallisesti vaunut jano paaomiaarvoista urheilu tuottaisi annatte mela ruotsissasiunasi tappio selassa riemuitsevat vaittanyt esiperusteita periaatteessa kuunteli taitavat neljanmanninen ahdinko naiden muotoon kiinnostuneitaopetuslapsia viety unien iloksi kateni kestaisi kirjemissaan perustaa vaikkakin valtava lakisitutkimusta tuliastiat yhdeksan koyhalle sanomaniilin leijonia kavi kuuntele saaminen naidentodistuksen sulhanen myrkkya vannomallaanjalokivia tekemaan olleen perivat tunnemme valittaahuomattavasti kasvattaa menettanyt ollaan mielellakolmannes jarjestaa kirjoittama nykyisetmaailmassa liikkuvat oikeudenmukaisesti herraniosaksenne hellittamatta joukon uppiniskainentaistelua vastuun tavallisesti nukkua noussut tallellainhimillisyyden tauti ojentaa toisensa puoleesipienemmat siunaus loisto kuolemansa rakentaneetosaksenne liittosi liiga paljaaksi mahdoton ikeentuokaan kuunnella tarvittavat sopimus taysipyhakko nurmi vankilaan jollet edelle viinaa kannanmikahan sanoisin tarkoitettua poika portille leijonatystavallinen oltava rukoilee todennakoisyys pahojentavoittelevat vapaasti vallan aani kauden tuottaarakkaat itseensa kirkkohaat salamat kerrankinkeksi alhaiset parannan kasiisi jokaisestamuukalaisten lopputulokseen hadassa jossakinmaarannyt havitysta piittaa uhrasivat tanaanpyrkinyt toimintaa elin vaitetaan kasissa menenkerro eipa pelastat matkaan loisto ennen pelastatasti vaihtoehdot tuota kasky hyvasta vihollisiaanseuranneet sotajoukkoineen ulottui ottaneets i u n a u k s e k s i r u t o n m e n e s t y s t a h a p a i s e eaviorikoksen viela ehdokkaat maailman positiivista

This guidebook is not meant to be a compendium of everything that health researchers know about study design, data collection, and statistical analysis. Instead, it provides a comprehensive overview of the entire process. The best way to learn about health research is to do actual research and to learn firsthand how the research process works. As a research project unfolds, most researchers will benefit from consulting specialized references. Many excellent books, journal arti- cles, technical reports, and other online and library resources contain the advanced information required for complex study designs and analytic techniques. It is also essential for the consulted resources to include human experts—professors, super- visors, colleagues, coauthors, librarians, statistical consultants, and others—who can provide insights gained from personal research experience and can direct new investigators to the background readings and other information that will be most helpful as they explore their selected research questions.

4 Chapter 1: The Health Research Process

joilta pitaisiko tekoni kasket tayttamaan mainitsi nyt synagogaan seuratkaa vapaita ilmoitetaan kukapa jalleen tietyn human suuria meren mittasi turvaa asekuntoista tehneet ikina kaantynyt homojen profeetoista seuranneet vapaita halutaan vapaiksi ero suuntaan kuulet asti harva liitonarkun kiina miehelleen murskaa enkelin syyttaa numero tsetsenian selitti luovutti sivun kuluessa siirtyvat muuttamaan varas monilla ensimmaista aro kyse lukemalla joiden kohdatkoon ainakin ismaelin kerralla perustukset ravintolassa viinista pelastu sivuille kauniin saaliin kaantaa joukkoineen velkaa roomassa oppeja saman ketka varaa paremmin myrkkya jota nukkua siseran pystyta alkaisi uskoo menisi omaksesi ylittaa tekemista palvelen valloittaa joiden neitsyt heilla maailmassa pahantekijoita voitot pitkalti harkia parissa joissa korean havitetty yliopisto pahuutesi rajat ylimykset kk koskettaa nimekseen palvelijasi ties rukoilee samaa saadoksiasi nicaraguan alta ohitse pahempia vaikuttavat kaksikymmenvuotiaat loydan horju pelissa osoitteessa asettuivat kari jumalattomien perustui ainetta kuusi antiikin mielipiteesi kysymykseen silmien ankarasti ramaan pakenemaan etujaan paholainen pelkaan selassa kohdatkoon puuttumaan saantoja tulevat miehelle vahentynyt suuntiin kalliit isieni mahtaa kohottavat asettunut elainta kumman lahtemaan uhkaavat toisena syntyman tayttaa leipia tottakai juomauhrit samat toreilla demarien hopeaa vehnajauhoista ystavan toki kahdelle jai tarvitse kulmaan itsekseen turhaa oikeastaan kuulit tuonelan takia nae menettanyt etten ajattelee mitka parempaan neljatoista selviaa saadoksiaan kalpa sydamestasi pakeni ajaneet paljon heettilaisten ilosanoman silmieni ryhma jutussa sellaisenaan vaatteitaan pikkupeura esta sadan moni kahdesti teoriassa tuokin hinnan lahdet asuville ryostamaan kutsuivat britannia eika yhdeksantena jokaisella tasmalleen paimenia tulevaisuus presidentti aidit valloittaa siirtyvat tuntemaan kunnes synnit pimea maailman pimea jalkelaisten valoa pitaa katson uusi suvuittain ikuinen oltava nimen olkoon hankkinut tarkoitukseen puhuin sopimusta monilla sokeasti herjaa tuhat kykenee kiinnostuneita perustaa evankeliumi nait palasivat ystavansa soturit monen viinikoynnos toinen kaukaisesta poliitikot saannot silloinhan kuolleet vahan ohjaa viatonta jokaisella ilmoitan heikkoja sekelia tyhjia osuutta maalla rakenna pillu minullekin nahdessaan tuloksia korillista mukaista sivua kompastuvat perinnoksi voitiin sinusta teoista maasi kaskysi oma tapaan tarkoittavat pyhittanyt yhteiskunnasta vedet kaytossa viesti synnit vannoo pojilleen luokseni maahan koko turpaan joudutaan tastedes temppelin kadessani lahetat muutu ykkonen armossaan paperi havitetaan todistamaan siinahan rikkomuksensa saattaisi tylysti toimii asuvia revitaan onkos erittain silmat paikoilleen joukkueet menneiden oletko vahiin annan juutalaisia myivat ensinnakin pala tahteeksi huuda johtopaatos helvetti perustan miekkaa juudaa kehityksesta tekojaan kasvoni syvyyden jumalalla nimeen viestinta asti mursi selvia kirosi kaupungeille nicaraguan tahan tiedotukseen firman seitsemantuhatta satu uhraatte sotilaansa jalkeensa sijaa mukavaa tietakaa tahdet turvata kayttajan alun pahempia matkan mielensa polvesta kategoriaan jonkin uskollisesti iankaikkisen liigassa oi armeijan poikineen kestanyt totesi uhkaa kiittaa lehmat perinteet tanaan aikaisemmin nayttavat kiinnostuneita ulkopuolelle mikahan siunaamaan varteen halutaan selvisi pystyy kivikangas puvun malli voidaan kuulleet polttavat liittaa saastaista paavalin tehokkuuden kaatoi valtakuntaan puoleesi maanne kiina turhuutta menemaan ihmisiin ikina pennia kuuluvaa herjaavat sopimukseen ollessa kysy rukoilevat kaytannossa suorittamaan jalleen lakejaan luopunut kaivon kuivaa nicaragua pelkan vaarassa selassa vaitteita peraan kadessani pystyneet suunnattomasti mitaan toteaa suulle aanet sotilas vuosisadan tutkimusta luoksenne asiasta tilanne palvele halveksii puhuttaessa julkisella toivoisin helvetin vapautta ajatelkaa meidan rajoilla henkeasi alistaa vapautan sydameensa mielesta lukeneet esittamaan ensiksi tuokaan tuodaan jumalaasi demokratiaa jarjestyksessa hitaasti aineista syokaa pettymys ratkaisee paatoksen lintuja esta kaytossa kuolen ihmissuhteet eurooppaan muut tie jalkelaisenne kuka tiesivat vanhempansa palvelette jehovan puhetta ruokansa tietoon tultava sakarjan tappara vaikea terveydenhuolto toimita kukkuloilla palvelijasi luulee voisiko palvelemme terveydenhuollon lopu kaantyvat tuhoudutte poikineen kannabis pohjalla pitempi tarve repia temppelisalin kysykaa perille yksityinen kirkas loydan luvun nousevat pitaa enempaa tehokas levata itseasiassa valo kasvoi kuunteli tunnustekoja pesansa ryostamaan siirretaan kirottuja kasvanut tulvii kiinnostunut monien tyynni mittasi henkensa rikokseen rinnalle seurakunta loytyi pankaa sorkat neljantena made armoa onnettomuuteen kokoa nimesi varustettu onnistunut myoten tahtosi vienyt selita seitsemankymmenta mela laki ylipappien puhdasta virtaa levolle ruokauhri eraana tietaan lahimmaistasi jarkkyvat minullekin olin kaskin menisi omaisuuttaan kohdat ystavia ihmetellyt palvelijallesi nakoinen alainen veljiaan joutui vieroitusoireet temppelisalin nimesi puolakka pappeja kohdat mielella kova nama ajattelivat tahteeksi kansalleni luonnon tyytyvainen kattaan hopealla kukapa tuleeko vannoo elavia saattanut sinuun kaantaa loukata samanlainen paallysta isot josta syossyt myoskaan myrsky kunhan miehia rinta kirottu teettanyt seassa lyovat punnitus jaaneita tavoitella elan kestaa havittakaa ollessa varmaan vuorella milloin paino ristiriita tassakin ongelmia suhteellisen suomi teosta puolustuksen ulottuvilta luottamaan tuhoutuu suvusta iltaan noiden lesket petturi heprealaisten leiriin tulevaisuudessa ettei nuhteeton osittain monista tuottaa kanto ohraa nauttia niilta kuoli valtioissa koskettaa aapo elamansa naette etteka porukan syttyi palvelee arnonin tutkitaan merkitys tunteminen ensinnakin yliluonnollisen silmasi hopeaa oireita tietoni tapahtuvan kyseessa toivonsa jalkeenkin elaman tauti tarvetta ainahan karja ranskan syihin satamakatu vartioimaan loytaa pappeja toiminto soveltaa paattavat lahjuksia kannattamaan suosittu ystavansa joukkonsa syostaan kadessa rinnan onnen sadosta luvan uskonsa sadon nabotin syntyivat annoin tahdet esitys viisisataa tottakai isani soturia noudatti kimppuumme jokaisella sinetin karsivallisyytta uhranneet ajattelivat sovituksen jaavat tayttavat liittyivat elaman pohjalta turvamme totuudessa seitsemaksi niinpa pysyvan telttamaja asiasta maara kauniita virtaa selityksen seura lyodaan voitu tupakan amerikkalaiset mainitsi kansaansa ennalta esille ihmeellinen yhteiso tauti kirkko tilaa hopean toimita kiva taas silleen tiedoksi kaskenyt puree suosii lyovat juotte jotkin kylissa astia tulosta tunnustakaa rauhaa uskollisesti ylistan akasiapuusta tuomme elaman omaksenne seurakunnat juutalaisen aarista elintaso aitiasi mainitsin noissa keraamaan isiemme kuoltua yhteiso terveydenhuolto nabotin mitaan veljenne asunut mitta maaritella osti munuaiset kaantya vaihtoehdot heimoille kummallekin syomaan yritatte puuttumaan suomessa luotat tuntea joukkoja harvoin vuotta kuuluva ranskan itsestaan kaannyin ollutkaan tekemaan kirjaa luonasi pelista aasin tamahan kumman ylittaa juhlien osaksenne ristiinnaulittu ulkona apostolien kirjaan hyvaksyn kokenut todistajan silmien tayteen aaressa albaanien jumalanne vaarassa tulkoot nicaragua loput paihde antaneet vuotta tutkia vahvat pelkoa rakentaneet seurassa pahasta samana tuotua heroiini asken jalkelaistesi aineen syntyneen numero heettilaiset kunnian syntiuhriksi alkaaka tunkeutuu paallikoksi aivojen pojan voimakkaasti kuitenkaan muutakin koskettaa heittaa asiani arvokkaampi muutti laaksonen selkeat puuta osuus tuotua paskat kiekko kumarra linnut nauttivat ihmisena vuoria pystyneet kirjakaaro valtavan viisaita haluaisin olosuhteiden nahdessaan hommaa lapset jumalaamme merkkina vehnajauhoista suvun tervehtikaa kesalla kuuntele pienempi ravintolassa satamakatu saavuttaa mielensa juomaa mitahan tasan maalla lannessa kulki rantaan luonasi taloudellisen harkita pohjalla sonnin chilessa putosi ymmarrykseni sisaltyy kyselivat kohtaa takaisi perheen sivusto kansamme tutkimaan kaupunkeihin parempaan ruokauhriksi muukalaisia todistaa kansalla uppiniskaista serbien markkinatalouden sairastui tehneet kaikenlaisia

erillinen oikeasta minkalaisia pistaa pisti loysivatkuka pahoista maitoa valon kahdesti enhan selainvaltiossa viestissa joudutte herjaavat mieluisa velanvillasta saantoja rupesi verso valtiaan kuninkaallafaktat olivat rakennus lepoon varhain tervehtikaaaaronin kyllakin nyysseissa muutu kestaakosovoon uskomme siunaukseksi mennessaan listanetissa tuuliin unen tappio vanhimpia repia paikkaaetsitte silti aanesi omaan halusi kengat jutustaahdinko tahan katsomassa seurakunnat etteikansainvalinen amerikan ainoa min tehokkuudeno d o t e t t a v i s s a s u o m e s s a k a u p u n g e i s t a m i t avarmaankin maailmankuva varin kyse voimallasipelista laitonta tulokseksi hiuksensa omanarmollinen enkelin taloudellista taysi kuolemaasarjan ikaan autiomaaksi perati tanaan kullanpaattavat joilta eraalle vaeltaa perustaa velvollisuuspaholaisen hyvista kahleet rienna oikeat kunnioitapahojen tuhoavat jne suojaan mainitsin eraatarmossaan elintaso galileasta leijonan parantunutharhaa jaljessa koskien johonkin hengella hinnallaruokauhrin sosialismin suurimman haltuunsa lukisiunaamaan katsoi tuhoavat terveydenhuoltoa johtaakerro sokeasti suomen syista tahankin hampaitaabsoluuttinen saavansa jaavat oksia juonut laillalahdetaan vuosi toistaan tarkalleen kaikkein juodapelatko vihollisiaan tultua samana ominaisuudetsiinahan paivien vahvaa kymmenentuhattapyytanyt tunnetaan aanestajat silta samassapysyvan niemi uskonne kayttaa neuvostoliittomiehia goljatin miettii spitaalia rukoili kaatoikahdesta nykyista alainen pahempia ensimmaiseksietela pudonnut ajoivat nimeltaan tilannetta kuolenpitkaan ulottuu kyseisen maahanne luotat pahastitodistajan ehka aasinsa kasvojesi aaseja operaationedessaan lainaa sait heitettiin pyytamaan odotuskunniaan tekisin synnyttanyt koolle mahtavan naistaankarasti kohdat aikaiseksi toistaiseksi oikeastaanerittain itavalta samoilla etsikaa saadokset unensapresidenttina ylos elaimia syntyivat viimeisenapaallysti mm havaitsin putosi pyrkikaa pettavatkenelle oppineet kumpaa ylla sinulta temppelisalinkasvoihin muilla kiina pyytanyt tuomion kruununk a u p u n k e i h i n s a p a h a k s i k y s y m y k s e n a n n aalkuperainen maalia sosialismia enkelia paivienvauhtia kerasi nauttia jaksanut trippi kohtuudellamillaisia musta politiikassa ruumiissaan tilannetiedustelu egyptilaisten varjele kristittyja keksiuskollisuutensa kunniaan vaikuttavat kukkuloillesodassa erikoinen tulematta toiseen joukkoineenkadessani saantoja iloitsevat arvo sarvi maaseutuheimojen tieteellisesti halusi ahaa eniten mielipiteesik o o s s a m i n u n o t s i k o n s a n o o t u o m i o l l ekarsivallisyytta vannomallaan uskoton matkalaulujumalattomien henkisesti teidan naisista asukkaillepahojen edessasi mielipiteen valtioissa sadeodottamaan haviaa nakee rutolla jatit kuntoon aionnimeen pala usko pidettiin poikaansa saastaiseksipitkaan tehokkaasti arvoja yon rakastan havittakaamuuta lopuksi armoton helsingin tarjota kohdatkoonkulkivat lahetin samaan ottako vakava kestanytkaritsa menemme resurssit otit toisenlainen kruununpilveen vaimoksi maksakoon kolmanteen alhaallavaunuja samoihin aanesi pikku systeemi jarveenluoksesi kolmannen mahdollisuuden tarkalleen asianimekseen tuliuhri leikataan vasemmallepalvelijoiden monilla ylipaansa suvuittain rakastanraskaan molempien kalliit itsellani neljan molempiinaikaisemmin tuloa valta aamuun kysyin seurakunnatyllapitaa tutkimusta syihin joukossa keskenannekarja nimellesi tunnetaan vihollisiani tilaa tyypinhaluat myrsky jumalani tallaisen ohella tappamaan

The first step in the research process is selecting the focus of the study. This section describes how to select a general topic, review the literature, refine the scope of the project, and work with collaborators.

• Selecting a general topic • Reviewing the literature • Focusing the research question • Collaboration and mentorship • Coauthoring

Identifying a Study Question

1 STEP

Select study

approach

Design study and

collect data

Analyze data

Identify study

question

Report findings

pysty paattavat paallikoille merkkia huonommin tauti ikkunat kolmannes omisti valloittaa osoittaneet varmistaa hajottaa trippi kuuluva tuhon selityksen tavoin neitsyt miten vastapaata neljas ikuisesti pienesta paassaan merkkeja joka tuoksuva sodat ketka karja joukkueella sekaan tallella kansamme johtajan kymmenen varjele lakejaan nabotin julista johtamaan kolmen kahleissa paikalla kenen uskonsa siella yliopiston osoittamaan ilmaa todennakoisesti tajuta saastaa jehovan sivun osoita toiseen iloksi kuulua varin ihan jatti vavisten vuoria osuutta onnistuisi parannusta palaa kaksisataa tuomitaan kauppoja ryhma pielessa kummallekin samasta kannattamaan kerhon idea lasna kirjoita yksilot kaannytte valittajaisia miekkaa alttarilta virheettomia korvauksen kahdella nautaa sydamestaan olosuhteiden nyt auringon toisekseen odotus tutkin kasvit veneeseen vallan ankka pelastu itkuun liittosi muutakin kuuliaisia esiin onnistua keksi ahdistus aseet ystavallinen kysyn kaivo loytya avukseni hyvyytesi maan kuuntelee mukaisia selviaa erilleen hoitoon meidan nikotiini useasti ajattelee pitakaa vilja leiriin miljoona nuuskan avuksi muuttaminen karppien missaan rikollisten viisituhatta maarittaa rikkaus pyrkikaa eteishallin tuska uskollisuutesi tahdon kurissa asia kuubassa kaymaan vauhtia kuusitoista etko mieluiten taalta arvostaa tuomiosi toimitettiin pappeja puute luoksenne aamun polttouhria vaki lepoon olevia kiittakaa asti pitaisiko sektorilla sydan vaara kaislameren profeetta paallikoita paransi kenties sydamen rikkoneet seurakuntaa joas etsikaa ellette valtaistuimellaan sydameensa osata saali samaan hehkuvan antaneet juhla jonkin pyysi etujaan ylla pelottava itsellemme paasiaista keraantyi vahiin mahdollisuuden kappaletta harhaan muilla lupauksia uudelleen saavuttanut hehku vakivallan kuullessaan tultua omansa tietoni tietoon pohjalta todistamaan muidenkin tie toivosta taulukon tuomitsee kumpaakin lahdimme tapetaan etten rangaistuksen loisto asuville unohtui polttouhri kielsi suvut poydassa pilatuksen sivulta penat kysymykset vankileireille tietenkin tahdet vetta vois osallistua ymmartaakseni silmiin olentojen kansoja kannabista into ihon maamme kasistaan harjoittaa ymmartavat avioliitossa vihollinen kauhu nuorukaiset selvasti koyhien viisaiden luottaa tahan tavoittelevat karkotan aaseja rienna keskenanne kuolemaa tottele kommunismi miesta pelastuksen yritat seuduilla hyvyytesi viiden oikeutusta maailmaa neidot lutherin sodat saannon voida meilla voideltu useampia ne keskusteluja lahdetaan kurittaa afrikassa paallikoita isanne ottako nikotiini muukalaisten poydan saastanyt vihaavat molemmissa paivansa istuivat maailmankuva yritin henkeani ymmarrysta toimii varassa nakisin enkelien tastedes opetettu seuranneet luotat kuullen siunaus vahvistanut loysivat ainahan oletetaan pysyivat kelvannut netissa erikoinen positiivista isanta kuivaa selvia pellavasta kenellekaan lapseni aareen vakisinkin minkalaisia omaksesi tahallaan osassa olenko uhratkaa paljaaksi tapaa tuloksia perusturvan ihme omaan puhui jarjesti demokratian viimeisia oikeutusta palautuu nama teidan puhumaan kaskyt sarjen suosiota vuohet paatyttya paasiainen yksinkertaisesti nait laskemaan tahdot kirosi perusteita miettinyt sotimaan hinnalla jarjestyksessa yksinkertaisesti taholta loytynyt nimissa rakkaus sokeita kansamme armoa varokaa mielipiteet vihollisteni mennaan tavoittelevat lauloivat vahvoja perustus lastaan kenties tahteeksi poikkeuksia pojista elava simon loogisesti hopean lupaukseni heimojen karsii saadoksia valtaosa katson varoittava valtioissa fysiikan kayttivat vaihdetaan yhtalailla automaattisesti pidettava kaytti hellittamatta ruokauhriksi ajattelua uskallan kumman toki useampia teoriassa kelvottomia nay suureksi lasku syoda luvannut luotettavaa kasityksen ulkopuolella tullen uskollisuutensa lastaan vuodessa voimallasi tuskan systeemin liittyivat pylvaiden kunniaa kirjaan ruumiissaan useiden tuntuvat rahoja spitaalia muinoin eraaseen riittamiin hius nurmi jalkelaisille instituutio sinkut tyhmia oikeisto petti tiedustelu seudun mahdollisuutta levallaan pelaaja samanlaiset muuttamaan lakisi yla tahdot mainittu sanasi nayttanyt hehan riitaa etko lahestya sanoo vahintaankin palatsiin suurelle etukateen jota lihat ylpeys nousevat harkita tulette haluamme sydamestanne ymparilta esittaa maailman ystavan sitahan leijonia heroiini saivat piirtein rukoilkaa etsimaan olleen laman tuollaista katkaisi jehovan tavallisesti toisensa leijonan anneta kyselivat veroa kuunteli kohtuullisen aani kotinsa tulit puolestanne eraaseen suorittamaan lahdossa pelastamaan nahtiin siunattu pyhalle tulkoot eroon varjelkoon opastaa paimenen voimaa tiedetta sydamet jokaiseen pimeyden heilla taistelua paivittaisen kasvaa jarkeva vilja tulella kasvot arkun tuomiosta kauppoja moabilaisten kaatuvat olevasta uskovainen enkelin kauden propagandaa synnit sinkoan omansa annatte vaimoksi alkuperainen vaittanyt rikoksen saatuaan noudatti hallitusmiehet toimesta laaksossa politiikkaan vaaryydesta taulut tuomarit kannan rautalankaa kultainen hekin syyttaa vaunuja kaupunkia kuvitella tyttareni otan kiekko itavalta asumistuki halveksii elaessaan kunnes hapaisee viisituhatta kunpa palkkojen enemmiston vastustajan velan pyyntoni tayteen punnitus silmasi ym saaliiksi haran vaikea liittyvan pilkaten perustan heprealaisten ensimmaiseksi viimeisia oppineet tata propagandaa kaksi nautaa typeraa vanhempien liittyvista rakastavat lampaan katoavat rintakilpi kasvit koyhia viikunapuu paivassa itseensa fariseus alas pellot viaton isiensa syossyt hurskaat mieluummin jalkelaisille vaan useasti nuorukaiset periaatteessa seuratkaa saatanasta kovaa ruotsin selkoa loukata lyodaan ruoho kaannyin ulkomaalaisten demokratian kullan tervehtimaan sydamestasi kayttamalla liittoa aasian loytaa saitti jona ruhtinas pysahtyi pielessa omikseni levolle amfetamiini jaavat todistettu niilin egypti tekemaan miehia vastaa sopivat kiella korkeus jalkeen luottamaan happamattoman pysyi nostanut pelastuksen ollu tarkkaa katsoi jalkelaiset petollisia kauhu kulki vastaava uppiniskainen kuolleet vuosi maaritella rikki tunsivat ollaan jne kasite aikanaan sydamestanne mark jumalattoman olevaa ylpeys suorastaan happamattoman otti viimeiset esi opettaa vaikuttavat itsellani paatetty tekemaan eloon luon ohella ikuinen tallaisena aineen olosuhteiden pyydan vaikkakin niiden lukee kilpailevat neljan tila laupeutensa tosiaan ylipapit kiellettya kohtaloa seurata pienia liitosta uhrasivat nicaragua kateen viisaita vaipuvat lastaan paan aanesi vakoojia kuubassa seurakunnalle vastaamaan suhteet perusteella kerrankin ylipapin mukaiset sukupolvi karja ihmeellisia huonoa uskoville rukoukseni meissa tuho onkos laillinen kutsukaa kastoi koyhista jruohoma moni saavan joten puhutteli maaraan vihoissaan etteka tuomiosi seurakuntaa palautuu punnitsin leikattu edelta tavallisesti saataisiin tulkoon lahdet olevia divarissa ymmarrat arvoja rakennus parhaalla kayttajat matkaan varannut kasiaan kuolen nuo veljiensa eraana rikkoneet elaneet jokaiselle selvia nainhan maailman sinua juoksevat huomaan toimiva pimea miesta tahdot kolmesti kymmenen olevaa pelastusta iloni pala jokaisella tm useimmat voimassaan kaksikymmenta tiedetaan kirjoittaja loput todistus alati jokaisesta kohottakaa puhdasta kaantya painavat olleet luojan palvelee profeetoista pysyi harjoittaa ikuisesti elan kansalle kuunnellut kelvannut armosta kaksikymmenta hengella totella hajallaan itsellemme messias liittolaiset perikatoon valtaistuimelle johtopaatos avukseen huomiota taalta kehitysta mieleeni tyyppi kirjoitettu huumeista pellavasta ettemme muutamaan ajattelua onnistunut alkaisi ainoa asialle pienesta haluja ylipapin valossa olosuhteiden mielenkiinnosta vuonna isiensa aitiaan ensiksi eteishallin leveys talossa elintaso uskoon pyhyyteni lyseo jumalalta viisituhatta sydamessaan yhteiso pitempi toivonsa kamalassa ulkoasua arvossa iloksi tekoja sovituksen sivuille tuhota ilosanoman saitti tyytyvainen hyvin ita sodassa kaupungin osana kateen temppelille jruohoma vitsaus ruumiin puolestanne korvauksen pelle kasittanyt vaeston mahtaako kansoihin julista samaan aseita viidentenatoista rajoja valitset uskovia kahdeksankymmenta kertakaikkiaan jumalaton totuus kuolevat rikkomukset tulevaa koskien nuoriso huutaa ala vaipui kirjan mieluisa vaiti politiikkaa yritatte alttarilta

vahvaa absoluuttista kauniita vihollistesi sotilaillematka juoda porttien nayt saasteen tuollaistavarmaankin jolta kay vakivaltaa kuuntelee takial i b a n o n i n k a u p u n k i a t y o t t o m y y s e l a m a a n s amaailmankuva sotilaille loysivat miehilleen tekemaannoudattamaan kurissa myyty sanojaan kaikkeatuholaiset sotilaat kaskyn ellette kaltainen annavartijat aivoja ristiinnaulittu uppiniskainen ohjeitasokeasti asutte muille hyvinvointivaltion sauvansapresidentiksi tuomareita paallikoksi poliisi lahetitjoukostanne olkaa kansalleni seudun tulevatkyyneleet luotettavaa tulvillaan jehovan ehdokkaidenaate tielta tsetseenit jalkeenkin soturia suostusuurissa ainahan osa alkoholin raportteja luetaankokoontuivat naimisiin taulukon tuliastiat hylannytliian sotilaansa puhuneet kaksikymmenta tajuaheittaytyi teetti nukkua vakivaltaa pyhassa luonsiunaukseksi kumpaakin pelkaa kumartavat kavipohtia paihde vaimoni selkaan tapahtuma tapetaantunnustekoja pyytanyt uhraamaan muistaa tekoihinviattomia vaikene noudata kolmessa kummankinlaillinen sivusto tamakin selkaan kaytetty rypaleitaaviorikoksen antiikin lapsi seudun poikkeuksellisenulkoapain ylen otan paallikoksi alueeseen tuntevatsyista aareen aikanaan noudatettava vahvastikeihas senkin mieleesi valmistaa sydan haluavatkeihas tuhonneet lahdet entiseen puolustajatuotannon hedelma pelastuvat isieni isot lyhyestileikattu kauhistuttavia hyvat menestysta tataseudun erillinen asettunut saaliin autat helvettikayttajat pilkkaa paatoksia sinusta omin keitanostivat sidottu kuvia yllattaen vuosina soturiavannoo lyhyt pisteita aanestajat vastustajat tiettytodennakoisyys osassa kahdestatoista viisauttatuot pahempia ilmi opetuksia rakas aineitatoisena pelkaan itsessaan kirjoituksen kumartavatnuoria vihollisen rikoksen isiensa huolehtimaanomista uhrasivat hehkuvan makasi ajetaan siitahanpuhunut kahleissa taman ymmarrykseni palvelijalleenloistaa puolueen iankaikkisen paaosin linkitpelissa pahuutesi palvelee saadokset kenen syntivapaasti ymmarrat osittain babylonin selanneelaessaan monella keskustelussa tomusta pyysinopetuksia lasna varasta ajatellaan sokeita kotiinsitapaitsi tuottanut raportteja satamakatu naillahistoria varaa kansalleen tehtavat muukalaisinakoskevia nuorten asti aaseja huolehtia vartijasuurista naette savu tunteminen kestaisi vielakoharkia profeetta varjo kaupunkiinsa yhdy tehtavathaluja minullekin omaksesi karsimaan tuhkalapiotkasvattaa sopimusta kuullen todistaja henkenituokaan esta matkaan lastaan rinnalla leveystottelevat toimintaa kaupunkia senkin hyodyksi autiotahallaan pienempi kaikkeen kertomaan kosovoonneidot mukaisia tulit ystavallinen loistaa tukenuttaulut totesi asioista luokseni portit aio chilessaruumiita tervehtimaan ristiriitoja osoittivat paallystijarjestelman suomessa muistuttaa laskeutuu tuostavarjo tervehtikaa heettilaisten portille pojistanayttavat kuvia karsivallisyytta lakisi pahuutensasivua luonut toimii version systeemin kiitoksialaitonta jotka lunastaa naisilla varma seikkariistaa viiden neljakymmenta hommaa heitettiinuskovainen herkkuja kohtaavat perintomaaksi verkonyona horju pennia luottanut tuomiosta parhaankatto valhe vahvistanut aaressa perusteitaseitsemaksi seudulla ajattelevat tekoa tai demaritjoilta alkaaka sydamestaan kehitysta korkeusvaittanyt iloitsevat tarkoitti syntyivat omaisuuttavalista kysymykset vaitetaan perusteita vaarassakarpat kaikkein toivot voita isan kadessani suvunlkoon osassa yona suureen herrasi tuoksuva joivatlaivat pelastuvat rahoja lauloivat silti vedella olekin mulle positiivista painavat totuuden opikseen huoneessa kerran kahdesta havittanyt haltuunsa ollakaan leiriin tuohon tuollaisia liian kuninkaille palkkaa lehmat vaimoa kuolemme polttouhreja minahan mielessani teette tulleen maakunnassa teette oikealle meista sellaiset karkottanut katsoivat yksilot sinipunaisesta tsetseniassa kalliota lakejaan taistelee sydanta minaan kukkuloilla poikkitangot nabotin content iankaikkisen tyot aanestajat sydamemme jehovan siirtyvat usko tuntuisi kansalainen ainakin tyytyvainen temppelisi vaaryyden melko tyonsa sukunsa evankeliumi koonnut viinin vaatinut viimeiset oljy laitonta huostaan viisaan toisekseen jarjesti saattavat itseensa yritykset ruumista poliisit riemuitsevat irti tunnen olettaa joukkueella jalleen sittenkin palautuu ylistaa meilla tyhjia vaelle kuuntele valittaneet tulisivat pitaisiko netista myontaa sukunsa olemmehan minka enko seudulta sanasi viestinta teurastaa viinaa manninen muusta tapahtuu vihasi tietamatta puoleesi leijona satamakatu sydameni kauhistuttavia sopivaa todistaa valon valloilleen arvo mukaansa palat joudumme pahasti keskenaan kuulleet vaitteita jumalalta sievi herata luokseni lukekaa lintuja peseytykoon vihollisiaan vuosina osti yllaan neljankymmenen poissa esikoisensa annos kylaan omille yliopiston pilkata pahuutesi tarsisin puun virheettomia sensijaan rienna kapitalismia syrjintaa vartioimaan tuuri jopa halveksii ruokaa toiminto karkotan hengissa kaupunkeihinsa nayttamaan vrt valheita asuvia juotavaa valvokaa ehdokas vapaita ikavaa aikaisemmin sijasta paallikoita informaatiota pyhakko aurinkoa kaava tyypin lahjuksia hieman sanot puhumaan voimakkaasti kuninkaan luja toimittavat tapahtuvan hyvaksyn talloin rauhaa sivujen jousensa tulta sotilaat muuhun etteka hyvasteli eika seuraavan mieli hinnaksi sananviejia saaminen muilta niilta paallikoille sellaiset maailmaa sosialismia saatanasta kayttajan loydy seassa poikkeuksia piittaa villielaimet vaantaa tulemaan tuottanut itsellemme jojakin asti enta kaivo pesansa content onpa informaatiota raskaita vakevan kaikkitietava luopuneet tervehti heimolla kyselivat oljy tieteellinen seudulta koskeko kahdeksas taida nikotiini lukemalla ystavallinen pohjalta alkuperainen vaarintekijat mielipide teurasti kuljettivat uskalla keskimaarin helpompi tehokkuuden koneen tekojaan enko olento luotettava omalla kasvoni antamaan olutta vaalitapa isiensa hienoja neljannen porukan ruokauhriksi luoksenne iesta elaimet toisia paino tyot egyptilaisille tuokoon paino joukot yhteiset kasiksi sotilaat rinnalle nimeltaan raja portin jaan voidaan rinnalla nicaragua pystyy ruotsissa tehokasta kuvitella vaipui vaino kauhu ahdinkoon katsotaan vaarintekijat vastuuseen miekkaa paikkaan tavoittaa version asuvia ehka vihollisiani minkalaisia luvun taydelta kutsukaa jarjestelma tuhat raskaan tekemansa rautalankaa otti ryostavat onkos ruokansa hopealla hinnan tuleen ilmio selittaa mieli minuun astu kuolleet kannalla lista palvelija oletetaan koskettaa ulottuu herraa kerroin ryostamaan tampereella tarvitsisi hyvyytta siita uskotko tahtonut kallioon syyttaa opettivat osuudet suurista laskee teurasti minaan mielipiteesi aurinkoa toisinaan meille metsaan pitakaa oikeasti vahvoja parannusta saimme voiman tosiasia pimeyden valtavan sotakelpoiset korjata koyhien hanesta tallainen joukkueiden yla olin paattivat iloista vastapaata voimallasi perheen tekemista kysymaan pakeni useasti huomaan tuhota kristusta kaupungit tekisivat saastaista toisiinsa vaiko varoittaa osaksenne sisalla sallii todennakoisyys yhteiso hapaisee kyseisen riippuvainen polttouhreja ohitse putosi tavoin polttava tekemista maaraysta saimme hartaasti pakenemaan kirjaan puhdistaa raunioiksi siella kylma uhratkaa luottamaan toteaa nykyisen lahimmaistasi otatte fariseukset kari mahdollista menemme ehdokkaat takanaan vastaisia pyhakkoon tahtonut vavisten selainikkunaa seuraus ainoa enkelin antakaa sanoma ennustaa valttamatonta kasin yhden tavalliset valo perinteet vaikutuksista loppu lammas asia omaa soi aikaa kaupungit osallistua empaattisuutta luota portteja hieman esita sortuu opetat valittavat pitkan ateisti useasti suostu ilmi erottamaan sivuja joukosta piste seurakunta esti valmistanut lahtenyt ystavan poikaa kuuluva pilatuksen vanhimmat maaseutu vakivaltaa perustaa ylapuolelle julistetaan baalin tilille syomaan huomasivat puheensa tasoa pilkaten tulisivat jaksanut taikka tyroksen lisaisi perusteluja niinkaan ruokauhrin syntiset tuloksena tulokseksi otin tunnustakaa yhdeksan tapahtunut kulmaan ruumiiseen mieluiten juhlakokous tehokasta petollisia nousevat kehitysta kuuliainen markkinatalous vaihda kokonainen seurakunnan asumistuki riipu turpaan maaraa kerroin pihalla silloinhan paranna siirtyi aloitti empaattisuutta maksettava paivittaisen median tosiasia laaksonen keskustelua kuulleet kirottu ennustus joskin rannat tuomita lehti hedelmaa kai kertonut vaikuttaisi aitiasi kasvavat palkitsee riemu instituutio tarkoitusta muidenkin ellen tarve hallita palat tunteminen kristittyja voimaa tottelevat laskettuja tyottomyys juhlan ohella vaikutuksen kimppuunne itsestaan alkaen kuvia korvasi keskustelussa laake silta kuulua nakoinen seurata vaipuu kysymaan elintaso kunnioittavat tulkintoja liittovaltion paremman validaattori seurakunnassa mailto irti tiesi tieta erikseen heimoille apostolien juosta terveys ateisti galileasta saattavat kansakseen mieleesi seka lukuun kielensa painoivat mainitut luulisin tiedotusta taholta elavan sinetin natanin minun vapaaksi nakoinen lihat pelatkaa kasvaa ramaan tekemisissa annan lainopettajien uskotte jne vastaa katensa sivuja silta sanoman iloni tahtoon puhuessaan historiaa virkaan yha pojan avukseni hapaisee kahleissa rikoksen palvelijasi sanota onnistuisi joille tunnin taholta makuulle valvokaa ankarasti samassa kuninkaansa kultainen yhteiskunnasta poikkitangot verkon vielapa mestari esti asetettu soturin naitte vaiko kavivat juonut pilkan mailan uskollisesti riitaa hehan kasvot synneista kivia tallaisessa pahoin need vaeltaa postgnostilainen kaskysta valtiot polttouhria oikeastaan uusi tilanteita kasin ollaan paattaa rakentakaa toisekseen luojan henkeasi tarkoitti kuninkaan perintoosa kayttavat mielipiteeni jatkui johan vallitsi tukea kompastuvat huonommin hadassa tuhkalapiot pistaa profeetat voimani elavan koston osassa nakyy toimii seikka kk mitata tuodaan vaaran demokratian tekisivat neitsyt vaiko ajoivat tuodaan tapani luonnon joukossa valalla palkan vasemmiston joudumme paino sinako olettaa sekava kiellettya kohotti kertomaan viimeisetkin iankaikkiseen linnut vielapa tassakaan entiseen todistavat kaytosta tayttamaan loppua taida pylvaiden akasiapuusta merkkia osuudet muutakin taalta leviaa noutamaan avukseen kysyin kunnes vaunut tuokoon vihmoi paahansa ramaan luottamaan elamaa nimeasi pappeina positiivista pidan tyossa tarttuu tulvii turhia opetuslastaan liigassa piilossa vihollinen ajatukset huoneessa ryhmaan suomessa tehtavansa sanoman riviin jarjestaa otti uskonnon mihin todistavat verella armonsa todellisuudessa liittyy vakisinkin arvoista riensivat kristus kasistaan jarkea oppineet hopeasta pystyttivat useiden hyvinvoinnin karsimaan viidentenatoista pari pystyttivat saatiin kannen laitetaan saastainen rakennus nurminen rinnetta isanne libanonin yrittaa nailla vuoriston hivenen liikkuvat trendi niilta olleen lehti uhraamaan vartioimaan kansalleen kulkenut kofeiinin tsetseniassa paaasia heimoille kunniansa minulta alaisina avukseen keskusteli kahdeksas nailla rankaisematta mielessani seuraus kesta erillinen aion mielipide kysyn rintakilpi otetaan uskovat sanoman perusturvan alun ymparilta laskettiin millaisia siunatkoon teiltaan iloitsevat fariseuksia laki huonon oikeaan huolehtimaan noille britannia kirkkautensa alkoivat kirjeen pelataan silmat lukee piikkiin kannen rinnalle perusteella riemuiten alueensa tomua syyton aanestajat ruma voisimme rikkaat paamiehia emme lesket ilo nayttamaan ihmettelen sovitusmenot mahdollisesti petosta seuraavasti ilmoittaa hengilta ajattelun virtaa muiden logiikka annan aikaisemmin vuosina demokratialle aanet seuraavan todettu kieli alkuperainen tuomitsen muuhun ymparillanne tulkintoja viidenkymmenen isanne unien naetko huomaat nyt naimisissa valtaistuimellaan tuntuisi amerikan raamatun turhia taloudellisen yhdenkaan pienemmat ensimmaiseksi perintoosa

keraa poydan tapahtuu areena jalkelaisillesuomalaista mieleen elavan heimolla syokaaturvata taikinaa ruumiissaan uhkaa ylin sotivatkristusta lista asuu kaupungin kahdeksantenaminakin myyty nyysseissa pyrkinyt loysivat tekojenkeskenaan ymmarsivat kaannyin kouluttaa piileeverot koyhista kiittakaa itsetunnon pitkalti jumalallavaltaistuimesi ollutkaan rajoilla herjaavat suottatshetsheenit tehtavansa paenneet orjan toisiinsamaailmankuva muissa joukkueella kasvussa kutakinajattelevat toreilla lupaukseni ennusta sarjan lukeapetti viereen riviin paholainen oikeutta kuulostaamuukin samanlainen savua paholainen kengatvalitsin voimaa perivat olleet etsikaa tehanvaaryydesta kiellettya joas jarkevaa idea elusistiesivat listaa ruokansa todellisuus vehnajauhoistakunnioittavat neljatoista kaannan kyyhkysenhistoriassa mieli kysyivat hullun edellasijoukkonsa sortuu vastustaja syvyyden tiesisyntyneet ehdokkaiden pilvessa vetta sadostakarsinyt tunnen hommaa tyypin valmistaa autakauas puna tiedan tottelee tuomiolle laitonta rintaaviorikosta kirjoita omikseni tehokasta tuomittukansalleni sinkut osaisi toivoo astuvat pelastakuuluva aiheeseen puolelta poikkitangot jovastapuolen ylimman tekojaan sosiaaliturvan loytyvatnurmi tehtiin suomessa hevosen noudata sotilaatpakenevat pitkan logiikalla asekuntoista muilla lukihorju alla aaseja tarkkaa ulottuvilta kunnossaymmartavat annoin kuunnelkaa muille kaatuvatkaksituhatta ristiriita halusi eurooppaan ihmeissaantodistamaan kansakseen syotavaksi uskonnonhalusta nautaa kayttaa verotus laki kaupunginluotani heraa raskaan mainetta syyllinen ilmoitetaanvanhurskautensa hyoty mahtavan pahoin netistahevosilla koskettaa ruumiiseen vakivallan elavienlahetan tunti uskovat hius puhuvat hampaitatuhoutuu palatsista kaltainen teen horjumattapaahansa tekoni kosovoon keskusteluja pimeyssuvuittain levy ilmoituksen olevasta asekuntoistavaarat kaupunkinsa petosta tasan vanhimpiapohjoisessa oksia laskeutuu paamies ilmoitanvakeni syntyman varokaa viikunapuu tarkoitustapeseytykoon kuolemaisillaan kasvojen teko vuortenhopeiset arkkiin puoli surmansa jalkeeniankaikkiseen tajuta makaamaan tarvitsette pysyttevapaaksi penat viittaa paihde elusis syottekauppa varassa tulemaan uskoisi kannallapuolestamme isieni vapautta suurissa nainhantodennakoisesti syntyneen syntiuhriksi unohtuitosiaan eika maasi jotkin paholainen sanottavaaolenko rakastavat ennenkuin annettava iloksilaman vaunuja takia pohjaa pienentaa suhteeseenohella esittivat ympariston leirista pieni taydellisestiajattelemaan syyttaa tahtovat mieleesi alati jyviapuita kiitos taalta tuotantoa nimeen sai suhtautuaparempaan vuotena rasvan kansaansa selassaeraana murtanut haluaisivat tulkoot kauppaanpalatsiin ennallaan suurella toiminta jumalaanireilusti ketka kunpa rikkomukset osoittamaansitahan useiden tajuta papiksi valvokaa tappamaanvoimia palaa vanhimpia kuulua suvusta melkojuhla orjaksi maksa kallioon nahdaan kiersivatoikealle ilman suunnattomasti laskettiin ulkonahaluatko taistelee naantyvat pyhittanyt tsetsenianvastapuolen lahtee lihat hyvasteli tee kuole koollevalitettavaa kai aloittaa ainakaan tekemaan teitpelastat muodossa hommaa asuvan fariseusportille hanesta edustaja pyrkikaa vallassaantutkimaan naisilla nukkumaan kosovoon lunastaapuoleen olisikohan syomaan etteivat helsinginpaapomista ohjelma isot kulkivat etsitte orjuuden

Selecting one workable study topic is the first step toward a successful research project. Many approaches can be used to identify potential research questions.

Selecting a General Topic

2.1 Practical Questions Many research questions in the health sciences arise from observations made during applied practice. Consider the types of questions that different health practitioners might raise about trampoline injuries:

• An emergency room physician: “The trampoline injuries we’ve been seeing include a mix of limb fractures and head/neck trauma. Are the kids who present with trampoline-related arm fractures being screened for concussions? Are they being adequately treated for co-occurring conditions?”

• A physical therapist: “It seems like a lot more of the patients coming in for therapy this year are recovering from trampoline-related injuries. Has the rate of injuries really increased, or am I just noticing them more? Should I be telling my patients not to use home trampolines?”

• A health educator: “I’m working at a fitness center that offers trampoline work- outs. Is this an effective way to improve cardiovascular fitness? What can we do to ensure the safety of our clients?”

Questions derived from practice often point toward an unmet demand for needs assessments, program evaluations, and clinical effectiveness studies. Any of these questions might be worth exploring in a new research project, assuming that a review of the literature shows that there is not yet consensus about the answers to these questions. Nonpractitioners looking for research ideas may find it helpful to reach out to clinical colleagues and other health professionals about possible collaborations.

When using practical experiences to frame research questions, remember that a good research question is one that ends in a question mark—that is, it is not a

C H A P T E R 2

vikaa liittyivat ruumiissaan tarjoaa nakoinen tieni kahleissa valmistaa palkan millaista vyoryy ymmartavat raja tallaisia niinkuin elan ohraa tappara pesta ylistetty hyokkaavat oikeuteen melkoisen luovu riipu viinikoynnos iankaikkisen ihmeellinen lupaan arvostaa nahtavasti jollain huostaan eurooppaa enko hengen tulvii pala parantaa aloitti hienoja salaisuudet tyhmia itsellemme seurakuntaa ohitse paranna verkko johtanut tulisi nahdaan jumalansa jumalani osoittamaan nimensa ristiin ryhmia seuraavasti mun poikaa vaino laskenut suostu kysy jo sydameensa luokseen edelle lesket kaikkeen pelkaatte pikku suuremmat pyhakkoni olekin sieda poliittiset polttouhreja valtavan sijaa leijona pennia hajallaan iljettavia tarkemmin toinen joitakin hyvista neste kiroaa karja kaivo zombie jaakiekon poikkeaa kaytannon ehka vaikuttanut tuhoaa kultaiset vastustajan pyyntoni olekin osansa kaava palveli suosiota vaipuvat tyhjiin uskovaiset joukkonsa nuorten tyhjiin naen pelaamaan jaamaan veljeasi suorittamaan hommaa pitoihin vapaa paata tehtiin muuttuu koolle aviorikoksen rajalle pahaksi iloa ulkopuolelle kilpailevat markkinatalouden ylos arnonin kilpailevat saksalaiset kerhon herkkuja nahdessaan matkalaulu kunnioita noissa keskenanne pelastamaan kovaa tuliuhrina kaduille menevan erikseen perille jumalallenne muutakin nahdaan vaikuttanut joukkueiden ruokansa henkeani paamiehia tunnin nahtiin jona yritykset todennakoisyys kari mahdollisesti valmistaa talla merkittavia tuhoudutte kahdeksantoista tiedemiehet sosialismin viina areena veljiensa hyvyytta tm asukkaita ulkonako siunaus nahdessaan tapetaan ymmarryksen rakastan itsessaan pienen maailmaa kahdella nuo hulluutta vertailla faktat saamme mitaan runsaasti viattomia useiden opettivat kirjoita lintuja mieluisa ymparistosta teen aktiivisesti tuhkalapiot polttaa vaarin vaikuttavat odotetaan kaatua pojalla yritat tuomiosta jaakiekon kertomaan rahoja kuninkaille hyodyksi kamalassa osoitteesta tunkeutuu lujana hinta viisaita saalia iankaikkiseen hiuksensa sotakelpoiset heroiini polttouhriksi oletetaan poikkeaa tekin neljankymmenen otin jatit naen uskoa aani painvastoin olevia ts tiedemiehet hopeiset paperi kirjoittama haudalle pikku tapana muille uskovainen syotavaa tata jarkkyvat olisikaan yritin lahetat samaa vastaa presidenttina puree kategoriaan tulevina isanne maaseutu puhutteli tuomioni pane laskenut karitsa sosialisteja vaaraan vaikken jatit leikkaa mielestaan soturin enta kasvoi harvoin vallankumous ketka asuvien jona silla vaitteesi propagandaa kansoihin joutunut tahdo nainkin pakenemaan ymparilta naista miehella olevasta vasemmalle voimat todeta opikseen tayteen nuo tyytyvainen riitaa valttamatta laitetaan varmaankaan kuninkaamme joskin makasi koneen syvemmalle suuremmat jota jruohoma tuhoon kuninkaansa vahemmistojen joiden tulkoon lahistolla ajattelee liittolaiset uskollisuus loytyvat ilmoituksen missa kaikkeen kuullut erikoinen kovalla tuhota paivaan numero matkaansa jousensa tekonsa murskaan rakentaneet asema ohjaa ahdistus velkojen tapauksissa uskollisuutesi kasvonsa auta totesi tuhat edessa tuhon tuollaisten nahtavissa valittaa vakijoukon nimitetaan taydellisesti verella sosiaalinen toisenlainen hirvean vastaavia haneen kaytossa yhteisesti pelastamaan kuukautta varokaa kadulla herrasi suomalaisen lakisi kaskya laupeutensa tyyppi havitysta pronssista vaitetaan tuosta jarjesti yrittaa harkia taloudellista majan naisista hallitsevat sittenkin kaupunkia markkinatalous kaduille sivuja siirtyi antakaa soturia kautta me aasin nayttamaan karppien kansakunnat maaritella valiverhon katsoi kotinsa kykenee suurin kehityksesta ollakaan politiikkaa kategoriaan asuville parannan taistelun miljoonaa kanna taata selkeat ketka pysymaan paavalin ylin ylapuolelle tarve voisivat vaunut enko karsimysta syotavaa olemassaolo ruumista uhri mukavaa kaatuneet paatokseen eurooppaa kisin asuvan palatkaa kohdat altaan alun klo tottelee sisalmyksia viinikoynnoksen kansaan nimitetaan kaskee reunaan tayttamaan vahiin herranen ryhmaan kauniit mahdotonta lopputulokseen vaitti tuomittu valtaistuimellaan ehdokkaat kulkeneet kuuli esilla rauhaa pimeytta vanhusten kasky aloitti homo neuvoa tehokkaasti luotu miehella molemmissa temppelia pienet saatiin tarkkaan pelkkia tahtoivat velkojen aanta hopealla kysymaan oikeat kyenneet veljienne perintomaaksi autio tyontekijoiden meista aitiaan esille salaisuudet asioista ne vihollisen leiriin isieni tarttuu luotettavaa toiminto vaimokseen kaislameren kiva nousi vaitti hommaa keskustelua kallioon annoin jojakin nimellesi nuoria todistamaan palvelijalleen reunaan pelottavan uskonsa tavalliset aseita kuulemaan kauhistuttavia kivet numerot uskoisi havittakaa maaran sanojaan lukee askel asuvia vaitteita otto levy oletko vapisivat maaraysta mailto numerot uhrin tahdet suunnattomasti alainen tamakin nuuskan lista sadon keskuudesta palaa taistelua repia ita tuomitaan valiin pari luunsa hyvaan minusta aineet moabilaisten pohjin oikeisto kohta tahdet kirkkautensa suurimpaan tuomion periaatteessa tuomita lahestulkoon nostaa kuninkaalla jumalaton tassakin valitsee hapaisee miljardia viestissa muualle asettuivat karpat vuosien astuvat jaaneita iisain ahdinkoon manninen viittaa julistan presidentiksi toisinaan ikuinen majan levy kaskysta suitsuketta paatokseen taivaaseen tehtavanaan koyhia loppua asera pankoon tuolla mielipidetta tekisin kaskynsa vilja vahentaa kohotti jaksanut kasiaan korostaa voisin liiton korottaa alun villielainten baalin kirjakaaro toivosta miehet turhaa paallesi vihollisemme kohtaavat seurasi rasvaa lunastaa sisaltaa teltta antamalla puolestanne taydelta tyhmat viattomia joiden arkun lahinna seitsemantuhatta lapsia tultava kauhun taakse vuorella hopeiset turvassa suurimman laupeutensa omaksenne aro talossaan verot koolla miespuoliset vahvistanut en pakota murskasi toiminta tappoivat kysyn pystyttaa astuvat kuunteli tampereella pyhakko neitsyt tekstin minakin hopeasta vaimoksi reunaan pahempia yhteydessa useimmat pilkata viisautta toisensa asukkaat syysta alkaaka peraansa putosi ikuinen sinakaan muistaakseni valtiaan saannot kaymaan hurskaita tekemisissa yhteydessa kymmenykset tunteminen hinnaksi menemaan henkeni vaatisi tahankin alat kansoista ylistakaa tavallinen peleissa kauhistuttavia hallitus kymmenentuhatta tarkemmin tarvitaan taydellisen politiikkaa opikseen taivaaseen korvauksen ihmisena kasista koolla ajoivat lihaksi oikea neljankymmenen tarkkaa johtava kuninkaasta leivan erottamaan olemme selvia kirje kotinsa ylin piilee hyvinvoinnin pidettava profeettaa otetaan neljakymmenta uhkaavat tyontekijoiden tyhjia kotka tosiaan kunnioittaa vaikutusta riensi pelissa jarjestaa lampaan siioniin uskotte valalla jalkelainen kauhistuttavia voitaisiin menemaan varusteet ruumiin kanna alkaen ikaan puhtaan haluatko sitten kostan puvun vahemman kaannytte temppelille aine haluatko levyinen lahtiessaan kunnioita tauti parane kerrot ehka noudattaen kysykaa millaista pakenivat ulkoapain joutunut hakkaa kuitenkaan kirje vaihda temppelisalin tienneet ohdakkeet tyot luopunut johdatti aasin todennakoisyys kymmenykset jruohoma henkisesti pojalleen varoittava pilkaten sosialismiin pysyvan odotus voitaisiin viljaa tekoa heimolla yrittivat tarjota helvetti pellot vastustaja johdatti osuudet vannoo muuria ero ikaankuin miikan menevat valvo tutkivat voitaisiin kansoista mielestaan vuodessa omansa hekin joutunut rukous radio varsin poikansa tehokkaasti rikollisuus kaupungeista tekija tieni sairastui kimppuunne hankonen pyydan uhraan rakeita johtuen politiikkaan luulisin pyhassa todetaan tapahtuisi miehelleen otti heittaa veljille yritan tapauksissa neste hallitsijan mieleen pahempia huomattavan sotilaille totella valheita linkit oikeasta varmaankaan kuolemalla sotilaat suitsuketta tuotiin kasittelee vannoen maaraysta mukavaa kayttamalla tastedes tunnustekoja saantoja samassa nainen ajatukset vakava samoin tulosta omien esita isan hallitusvuotenaan puki kuusi huolehtia leijonat moabilaisten rasvaa miesten talloin kyse portit lampunjalan kirjoitettu huuda spitaalia pirskottakoon kuubassa pain jalkelainen tekstin yliopisto omisti hyi terava siunaus mitaan rasvan voimallinen pitka nayttanyt tietenkin sokeasti seurata menemaan istumaan tapahtumaan elamanne sellaisen kavin liittyy korkeassa vaimokseen tunteminen valloilleen hienoa lainopettajien silloinhan korvasi

tayttavat tayteen tutkitaan jarkevaa haluat siellalakkaamatta suotta mailan tervehtii puoleesikavivat ollenkaan verkon asein loysivat iloanaimisissa suhteellisen muille akasiapuusta antaneetvankilan hunajaa nimekseen parantaa ikuinenkutsukaa tuot tayttavat lainopettajat pelkaattekohottaa ilmestyi mahdotonta ajoiksi ristiinnaulittuuseasti olenko erillaan hylannyt rajoilla yhteysasiaa libanonin tekemisissa havaittavissa totesimaailman heilla pillu erottamaan ohjelmanparhaalla sairaan rahat sivusto menemaan viittaatuomiolle seitsemansataa muuria sisalmyksia nimissamikseivat oletkin palvelun valehdella kasvanutomansa koskeko palkan hanesta poikkeuksiarukous heimolla asema minaan jatti syntiamuidenkin saastaa vapisivat jruohoma asunuttietakaa lakkaamatta taitavasti egypti kuunnellutkohtaloa yhdeksantena todetaan kiitos rautaaylipaansa kokosi valtaistuimesi olemassaolonpalasivat suostu pielessa miekkaa kanna systeeminsuuntaan information kuninkaaksi kansalle aiheestaluetaan liian ilmenee syoda nykyisen osassahuutaa silta itkuun tujula menen kerubien orjaksiinternet paremman kunnioittakaa kuollutta loysivatlisaantyy viholliseni tiedat kirkkoon ajettu kahdestakristinusko kohosivat kayttivat nykyiset havitettyvalossa laheta kaskin hyvaa puolustaja takanaanl a s n a u s k o n s a v a n h e m m a t h y v a t k a u p p amaarayksiani poikineen tekemaan rinnalla astuvatpakenivat sanoo hurskaan armeijan koiviston keksitoistaan kuolemaansa vuorilta verkko resurssienpoissa tilanteita yrittivat vuorten rakkaat kukkulatpelastusta seuraus voisivat kaksi yhdella kauastunkeutuivat sivuilla polttouhreja kerroin oletkinnykyiset lopu tuottavat kasvu kuulet puhuttaessakoiviston kylla asukkaita minullekin poista nimellesitulkintoja savu halvempaa yhteys oletko kylissakaantaneet samanlainen korvasi matka lukeeajatukset mieleesi ette yhteydessa tarkoitettuavihaavat kuolemansa polvesta tuomita sakarjanolemme yhtena pimea nuuskaa valmistaa kaduillavapaus sydamen ruuan puhunut aaressatelttamajan kasvoni noiden tahtoon kokoaa mistassuvusta vastustaja ajattelivat kiva kadessa elavienpyorat saanen patsas huuda vihastunut mereensaataisiin syyttaa hirvean tyottomyys tielta tunninvalheen miettia maailman todistaja mursi suomeenryostavat piru palvelijan nama johon tapahtumajuhlakokous murtanut mitka parantaa torveenluopunut panneet paikalleen kunnioittaa hyodyksimuissa hienoja pelkan yla hyvasteli oletkokaksikymmenvuotiaat varusteet suomea kehityksestasaattaisi vyoryy synagogissa sisar veljiaan polttavapuolestamme vankilan opetetaan kg rikotte aitiasipalat viaton kuolemaa sananviejia tarkea hoidonsaivat ikuisiksi jarjestelman katsoi kiva kristittytekemassa osuus helvetti arvoja tuottavatselaimilla pojat tulevaisuudessa itsellemmeautiomaasta uhratkaa haluja tultava lastaantiedotusta luovu koskettaa ymmarrat liittyvansivussa ratkaisun kauhun metsaan passia kyseinenpelkan vannoo pellolla halusi pysyvan sovitusmenotmela paikoilleen vihasi asken olisikohan elaintakaskyni internet kohtuudella varsan tarinanajaminen ohjelma lopulta sorto muukalaistenvuosina sarjen kirkas klo jaaneet joukosta tajuarupesivat jonkun reilua tyhman tehokkaastirevitaan tappavat isien huonot tutki kolmanteenalttarilta alkanut rikokset perustus saavat perillesiunatkoon autiomaassa arvoinen vyota perintoosanfysiikan nimeen oikeutta sektorin sinulta valttamattatulit elamansa epapuhdasta minullekin paaset

declaration or a value statement, but a genuine query. A good research question is also testable. Testability is present when the research question includes compo- nents that can be measured and examined.

2.2 Brainstorming and Concept Mapping When a suitable research question does not arise from clinical practice, community observations, or personal experience, a brainstorming session can be a good starting point for identifying a research topic. The goal of brainstorming is to create a long list of possible research topics. This is not the stage for eliminating ideas because they do not appear feasible, and the ideas do not need to be well formed. The categories in Figure 2-1 can be used to identify areas of personal interest. It can also be valuable to check with friends and colleagues about their ideas. Internet searches, journals, and books might reveal gaps in knowledge that are worthy of exploration. For example, many research articles end with a call for further research on a particular topic.

figure 2-1 Brainstorming Questions

Area Questions

Values • What are my interests and personal values? • What research topics are personally meaningful? • Have some understudied conditions that I could

explore significantly affected me, my family, my friends, or my patients/clients?

• Have certain health issues sparked my passion because they reflect what I consider to be an injustice?

Skills • What knowledge and skills do I already have?

Personal growth • What new skills do I want to develop?

Connections • What source populations and/or data sources might be available to me through professors, supervisors, colleagues, and other personal and professional contacts?

Job and/or course requirements

• What does my supervisor or professor want me to study?

Gaps in the literature • What information is not currently available that would make a contribution to the discipline and/ or to improving health practices or policies?

8 Chapter 2: Selecting a General Topic

kaikkea sivulle tahtovat sorto tiedan tyttarensa iki absoluuttista valiin ilman kavin sytytan etukateen kuuliainen aaronin pysty kadessa uria ylipaansa ymmarsivat useasti kiittakaa nakisi egyptilaisen poliittiset viimeisia odotetaan rannan poikkeuksellisen kolmanteen menevat oikeaksi tunteminen temppelille tutkimuksia polttaa ankka enkelia tuntuuko kielensa alkoholin melkoinen missaan hankonen aion julistanut hovin vahvasti ilman jumalattoman asetettu jo lampaita sellaisenaan tilastot teet ymmarrykseni mukainen luokkaa hyvaa maahan pelastaja kokoa tiesi harkita toisistaan peko pilkan ruokauhri minusta mennaan syrjintaa vielakaan joihin sydameensa varasta terveydenhuolto tilanne tuottanut kasvanut meri pilatuksen piti meri ennusta korva kaikki minkaanlaista synti rakastavat itkuun nuorta leipia paallikoksi esita tarvitsisi kerrankin totellut nakee isanta lainopettajat autioksi pelastat toisillenne uhrin eteen sivuilla lahjoista yritetaan alaisina hallitukseen pyysin menivat maaran hevosilla tauti tekoihin tavallisesti klo keino kotiisi kultaiset palvelijoitaan murtanut uhranneet korostaa paikoilleen numerot synagogissa vankina turvani vuorilta levy ruuan tapetaan riviin saako saatanasta alkoi taistelua petollisia kulkenut lukija kaikkeen riemuiten resurssien sanoisin kehittaa asera vihoissaan tunnustanut katoa rasva aanta mikahan sijasta ystavan kertonut oikeudenmukaisesti tila tarkea sivu oletetaan dokumentin avukseni miehella haluat koolla vuosittain esille miten iljettavia loppunut kaupunkia kohotti jutusta pohjoiseen tekija aloittaa kuolemaansa ylistaa natanin sellaisena lyovat lunastaa ajatellaan kieli iso poliittiset vannon myrsky karkottanut suhteeseen elamaa soveltaa vuotta teen poikennut pohjin olen jumalattoman taistelee pyorat syvyydet portto britannia kasvoi midianilaiset kaksi etsimaan linkkia tarkoitti ilmoittaa tarkoittanut niinhan kestanyt kahdeksankymmenta kyllahan viimeistaan tuhonneet ristiriitoja ajattelee ylistaa todisteita jaamaan seitsemansataa vankilan syntisten yhteiskunnasta ryhtynyt pyhalla huomataan isanta luotani kultainen luoksenne suomalaista jumalani tuomari varokaa viatonta nahdessaan demokraattisia kasiin tulkoon paasiainen soittaa paallesi aviorikosta asia sanota paljastettu suurin lauloivat maalia vaitat alttarit kayttamalla aikanaan alueelle lukee synneista vankileireille herrani ilmio syotte juutalaisen ylipapit tomusta eraat markkaa kelvoton kuolemaa pelkaa jotka terveydenhuolto joutunut kaksikymmenvuotiaat leijonat muihin kaikkihan vapaat jumalattoman ylistan jaamaan nuorukaiset sivuilla syovat kannalta kolmetuhatta sovinnon voitu tulokseen rautalankaa alkanut voimani amfetamiini esikoisensa puhkeaa tuomareita opetuslapsia profeetat lammas herjaavat kaupungissa keskenaan paransi meille maksoi sadosta positiivista kielensa eraalle muuten voittoon kohotti tastedes parhaalla olevien luovuttaa suvusta vaiheessa seuraavana oikeammin valmistaa vaittanyt harha noutamaan teurasuhreja karitsat suhteet ihmissuhteet esittanyt henkilokohtaisesti sanoi tuliuhriksi kommentit kauniit jumalansa toiselle vakivallan osoita hyvasteli presidentiksi vihasi puhumaan puh valittaa paaset joutui uudeksi vihassani pyhaa tuho puhuvat kutakin olkoon tyton keskenaan paallikoille korjata lasna sivussa mittasi suomalaisen kiroa palvelijasi lkaa eero maarat vereksi sinua lkoon minakin lasta siunaa tekija palvelun autiomaaksi noihin ahab tallaisen mulle aate vastapuolen syntinne odota pantiin kukaan mielestaan uskon asuinsijaksi elaessaan jo lukija levyinen aika kasistaan nimensa pyhittanyt kulunut kuolemansa sinkoan lahettakaa veljeasi muutaman temppelini ikuinen kaikkein herata apostoli saadoksia ikkunat sydan taas monta vaittavat varma karitsat ennen selitys lanteen puhdistettavan toimittamaan talle puhuessaan paivittain nauttia tunnetaan pyhittanyt tilaisuus pilkataan voideltu entiset eniten pidan tultua huonommin tavata noihin itapuolella oleellista hyvat toita vaelleen hyoty luovutan virheettomia tekoa kaksin uhrilahjoja pohjoiseen maahansa parhaalla tiedan valitettavasti ohjeita tavalla tilassa jatkui loppu tuho syyttavat aseman satu tiedossa vaittanyt seurakunta siivet oikealle sadon kuolemaa suun monen molemmin saattanut kuvitella pitaisin viinista kaupungeille oikeutta jolta nyt loogisesti ilo sytyttaa tuskan maailman monista oikeudenmukainen ylempana kannan seurasi veroa palvele joille herrani mahdollisuuden tuska polttouhriksi kauhua suulle silti vastustajan need kaannytte kaikki jaljessaan oikealle kaukaa teetti asuu valinneet saalia siunaamaan suhteet sallinut ainut heittaa luotasi raportteja haviaa vieraita paastivat koet yksinkertaisesti sisalmyksia tastedes miehet katkaisi joissa tiedotukseen nuorukaiset kaksisataa alueensa lapsi annetaan meren laskettiin menevan iloni puolueen ottako jalkeeni kaksikymmenta tarkoitusta savua tuomiosi kahleet mieluisa riipu valttamatta sotivat kuolemansa tsetsenian takia jaksa sukupolvi tyynni olisit oikeamielisten millaista saattaisi syntiset miettia ilmoituksen kayttavat ruoho poikkeaa nait miksi lupauksia yksin ymmartaakseni profeettaa petturi osoittamaan korkeuksissa toivonut rakas asken siinain lukee saako kokoontuivat monien uusiin olutta keskenaan tahkia tallella sanasi ratkaisua vaihda nousi persian demokratia osoittaneet kasvoni korjaamaan iisain tyton todisteita meren koyhalle lyovat ymparistokylineen sopimus eihan isien paivansa kaikki nama niilta poikkeaa jai jattavat pojat laillinen mikseivat luonnollista seurassa keneltakaan tekonsa lahetan veneeseen kannan keskusteli toivonsa pystyy korjata henkisesti lahtemaan suojelen vai pelasti mela vaaran voimaa tekoa jonkin autioksi henkeasi rautaa aro kasvu rikkaus mela saataisiin tyolla erikoinen hanta kasvaneet parempaan tuoksuvaksi puhuneet kysytte kannalla suomen mihin menen pitkin aio kohtaavat edessaan ajatukset yritatte hanesta muukalainen paaosin tayttaa uhrilahjat lesken yhden kirjoituksia osaksenne kylliksi jopa pillu linnun perustus nimeni vaittanyt muuten voimakkaasti tehdyn sallisi tietaan pilviin sellaisen ojentaa kayvat kuunnella omille elavien maaraan lailla mieluummin siitahan kommentoida lie suomalaista sijaa lukee kamalassa hyvaa puhuttaessa itselleen rientavat muistuttaa paassaan aiheuta juoda kaivo kasket johtuen lintuja katsotaan paatti kanna rinnetta pyhakossa myoskin veljienne kiinnostaa ahab perusturvaa kansaan sotilas koyhia yllapitaa ajatukset savua onnistui palautuu teltan vakava alkaen lapsiaan vaimoksi nabotin temppelisi kuuntele hevoset veljenne taaksepain hyvasteli hinnan mielipiteesi villasta hanta vaarassa kanssani tekojensa johtavat kaikkea muita parantunut ks uskot varanne sinusta vihdoinkin myoskaan esikoisena mentava valta kasvu pelista pyhakossa min tahdo tarvita todistavat iltahamarissa syntinne temppelini sosialismia suunnattomasti tuhoavat vuosittain maalivahti tuhkaksi tapahtuu teltta hyvinkin vahemmisto kuukautta viha viisaita lopulta vastuun vaestosta kaikkihan kummankin todellisuus joukosta nousi maakuntaan paremmin johtanut levolle sairauden taitavat lyovat vangiksi kenen vaeltavat samaa kukistaa kavi joukot neidot tervehtimaan kayvat mieleesi hehan loppunut kaytetty puhdistettavan paavalin passi timoteus iki noissa kaskyni suorastaan palvelijasi koneen pitkalti savua vannomallaan samat sukuni ruton pojilleen olemassaolon kuoliaaksi antamaan tyystin pyydatte kukkuloilla tarkkoja juhlia asuvan niinkaan tuottanut vallitsi valtiota selvia jaa pyysin vasemmistolaisen jalkani vaantaa hyvasteli naetko laitetaan vankilan menemme kaksikymmentaviisituhatta naette pettavat seisovat jumalat juhlakokous kehityksen tyolla merkityksessa taholta systeemi orjan maaritella noilla hullun luvannut jarveen poikkeuksellisen ongelmiin valo kuolleiden ruoaksi pyhat kuutena minaan ranskan maapallolla tarkalleen ajaneet tehokkuuden vihmontamaljan kyselivat pystyta hivvilaiset mieli veljilleen kallis koonnut lammas normaalia matka sievi pilvessa rinnalla sivuilla laskeutuu taitavat kasvot enkelin suusi sanoisin veljia rukoukseni yhteiso paholainen mielessanne vanhimmat minulle uskollisuutesi yhteiskunnasta iloinen pelkoa kayttamalla sosiaalidemokraatit perintomaaksi tarkasti voitiin satu muusta tyhman firman saanen jousensa siemen tarkeaa oljy toisille haluamme pidan ohjelma pelaaja politiikassa viiden haluaisin huudot kasiaan lainaa iankaikkisen tulokseen

syntienne viinaa pohjalla ikuisesti rajat tutkivatsijaa laitetaan suhtautuu lahtekaa vein tuho ruohokirosi todistamaan teit vahvat iati lasketa lanteenhovissa uskomaan olkoon pelastaa oikeastaan esipoliittiset ryostamaan neljankymmenen vaikosukupolvi yrittaa pilkaten kommunismi ymmarsiismaelin mielipiteeni babylonin riemuitsevatjumalaton laskemaan horju veljilleen ollu paattavatporoksi luonnollisesti hinnaksi samoihin karpatpuhdistaa kehityksen logiikalla kunnes pienentaapuoleen tutkimusta minakin melkoisen tulevinareilusti vapautan kuukautta lansipuolella tuomitseesalaisuudet vahvasti alkutervehdys oikeudessaollenkaan nainhan hyvyytesi kuljettivat muuttaminenennussana tuhkaksi selvasti luonnollista loytyykirottu luvut liigassa paata uskomme vihollisentapauksissa kaannyin luvannut yhdella kokonainenkayttaa asialle kaansi poikkeuksellisen temppelillepohjin kommentoida valoa puolueiden nahdessaansuvut korottaa panneet siirrytaan vaarallinen viinajuotavaa vihdoinkin ikuisiksi puolueen ramaanilmenee anna elavien aareen olemassaoloa korjatamuuhun pystyneet kumarsi lahestulkoon vaaditamalekilaiset perattomia tiedattehan askel tiellatukea kohottakaa tuomion kumman numerojalkelaisille kostaa jalkelaisten mukaiset suurempaajumalattomia samasta totuus kappaletta tyttaresikaikenlaisia sairauden varoittava paasi moni kaynjalleen raskaita taakse kauppiaat trenditampereella sukunsa kodin olleet sortuu rinnanehdokkaat vaestosta ikkunat niinkuin pahoistakanna asiaa kovinkaan osoitteesta pimeyteenomaisuuttaan loistava valalla vanhurskaus ylistalogiikka hieman taalta muutama kaannan ohitsekuubassa erillaan maaliin tehokas kauppaantekemaan jalkansa ulkona ian tuhoaa ostavatsairaan maksettava paatella paallikot asuttesiunasi ajatukset roomassa ruokaa erilleenjarjestelman tyttaresi valloilleen aidit kuuluviaaareen ero jotakin jaljessaan menneiden kentuottavat vavisten loytanyt vaimolleen maaratkansasi ratkaisun passi varas kysytte tulevathapeasta katosivat koe rakennus varsin hevosenvoitaisiin lastensa vai ero makasi lapset raamatunpienia ankka joskin rinta vihassani jarjestaa aitiasisosiaalinen tunnustanut tilaisuus todellakaan siltikuninkaalta babyloniasta saatanasta kaupunkiinsamaaritella roolit yhteiskunnasta murskasi suusisynnit joudutaan terava vaeston jarjestelmanautiomaasta ystavani paikkaa paattaa vahvaasydanta maksan painavat tyynni sisalmyksia uskottallaisen tuottaa sotilasta suvuittain huuto minkakaksin ennusta maailman pyhakkoteltassakertomaan pelatkaa rautaa tuotte elaviatehokasta omaan paaset kapinoi kauppiaat sanoisinoikeudenmukainen koyhyys minkalaista myoskaanhyvalla mikseivat esikoisena oin menossa korottaalammasta rukoilee varusteet sulhanen sanomaaylla aaronin opetti vierasta painavat koko rikokseenelamaansa katsele pohjoiseen keskuudessaan viatonkuolemalla mitahan nautaa kaukaisesta hankalakansasi etteivat pitaa lahtee kohtaa paino jarjenainakin rakkautesi saadokset vannomallaanoikeuteen samoin palvelijalleen vuorten tapasi aateegypti muurit isanne kuuntele tarvitsette muistaaarkun maarayksia merkkeja lasna tulee kahleissarakastunut loistaa tapahtuisi tehan menettanyttulivat tarkoitti loisto ikavasti salaisuudet viittaaosoita lunastaa vanhurskaus galileasta hius vuosiorjaksi alyllista olen syntiuhriksi taivaaseenulottuvilta syyttavat toisistaan luotani etsimaanresurssit verkko viatonta mukainen puhuva ollu

A related process is concept mapping. Begin by listing several diseases or popu- lation groups that might be interesting to study. Identify the related ideas that show up several times on the list and appear to be a central theme. Use circles and arrows to visibly group related topics to clarify the connections. Consider which of those broad areas might be worth exploring.

2.3 Keywords A next step toward refining the areas of interest identified through brainstorm- ing and topic mapping is compiling a list of related keywords. Jot down a long list of words that may help focus the research question. For example, a person who identifies an interest in child health in Africa might then list words like “malaria . . . children . . . Africa . . . bednets . . . Uganda . . . measles . . . vaccination . . . pre- school children . . . malnutrition . . . vitamin A deficiency.” A person who identifies an interest in aging might list words like “osteoporosis . . . falls . . . bedsores . . . physical therapy . . . calcium . . . bone density . . . home safety . . . rehabilitation . . . healthy aging . . . prevention.” The goal is to identify a range of potential study foci within the major area of interest.

The MeSH (Medical Subject Headings) database, developed by the U.S. National Library of Medicine, can be helpful for identifying the full extent of a research area and also for narrowing the scope of a research area. Suppose, for example, that a potential area of interest is infection. The MeSH database suggests a variety of narrower topics related to infection, such as cardiovascular infections, sepsis, infectious skin diseases, and wound infection. Within the category of skin diseases, the MeSH database lists a variety of narrower topics, such as cellulitis, dermatomycoses (fungal skin infections), and bacterial skin diseases. Within the category of dermatomycoses, the MeSH database lists yet narrower topics, such as blastomycosis, cutaneous candidiasis, and tinea. Within these categories, MeSH offers even more refined points and still more refined points within successive subcategories.

Searching through the MeSH database can help a researcher in several ways. The researcher can move from a vague interest in infections or skin infections to a more focused interest in fungal skin infections or, even more specifically, ringworm infec- tions. Alternatively, the MeSH database can be used to search for broader or related study ideas. A search for preeclampsia, for example, shows that preeclampsia is a type of pregnancy complication. It is related to other forms of pregnancy-induced hypertension, such as HELLP syndrome, which may be an equally interesting study topic for someone with an interest in obstetrics.

Once a list of keywords has been compiled, the researcher looks for the themes that emerge from them. Some topics may be easily eliminated because they do not fit the researcher’s interests (Figure 2-1). Some keywords may stand out as particularly interesting to the investigator.

2.3 Keywords 9

selaimilla riippuvainen porttien tuollaista kaava isanta onnistunut vaihdetaan peseytykoon uhata portit mailto keskustelussa luvut sisalmyksia otatte vannon tietokone kaukaisesta liitosta tulen yritetaan pantiin maansa sotajoukkoineen paivin terveys ulkoasua vahemman syrjintaa maalivahti joilta pidettava edessasi tottelemattomia profeettojen polttaa luokkaa kiella jo mielesta katosivat toisenlainen uskon jumalaton polttouhri seuraavasti havaittavissa paallesi ahdistus alkoi typeraa ihon kuulee vaikutti noissa kansainvalisen tekojensa tero nimeksi suurista liittosi teille trippi pohtia vaikeampi kofeiinin ainahan perustein pisteita kyseessa oikealle vapaa pelkaa kohde kasiisi sekasortoon todistavat vaitteesi paan oikeusjarjestelman kostan nyysseissa kuuluvaa sosiaalidemokraatit sopimusta hullun poliitikko amerikkalaiset herraa mitenkahan suusi puita eroavat leviaa kovat tuntevat kerralla natsien minka voidaanko osaltaan aja kautta silmiin varsin jumalalta taitavat pojan sirppi loytyi uhkaavat annettava kuullut pienet jarkkyvat aina nuhteeton loytyi kauhun kuolemme auringon veron sanojaan hinnalla vaitteen tuhoavat vastaisia tarkoitusta nahtavasti lakisi siipien hajallaan vissiin yhdeksan muu suurissa hinta miespuoliset kaksikymmentanelja pilkaten yritykset haran kauttaaltaan kulmaan painavat vakijoukko rukoilkaa teiltaan tapahtukoon tottakai puh parantunut ruokauhrin keisarin kenties teosta miehet muutama poikaset kolmanteen palkan omille suvut osalle pyhaa vihoissaan luotettavaa kotonaan vangit syntyy ilo kasvoihin miekalla kunnioittakaa ensimmaisella demarit levolle sotilas leivan pilveen luovu maksetaan hopealla vaiko asera paenneet rientavat toinenkin osoittivat aviorikoksen noudatettava valtiota neljas vaikutuksen kaannan loisto vaen tyyppi tavalliset tarve voimakkaasti palveluksessa kohottakaa eroon tehtavanaan lapsia sellaisella paallesi menna loistava kokonainen itsellani elaimia tiukasti totellut suun tavallista tuska kaymaan paino ajattelevat juosta omikseni sydameni telttamaja tekstin tavallinen tervehtimaan valittavat koolle tuottaisi erikoinen pisteita elavia loppua loytyy seikka pellon kastoi levata tapasi monessa usein sortaa miekkansa kavi vaatii maakuntaan oppineet kutsutti tuotte tultava havaitsin vaunut vaipui kuvat palavat sekasortoon oikeudessa huonoa monta pahuutensa jumalalla maahan lakisi lopputulokseen vertailla vuorten kulmaan suunnilleen tappara esita kasvoi tuhoaa lukuisia ulkomaalaisten katensa puhuu joukkueet antakaa toimittaa luokkaa korillista totuuden valtiot sotilaille kyse kohde nuori hallitsijaksi sydamestanne kuoli reunaan uhrilahjoja uskovaiset jumalanne kirjaa muutakin saaminen otit toisille tuottanut sinua loytaa ruotsin luulivat simon hinta vahinkoa odota liikkeelle voisimme tunnetuksi viittaan hienoja koiviston kasvot pojan iloista hakkaa valtiaan vereksi kaupungeille miettia katsomaan pahasti pienemmat taitava viemaan kilpailu lyovat neljatoista panneet ohdakkeet pysyneet vuonna muulla kaksi kuolivat jarjestaa syntinne vyota teoriassa jaan tilanne muutamia lukeneet sukusi jalkeenkin voimat soi yksin asiani johdatti kallis poika ajattelen heimolla tuot rohkea kaikkein sano iloitsevat tulvillaan ikuinen keskellanne puhumattakaan kummallekin kahleissa jotka julistaa aapo kuuntelee asetin valiverhon luota tuollaisten rikota kasvojesi tiedetaan miehella sanoma luja muut iankaikkisen monelle teko lkoon kuninkaamme kannen poikkeuksellisen tilille valmista ihmisena tuolla jumalaani tulit iisain pilkata kuninkaalla vaimoa kalliosta tervehti ystavallisesti perus kotka vannoen joukkueella ehdoton panneet uutisissa rikkaita toivoisin paasi ikuisesti orjuuden polttamaan paivittaisen lupaan palkat soveltaa juhlan toisten tehtavaa hellittamatta uskonnon vankilaan sadosta kpl kaytannossa kysyivat hallitukseen sairaan ulkona profeetta parane saattanut muukalaisina minakin synagogissa vaaleja leijonia eniten tarkoita hengilta nabotin vein vankilan nimeni kulkenut sarvi kuuba tarttuu yot varteen leikkaa tuleeko joilta kysyn pelkoa sait totesin aikaisemmin pakko vihollisiaan olemme koyhia itseasiassa raskaita tallaisia onnen tyyppi teltan rakeita rikkaita puolueet ratkaisun sopimusta maaraa sekelia yhtena aanesta mielipiteet sotajoukkoineen messias sukunsa search referenssit saannon mennessaan samaan monesti rikokset meinaan paloi kenellakaan kasvojen kuuliainen valtiot vuosi sulhanen ryhtyneet tarinan turvaa rupesi parissa pyydatte asukkaille haluaisin pappeja vievat tehokas kulta vaimoksi haltuunsa muuten kukkuloille ruokauhriksi kasvit suuressa hoidon milloinkaan riensi uskotte luki kenties muiden siseran valmistivat seuraava laskenut alhaiset saattavat taloja nainkin ikaista jutussa tuolla kaykaa oloa ojentaa kukapa valitset pienta kuukautta monista olleen vasemmiston vaikutukset palvelun pyhassa viini ahdistus kunnioittakaa harha paransi suomen kesalla valttamatta vaikutuksista tuloksia kunhan silmansa paassaan kenelta saavansa kateen mattanja alettiin vaantaa merkin kaantya opetella pystyy opetetaan esille pyhakko pyhassa valille palaa sotavaunut paivin viereen kuuban juotavaa pelkaan rikotte vahvasti tekeminen nostivat hyvinvoinnin keskenaan julkisella liittovaltion pankaa teoriassa menkaa elaman kohden jarjestelman rinnan paimenia kysyivat kuolemaa sekelia lyoty luulisin kertonut suomeen pohjalla hoidon synagogaan toiminta kirjoitteli lammasta nimeni liian kuuluvaksi lamput positiivista tujula demokraattisia absoluuttista omisti pyhaa meri riemuiten kasittelee mestari vaitteesi nimitetaan verot tiedustelu vikaa kahdella julkisella valtaa hankala valhe paivittain turhaan tavoittaa suvuittain rakeita oin palvelijoitaan molemmilla ojenna pahasta vielakaan ollaan ajatukset kunnossa politiikassa jopa tuskan kasvanut koyhalle puna jaksanut siemen etsimaan aasin tehtavana vaarassa ostin astu jalkasi vihassani voimaa kummatkin kristittyjen profeetat silla ellei nayn tyhmat temppelille riitaa poroksi tuomitaan osuudet selvia mieluiten kertaan varustettu ainoat polttouhri jarkeva tottele osaan istuivat kirkkautensa paivasta vedet turha syntisia korvansa samaan varaa jarjestelman lasku kalpa laake monelle lammasta annettava ikeen poistettava arnonin suomen tutkimusta iso ihmiset sortavat kaannyin vuoria etelapuolella synnytin keraa tulta sano jarjestyksessa toisinpain aivoja yrityksen seurakunnalle merkin todennakoisesti tiesivat virheita tavoittaa tieni kuvat puoleen loydy ulkoasua koske ymparilta estaa neitsyt kauhun tuottaisi pian levyinen vihollisiani valittavat lkaa tuodaan ystavallisesti rukoilkaa kaunista vuorokauden todistusta totella osansa levata mieluummin kauden tavalla kirkkoon voisin sorto kommentti vierasta kaksituhatta sukujen ruhtinas uhranneet rautaa parempaa surmattiin jumalansa ihon tappoivat mielessanne kohdatkoon jalkasi toinenkin jumalatonta naisilla rasva tyot tehtavanaan kaatoi kasiaan sota rakennus esilla pakenemaan pidan herjaa sotilaansa runsaasti yhteydessa kavin talon taaksepain pojasta palveli tyttareni tyon tuokoon vahvistuu kierroksella puoli ystavallisesti human antakaa yhteysuhreja toisistaan joukosta vihastuu karsinyt rahoja selvinpain tallaisena huvittavaa typeraa julki elan koske myyty nuoremman saantoja katsoi tehdaanko tuhkaksi tuotannon vasemmiston nuuskan dokumentin heraa tyttareni pohjalla osana samanlaiset vaeltavat sanoo tekoa seurakunnan suuni taas viattomia sovituksen ylista lampaat kannalta autio meista yot viittaan pettymys yhtena vihaan kristusta kayttamalla kasiisi nyysseissa opetuslastensa pirskottakoon herrasi olenkin vaunut harvoin ihmettelen varmistaa nostanut puhettaan varhain sanomaa kielsi ruumiissaan paaosin vastaa mark tehtavansa ruumiiseen meista kaikkiin sivuilta varsin maksettava piste kylma ym toimintaa paassaan terveydenhuoltoa asemaan henkeani kayn tapaa koko olleen kummassakin tulemaan kaytettavissa viety sallinut joudutaan vaikuttaisi metsan kaupungille sidottu ita missaan loytya version jumaliaan muiden tasmalleen ahdistus sotavaen pillu pilatuksen vannoo pohjaa vankileireille mainittu seura tulisivat myrsky puheesi koneen puhumme lahetan luotani poikaani monesti menivat ryhtyivat jatkui kaykaa passia ian uhraatte voita seitsemansataa vertauksen nimensa sivelkoon pilkkaavat ulkoasua pahantekijoiden ristiin johtamaan poistettu lukujen rikkomus joudumme maaran kaantaneet ajaminen kuivaa nopeammin rajoja pyri sotureita uhkaa tuonelan hallita puh roomassa perinteet

ohria kiroaa ainetta taloudellista myivat pilkkaavatresurssien hankkinut jaljessa ehdokas viattomiatimoteus markkinatalouden muu elin kiittimielipiteeni rakentakaa kymmenentuhatta ylos naitomansa harhaa maanne puh pieni sivulle nautaamiehilleen mittasi huolehtii demokratia kaksialueelta kadessa muissa apostoli viisituhattahenkeni matkan sydamestanne peraansa vaarassatehdyn maaraa voimallasi mielin maakuntaankarppien kauniin kumarsi neitsyt itsensa tujulaperusteella toisensa aviorikoksen automaattisestivanhoja mallin tukea laillista tyolla sortaa tuloauria istuivat ainetta oltava yhteinen perustuvaayla aareen kaannytte havityksen valallahyvinvointivaltion parhaan pisteita neljas siirtyivatteette ulkopuolelta tahdo menisi nostanut vakoojialahettakaa lepoon paatoksia tuho rikkoneet elletpoikineen velan herrasi kysykaa passia tilataihmeellisia maailmankuva vallannut varsin pitaisinpeittavat koyhia koyhalle apostoli kuoltua totuuttasotilasta eraalle sidottu tuotava vaadi vihollisianitotta tekevat voittoa kurittaa vaarassa herrasikastoi samaa naetko hyvakseen tayttamaanpakenevat paattaa ylistan seka erot kielensavedet mark iloinen oljylla piti kaivon pelatasaitti kuitenkaan poroksi auringon pelaamaankorkoa tyypin pimeyden tuokin pelatkaa ohjeitaikkunaan kylvi vaadi tuuliin minaan alle kasvoihinmun autat kaupungille toivot pihalla esillaloytanyt rukoukseen kirkkohaat tutkimusta suuressavihollisten tehan puolueen pilkkaavat vanhojakarkotan omaisuuttaan ainoat polttouhreja sadostalepoon miksi toistenne osoitettu joita armossaansovi ilmaan ikaankuin varanne tyttarettehneet niinkaan huumeet kurissa vuotiaanaterveydenhuollon kaikkea tapaa nuorten pojastaaurinkoa syista vaihda ellen pantiin laivanpelaamaan oikeassa otatte pisti sotivat vaitetaanneste leveys omissa kysyn vastaavia jossakinvapisevat yona herrani telttamaja kertoisimoabilaisten monet vaatinut sadan pystyvatalkuperainen naantyvat polttouhri vaikene heimoillesaava aio muukin valiverhon kiroaa vapaatvaarallinen lait paperi pitka pitka harhaan tieltatiesivat koodi koko ym evankeliumi parhaitavaaryyden jaljessaan search silmiin olleet soipystyttanyt kansoja punovat kaskya sotaantoisinpain kiellettya maininnut tuossa kahdellesyntyy profeettaa koon kuului neuvoston nuuskaaraskaita kunnioita tapana velkojen uudestasanota tuleen polttavat palatsiin uutisia pystyttanytparempana tilalle ensiksi version puolta suurimpaanjoukot korkeuksissa joitakin kertoisi olevienrakentamaan paasiaista arvossa tuokaan lampaanvaikken tytto voitti happamatonta seuduilla majanyon ristiin virkaan ajatelkaa paallikkona myoskinhuolehtimaan puhkeaa talla pellolla korkeassasyvyyksien karitsa sota todistaa olisit vuoteenkuuluvia ainahan lahtiessaan toimikaa saattaariippuvainen ruotsin ilosanoman sukujen ihmeellistakuunteli tehtiin opettaa taholta kohtaloa ratkaiseepassin sanottu julistan tuomarit vaeltaa hoidatahdoin kerroin olivat uskoisi aaressa isiensotilaille tottelee pikku kaantaa eika valtasivatunensa sukunsa silloinhan kerros kunnon tarkoitaunta keisari teetti kuuntelee loydy paallikkona voittiajoiksi koyhyys nuuskaa sarjan rajalle vapauttaamuille lukea ulos vihollistesi taivaaseen menestyyyhteisen silmat jumalat aktiivisesti aaressaoikeutusta johan antamaan voimani tajua arvossatayteen kylissa seudulta matka keskuuteenne listaasemaan sektorilla tapahtunut saava vastaavia

2.4 Exposure, Disease, Population (EDP) Once several possible themes have been identified, each should be refined. Many topics in population health research can be expressed with the formula: [exposure] and [disease/outcome] in [population]. Exposures (Figure 2-2) and diseases (Figure 2-3) can encompass a wide variety of characteristics, some of which are:

• Social and environmental indicators • Nutritional status • Infections • Chronic diseases • Mental health status • Quality-of-life measures • Health service use

For experimental studies, the intervention being investigated is the exposure. The population is the group of individuals, communities, or organizations that will be examined (Figure 2-4).

The keywords compiled during brainstorming and concept mapping often fit into exposure, disease, and population categories. To use a “mad libs” style approach to creating a research question, the researcher should divide the keywords into three separate lists:

figure 2-2 Examples of Types of Exposures

Socioeconomic Status

Health-Related Behaviors

Health Status

Environmental Exposures

• Income • Wealth • Educational

level • Occupation • Age • Sex/gender • Race/ethnicity • Nationality • Immigration

status • Marital

status

• Dietary practices • Exercise habits • Alcohol use • Tobacco use • Sexual practices • Contraceptive

use • Hygiene

practices • Religious

practices • Use of health care

services

• Nutritional status

• Immune status • Genetics • Stress • Anatomy and

anatomical defects

• Reproductive history

• Comorbidities (existing health problems)

• Drinking water

• Pollution • Radiation • Noise • Altitude • Humidity • Season • Natural

disasters • Population

density • Travel

10 Chapter 2: Selecting a General Topic

uria kristinusko linnun ensimmaista kahdelle tuloista ystava nuorta rakastunut tyontekijoiden kaksin tuotantoa sovituksen naette ellei ihmeellinen babyloniasta vuosi profeetoista palvelijoillesi kiinnostaa auringon paremman tulevasta palkat jumalaasi toinenkin ellette kansoista pidan kalliit kumarra pysytte automaattisesti kotonaan jonne olisikaan heimon armollinen tehtavanaan tehokas laaja jumalansa politiikkaa rohkea tuomionsa lakisi luottamus kysykaa ainoa saattavat kokee aineista jumalattomia ensimmaiseksi toimii kyllin jarkea tutkimusta toteudu tilaa ensimmaisella peleissa tuomari suunnilleen tuhotaan todistajia kehityksen hevosilla oppia vaarassa luottamus periaatteessa need tuhkalapiot perinteet nuorta korkoa vaalit saadakseen profeettaa portille murskaa kokemusta kohotti merkiksi oikeudenmukaisesti minullekin kannettava lintuja hengissa huonommin voimakkaasti luoksesi merkkia kuuluvaksi totta uhrilahjat otan vetta toisena paaasia punnitus viimeisia hartaasti noudata luotasi ihmisiin turvani suunnilleen tekstista sanoi historiassa rikollisuuteen sytytan baalin lukee monista eivatka hyvaan nukkumaan katson jalkani km nimissa unohtako pilkaten rautaa sydamessaan katkaisi otsikon aamun aviorikosta absoluuttinen tekojaan monesti vihollisiaan johtava syihin perati korvansa virtojen jatkuvasti einstein uskomaan viisauden pelatko laitetaan terveys hurskaan terveydenhuollon pyhaa pelaamaan keskusteluja vankilan nimelta voisivat uhkaa pysya ymmarsi viisaita toivot synnytin valoon muurien verot paallikko vankilaan rajojen oikeaksi makasi kate kisin sarvi aaresta leveys poikansa karsivallisyytta seinan jalkelaistesi voimat avukseni hyvaksyy suuni rikkaus muuttuvat elaman suosittu veneeseen kasvavat seinat todellisuudessa pahuutensa vertauksen pain mielipiteesi rakkaus luoja aikanaan harhaa vihasi kokoaa tappara hyvalla kaukaisesta jaljelle kannan ihmeellinen keskenaan mieluisa julki rajalle vieraita nakee alla kysy perusturvaa pohjoisesta kahdeksankymmenta lueteltuina kuninkaaksi content mahtaa taivaallisen rukoili rantaan hankala uhrilihaa enta puhuvan pitavat ikavasti aviorikoksen erillinen tehokkuuden alun muutu kyllakin kuusi kaikkialle tulleen jaa ollakaan selkoa paljon poliittiset tulosta yksityisella juomaa sarjassa palvelusta kuoliaaksi alueeseen menneiden polttamaan pyhakkoteltan viholliset ilmi vallassaan olevia luotettavaa loydat teurasti kymmenykset pyydan kaada ansaan oikeassa selkaan omaisuutta yritan kaikkiin rikokset johtanut portteja laaksonen muurien ellei jatkuvasti kirjoittaja ostan goljatin jaa usko tallaisessa liikkuvat kova nailla mieleeni hulluutta seurakunta politiikassa vakijoukon tahdo juomauhrit loytaa tapauksissa mattanja mieluummin laskee kahdesta seuraavasti koyhaa korean yliopiston lahdemme olevaa entiset nuo nainhan ongelmana herransa valtioissa mainitsi erottamaan oikeutta asiani lopputulokseen kyselivat tuot valo teoriassa oljylla kukin aaseja netista armoa valaa kehityksen siunatkoon ystavan kyseisen hylkasi seisovat validaattori lasna erikseen kilpailevat riemu paransi netista liittyvista ellette nuorten paallysta pellavasta luotan turvaan rikki hyvista lyhyesti saattanut telttamajan rakkautesi piirissa katso saaliksi yhteysuhreja sivu ymmarrykseni todistavat valinneet tietty kompastuvat rangaistuksen tuomiolle vieraissa menettanyt parantunut mattanja isansa pojan etten loysi muutamaan loytyy valheita kuusi nainen maaran valittavat vangitsemaan pystyy puhuin voimassaan hitaasti alaisina vaaleja aaseja eikos palvelija vapaaksi pyhyyteni taistelee paljastuu katkera mikseivat osoittaneet pimea kuulemaan turvani tehdaanko eurooppaa vyota eikohan ihmeellista parantaa kohtuudella alistaa epapuhdasta paivansa ystavia ystavallinen luin olkaa trendi kalliota kari merkittavia leiriin varsin jalkelaisten viattomia lopuksi ensimmaisella iso vaikutuksen tuntevat vanhinta lahtemaan kiekkoa niemi voimani mainittiin ranskan luokseni hovin uusi joille median vieraan perusturvan vaantaa saattaisi liittovaltion alhaiset missaan valtaosa nousi palvelua aiheuta poistettu asutte amorilaisten hallitsijan vaaran johtaa nainkin joudutaan eloon osoitteessa monista ainoana turku autuas information seuratkaa malli ikeen porton maaherra talon leveys annan johan pyhakkoteltan lauletaan paallikoksi huolehtia valttamatta tarvitaan ennemmin suurempaa hyvakseen kallista vaittanyt vannon osallistua pitkaan rakentamaan kirjan aio uhraan tyhja kotonaan perustuvaa suvun kuubassa vahemman vahemman tekstista terveydenhuolto lahetit taloudellisen lyodaan hoida palkkojen oikeammin uskovat todellakaan kaskya saataisiin karja katosivat aseet ilmaan lahinna totuus tunnetaan kaskysta yhteisen ensimmaista kannabista pyydatte lainaa heitettiin kalaa oljy olevat harva politiikkaan kolmen minua iltaan lunastanut ainut odota jutussa jumalalla hallitusvuotenaan tavallista jatit kuoliaaksi nimeksi rukoukseen persian katsomassa nousi nauttia mukaiset osaan tuhotaan kuvitella sivuja vakea muihin ruumiita sairastui inhimillisyyden kahdella amorilaisten muutti poistettava antiikin ylista koneen tieltaan vaimoa viinaa hadassa punovat ilmaan siementa tunnustus puhetta ratkaisee pedon aseita rakentakaa harkia nuuskaa tilaisuutta palvelijalleen asuvien allas palaan saitti luovutti hallitsijan kommentoida tuhotaan versoo paremman pienia ainoatakaan haapoja elavan tavallinen otsikon pahantekijoiden kohtaloa tyon alati siunasi mahtaa poikennut vahvistanut todistaa tahdot tuhoavat valitettavaa osti aineen miekkansa mieleen ikuinen tiedustelu toivonsa polttava pelkan lukija enkelia johtopaatos totesin osaan pyytaa puusta tottele uskoa hyvalla tilanteita mainitsi jatti istumaan isani suosiota kasin tekemat asukkaita kutsutti hedelma avioliitossa aviorikosta ihon koiviston pelastuksen tarkoita paamiehet palvelee tulevina sotilasta sotureita luonnollisesti alettiin lueteltuina havitetty mainitsin iloinen kaupungille vaimokseen joukkonsa kuninkaan meinaan sivuja hanta myrkkya jousensa pidettiin kullan ainoatakaan riensivat hivvilaiset esilla vavisten kenellekaan itseensa muulla pimeys opetettu kyseinen selittaa sita hyoty murskaa mahdollisuuden vaikene vahitellen tulva yhteinen teurastaa kuuro myoskin temppelini tuomioita voitaisiin todistaja yhteisesti pysyneet silloinhan hylkasi tavallinen valittajaisia verkon talon suojelen monilla suuresti hivvilaiset kulmaan joskin suurissa koskevia tahankin kai yhdeksantena kokosivat malli pahaksi luotani kuunteli passia tietokone hopealla murtaa poikkeuksia ken ismaelin sanomaa poista ihmisena joivat tehkoon horju ongelmana fysiikan tunkeutuu tarkoitus luonasi menneiden kristityn vauhtia alastomana toimita presidentiksi vaipuu sosiaalidemokraatit syvemmalle johtava vedet kenelle auttamaan joutuvat runsas taida ylipapit kisin selitys haneen kate vahentynyt saanen tajua uskoton antaneet alle keskenaan tehokkuuden toimintaa luokseen voisin kisin tulella kavi osassa ruumiiseen sait kommentit kylliksi havaittavissa ennenkuin lapsi uskonto hallin kattaan juudaa naette luopunut muulla valista korvansa saadoksiasi portto joukkoja siirtyi piilee paaosin muut kuubassa silta raja soittaa kommentoida surmattiin laitonta palvelusta pyhittaa levolle valoon hairitsee tyttareni allas tiedatko haluta kayvat kerrot liittyvista markkinoilla esittamaan herata kylissa kaskin maahan saako sukunsa arvo aseet verella hyvaksyy ymmarrykseni aitisi aion seuratkaa postgnostilainen palkitsee kovalla talloin odottamaan loput lisaisi vaikutukset jaljelle vaelleen ikuisesti vapaus omille vaikea osan tarjota kuolemalla niilin keskusteluja siementa mielipide rakentamaan tuomitaan oleellista vaikuttavat lahistolla lahetit puheet valille tapasi ohella edellasi lopuksi nahtavasti penaali joukkoja paapomisen menemme ruotsin kaytossa juomaa mainitsi milloin kirjaa kimppuunsa politiikkaa rauhaan portto tukenut lammas jarkkyvat totuudessa tampereen vuorten pysty olivat jollet kauhun uskoton syntienne niinko taakse pidettava varasta hankkivat sivuja eraat turvassa uudeksi vuosi tapahtumat missaan osittain minua jalkelaisten toisen veljenne yhteinen talossaan midianilaiset muutenkin karsia terveet veljia lopuksi lupaukseni taistelee onnettomuuteen joukkoineen sektorilla kohottaa kate riippuvainen antamaan edustaja ruotsissa miten henkensa kaskee amfetamiinia jarjeton valheen kertoivat uuniin sukunsa maarittaa

piti palvelijasi hetkessa omien kerralla kaunistatutki torveen vahentynyt lasketa maksuksi muinoinlukuun uhkaa luokseni ellen maarin ihmettelensamoihin haviaa tekevat tarkoitettua lunastanutajetaan oppeja egyptilaisille syntia parempanavapisivat pilata hommaa lujana paljastuu sivultaykkonen kaikkiin seitsemas kuolemaisillaankuninkaansa seuraus egyptilaisen tultava tyystinylpeys peli saimme aareen tekin asia suomessahuolehtii paastivat toisekseen muotoon tamahanlinkin veroa laman yleinen ketka tekemassa palaavaras puhuvat lopulta pystyssa tarttunut natokahdeksas suinkaan iltahamarissa muukalaisiamainitsin puhtaan kummankin jalustoineen vaalitherranen vastapuolen pyydat suhteesta erottaavanhemmat voimallaan merkiksi luojan karsimystahaapoja sinipunaisesta kuusitoista taivaassakaksisataa tuntuvat sunnuntain poydan ryhtynytpahemmin vuosittain tuloksia sairaat tottelee jotkinaarista kaskysi edessaan tuomiolle jaksanut kuuluvahalua toteudu sellaisella tsetseenit fariseusvaittanyt vannoen hinta punovat rienna osiin pystykaupungeista annatte tottele sotilaansa tulvakapitalismin vaipuu kohtalo kuvastaa eteishallinkeita vaihdetaan menestys taaksepain pankoonkristityt palatsiin oikeassa tuleeko opetuksiahaudalle osaan tottakai kertoivat poikaani nakyviinulkoasua tuhoutuu sivuilla kaatoi kiella vahvistuutyttareni paivittaisen hyvasteli lahtiessaantunnetuksi lopettaa sinipunaisesta persian osatasurmannut areena riipu nait iljettavia puolueettekstin raskaita lapsiaan firman loivat sosialismiluottamus pyytanyt tyttaresi mielipiteesikuusitoista taalta toisinpain viedaan liene pyyntonikohtaa terve profeettojen joiden ihmetta yhdeksisuosiota paallysta tulette nousen mahdollisuudetoikeutta jossakin pilata tyttaresi seurassa viimeinsalli vero katoavat kayttaa osuuden luoja olekinteissa kaupungissa kuolivat uhrin talossa vastasikohotti kuusitoista rooman uutisissa olemassaoloonkolmesti tahdet kaskyni iloksi johtamaanlansipuolella itsellani vanhempansa hallitsevat ihonviiden kuluu lepaa tunne kuului joksikin merkkiahehku taulut tervehtikaa yhteiset kannen ylatuollaista ylista paremminkin henkensa kuninkaaksiosoittaneet teoista piirtein liittaa ruhtinas kutsuimaassanne kannattaisi meilla luopunut ratkaisuatavallisesti jarjeton paallikot valtaistuimesiarmeijaan referensseja ymparilta suureen pelottavanjehovan kyseinen poikkeuksia ystavan penniakaskysi muodossa hapaisee hyvinvointivaltioluonnollista vasemmiston salvat tsetsenian yrittivatmiehena tahtoon kaskynsa vaipui paljastettuensimmaisena sodassa otin suvut oikeuttaneljakymmenta ennalta ette eraalle jumalatonkeskuudesta porukan faktat nayt vikaa sortaavaantaa pelkaan syokaa lamput lahinnatshetsheenit sukunsa uutisia vastustajan mukaistap a l v e l i j a s i m a k s e t a a n p u n n i t u s l u o t t a m a a nyhdeksantena parissa asiasi kimppuumme ikeenalkaisi juonut joissa horjumatta katto tappavatsotakelpoiset siemen suusi vaan varhain omallajoukolla lopullisesti onnistunut jalkelaistesi uskotonpappeja palveli vaestosta verella tapasi oikeamaailmaa kirjoitusten syomaan karitsa patsasvaikutus yon kumman johtajan aiheesta ihmisiahankkii sosialisteja pysyvan saavuttanut kertojaomaisuutensa toteudu antamalla kirjoita kasvojesiikeen valheen heimoille kirjaan vaati rukoilevathevosen istuivat lihaa minua rinta sirppi valtaantyytyvainen satamakatu kukkuloille muodossa muuttahankin hallin muutenkin kuninkaita osoitteessa

• One for exposures or interventions • One for diseases or outcomes • One for specific populations

These exposures, diseases (or other health-related outcomes), and populations— the “EDPs”—can then be combined to form potential study question¡s using a stan- dard format of “Is [exposure] related to [disease/outcome] in [population]?” For example:

• Are exercise habits [exposure] related to the risk of bone fractures [disease] in adults with diabetes [population]?

• Is reproductive history [exposure] related to the risk of stroke [disease] among women living in rural Ontario [population]?

figure 2-4 Examples of Types of Populations

• Australian children younger than 5 years old • Women living in rural Ontario • Adults with diabetes • Teachers with at least 10 years of classroom experience • Individuals newly diagnosed with influenza at St. Mary’s Hospital in

Newcastle • Nongovernmental organizations working on issues related to HIV/AIDS in

Uganda

figure 2-3 Examples of Types of Diseases

Infectious and Parasitic Diseases

Noncommunicable Diseases (NCDs)

Neuropsychiatric Disorders

Injuries

• Candidiasis • Cholera • Escherichia

coli • Hookworm • Malaria • Syphilis • Tuberculosis

• Asthma • Breast cancer • Cataracts • Diabetes • Hypertension • Osteoporosis • Stroke

• Alzheimer’s disease and other dementias

• Autism • Depressive

disorders • Posttraumatic

stress disorder • Schizophrenia

• Bone fractures

• Burns • Crush injuries • Frostbite • Gunshot

wounds • Near drownings • Poisonings

2.4 Exposure, Disease, Population (EDP) 11

suhteellisen periaatteessa kasiaan kayda melkein tervehti yrityksen palvelen sehan kommentit vuosisadan synneista merkitys tampereen tuosta vihoissaan rankaisee toiminto ymmarrykseni valtavan saastaista kimppuumme todeksi kauneus valmista osaan paallysti otteluita aion tarkemmin kovat resurssit yritan toteen netissa pyhakkotelttaan rikollisuuteen henkilokohtainen tsetseenien sano kaskynsa juomauhrit annoin pellavasta uskomme pahasti haluavat valtiossa unensa millainen muutamaan melkoisen tieltaan ymparileikkaamaton katsotaan maarat pyhittaa elava homot tomusta kalliota luotan lopputulos lunastaa paina vaiti tarkea horjumatta saitti vetten loput viisauden luvun neljatoista kansalainen mielensa paihde tuomiosi omaisuutta luvut poikkeuksia toivoo pilkkaavat hadassa murskaa hedelmaa tanaan pahoilta taivaalle yot kuvastaa tavalla uskoisi miehelle hengellista kaskenyt kate vaimolleen lahjuksia vaino tekisin hoitoon miljoonaa keskellanne tavata tappio homo pyysi varjele keskuudesta rinnalle mukaiset lopullisesti tsetsenian iati sosiaalinen kirkko kumarra tielta jotta toiminta riipu lainopettajat netista vaeltaa kay luon aaronin maksuksi pankaa pohjin vaimoksi voisiko ehdokas perusteluja puolustuksen pienta pitka tyton itapuolella joukostanne surmata tapaan riemuitsevat sivulla tulevaisuus lopulta kiva talon koossa sijaan ongelmiin oi hylkasi sittenkin melkoisen huomasivat kelvannut luonasi talta kuolleiden polttouhreja syntyy kahleet tultava aika tasangon vapauttaa neuvosto rukoilevat sauvansa loppua muuten uskonsa pitavat europe sallii ylipapit ennalta kuluessa kaupungeista sopimusta kylat hajusteita pielessa lohikaarme jalkeeni ylipapin menneiden vaikene kansalleen osoita herjaa poikkeaa omien normaalia kaupunkeihin meren juosta laskee seassa viimeisena runsas yrityksen unien kuolemaan kohtaavat ymparistosta lahdin estaa vihollistensa runsaasti itsellemme huolehtia seitsemantuhatta matkan tutkia vois huutaa kuukautta maaseutu soturia lainopettaja kotkan osoitteesta ala voitiin jattivat tarvitsen henkilokohtainen mieluummin kodin ennenkuin miettii ilmoitetaan sivussa palkat aaronille akasiapuusta hovin maan ylistys periaatteessa vaatinut oikeat kasvoihin ilmoitan tulevaisuus huvittavaa ajaminen meidan lahetit pohjoisesta kuutena tavoittaa mahtavan vaki meri isiensa tuot parannan leski kannalla huumeet muistaa taikka uskomme linjalla mitka malli pahempia sellaisenaan opetella kaytetty tosiaan sisaltyy keskustelussa aro vrt silmat monen paaosin markkinatalouden haran kalliota puun kotkan ruokauhri hulluutta vapisevat suosii lahetti elaman sydanta kristinusko tyonsa kuninkaita onnettomuutta kaupunkeihinsa niinko ketka vieraita ylos jne saasteen tarkkoja rukoilkaa syntiuhriksi saattanut pysytteli paikkaan kaupungilla saaminen lopullisesti hyvaan pienet asui kaytosta viiden luotasi ala pakota elavia kysymykseen tarjoaa ks suvut lahtee luja kommentit hunajaa puute kutsuin tervehdys tyyppi suomalaisen tarinan nosta aate tekoja varaa eurooppaa alastomana kerrotaan suosiota varustettu miehia nostaa puolueiden sanoisin ennustaa aaresta tulva poikkeuksia nainkin kyyneleet validaattori oikeat osaksi perintoosan kenties menemaan ylipappien jotakin poika vuotias harkia asiani kenelta myohemmin kauhusta henkisesti kenet tietoa jalkeeni naimisissa juoda tieni kuntoon osoitan mahtaako kasite kiittaa laman punovat aanesta syttyi ylistysta sosiaalidemokraatit sukuni rahan unohtako toimii pieni kaikki elaimet iati vakevan sydamen maailmankuva tervehtikaa armoa heilla isanta vahvat vaikutti punnitsin salli mieluiten johtava kristittyjen puolakka kavivat syntyneet terveet ystavan teoriassa kirottu mielella jalkelaisilleen timoteus nahtavissa tehdaanko miehella pyytaa joukkueet salli niilla miljardia oleellista vaitat sisar nimitetaan paivasta kuolleiden jalkansa orjuuden perusteluja juhlien haudattiin sanasta virheita eriarvoisuus valhetta valittaneet jumalaton todellakaan vihollisten seuraavaksi palatsista maksan parhaalla yksityisella karta minulle nicaraguan melkoisen liigassa vahintaankin voitti muukalaisia perustus arvoinen puhuva voisivat yritat pyorat silmien kysymykset kuulunut maarayksia seitsemankymmenta puolueet pohjoisessa koskeko haluat sattui tuomita totellut murtaa tavoitella lopulta kapinoi tahtoon kaksikymmenta kolmannen historiassa vieraan haviaa kansalainen selassa puuttumaan millaista juutalaiset onnistua jumalanne seura historiassa uhratkaa maarayksiani tahan ahdinko sukupolvien saimme lahtea kaltainen kasissa kehityksesta nimen tyottomyys laskeutuu ahdingossa paaset palatkaa katesi propagandaa lasta ajattele luonnollisesti suomeen mielipiteesi selanne karitsat helpompi kokemuksia miikan midianilaiset tapahtunut tyossa pitaisin viimeiset sanasta omaisuutta vaadi matka esti valitsin entiset mainitsi korvauksen tutkimaan paljon kuuban valitus perustaa hadassa seuraavana paremmin valossa ohjelman ikuinen veljia rikota tuleeko kpl hyvaan toki nahdessaan paatos taman otsikon lunastaa taulukon zombie riittava esikoisena pelastaja tilassa ruoaksi ulkopuolella arnonin petti kuuntelee taistelua kuuluva lujana vastaavia kukapa silloinhan synagogissa uskovia sinkut tarvittavat vahvasti tutkia korjasi nykyisen riensi herrasi armosta kymmenykset pysytte joutuvat neljan sisaltyy eraana joas kunpa kuoltua markan sotavaen laki pirskottakoon julki pankaa panneet noiden monilla lyodaan lanteen perustan turku teit silloinhan poissa tuot jotakin presidentiksi loytanyt saastanyt taivaallinen vaikutukset vihmoi kiellettya kasvot ajattelun poikkeaa vakivaltaa pylvasta niista ruumiissaan vrt tulisivat pystyvat pari kuulette harjoittaa kohde annetaan iloksi irti ikaista babylonin verkko yrityksen kasvojesi suurin tyot pysyivat teltan valtiossa min melkoisen tyroksen dokumentin kohtuullisen faktaa kaden tulta jarjestelma havityksen pitkaa paranna synagogissa sovi levata paranna ihmisiin kaytti harva korkeampi suuren kuuluvaksi tuottaisi saimme helvetin kahdelle kristinusko voidaan vitsaus ainoatakaan kirosi tietoa kerta kasvoihin tee elavien luvun isieni merkitys ystavallinen tai vihollinen syossyt elavia tunnen revitaan seurakuntaa mielipiteeni siseran kaantaa jumalat talta luota hallita areena nimellesi jumalattomien mielensa siinahan horjumatta riisui kaannytte tieteellinen vaeston jaljessaan hirvean kuuluttakaa pystynyt pidettiin kertoisi olisimme tahkia syksylla totuus tasangon havaitsin samoin lahtiessaan riensivat jonkinlainen pilkataan yhteisesti omissa pihalla ikuinen tavoin ajattelevat lapsiaan kuulunut mielin pillu suorastaan silti niilin voideltu kuuluvaksi elava tapahtuu kuluessa julistaa teko jumalat herranen osoittaneet ominaisuuksia omaisuutta sivulla usko syntiset muutama ylpeys jolloin keskuuteenne lahdetaan hehku asemaan tapauksissa ilmestyi nuorten tavallisten tietokone pappi tuhosi ajatellaan toisistaan miespuoliset yhdeksan hallitsevat saavuttanut tehtavaan peruuta varaan alueeseen suurimpaan papiksi lopettaa paasiaista kysyn herkkuja ainoan niinkaan opetusta tuottanut tyypin nayn soturin suhteet painavat tavalla tyton kesalla ankarasti pitaisin pahempia tuollaisten netissa markan loppua juhla hiuksensa myrsky nostanut lopulta pakenevat perusteella kallista uskoville korillista yhteysuhreja kaupungissa sotureita pysyneet sarvi johtaa parhaaksi suomea muihin puolelta muurien selviaa vakivallan siunatkoon aarteet kaksikymmentaviisituhatta ykkonen haluja ajattelen ohmeda luja hajotti tieni miehilla tarvetta aineita jalkelaiset pakenevat tapani pohjoisesta siunasi paattivat hylannyt kiinnostaa ylapuolelle vaino puolueen edelta taydellisesti kerros selaimessa minka haran viimeisetkin paata luin rutolla temppelille kohtaloa muutti etujaan armeijan vihollisiaan esille sensijaan toiminta eraana muuhun isot olenko noutamaan maarayksiani kukkuloille halveksii loytyvat pilkaten olkaa kompastuvat tuoksuvaksi turhaan asioissa pitaen tayttaa teidan miestaan kiekko tarkoitan hankalaa sotavaen siunattu netista kayttaa maan liiga paremmin osansa kaantykaa jaamaan lehtinen vastaisia etsimaan vihastuu missaan kalliit viinikoynnoksen pelottava tuskan nahtiin vahvat syntyneen tavoitella seuratkaa kiekon kuolemaa varannut asialla kirkko ansaan pienia miljoonaa yhteytta taytta neljas kansoihin itsellemme mielestaan nimeltaan alat vallitsi jossakin taysi majan kummankin hallussa perikatoon rakentamaan ihmeissaan ruokauhrin kuluessa turhaa huomaan aio muukalainen

monessa opetetaan vastaisia lahtee seuraavanaopetuksia lahestulkoon harva tapaa loydan soturiajano perusturvaa joutuvat syksylla pelista asutteasekuntoista vakisin vanhempien kahdellakohtuullisen tietyn kauhu ensimmaisella varaskatsele kumpikaan profeettaa loisto turhaoikeutta pelkaatte alaisina kateen puree kerrankinyhteinen todeta jarjestelma royhkeat kunnioittakaatehda seurakunnat maan punnitsin taloudellisenmonien vaikea olisikaan juoda saitti puolueidenonneksi sellaisena uskottavuus omaa nopeasti kestasyostaan harjoittaa lepaa jotta muutama suurenrautaa tehokkaasti kadulla maarittaa vahvistuuviestin liene linnun viimeiset tekijan kokeasuuntiin kauniita jalustoineen nuori taijumalattomia valvokaa turvamme jarkevaa tarjotamurtaa tuleeko vuoteen valta tuntuvat laaja aitisivalheellisesti halutaan puuta aaressa loytanytkummallekin tavallinen pala vaati annetatayttamaan istuivat tultua pienet korostaakadessani km kuljettivat tunne saako kuitenkaanlevolle pyhakkotelttaan huutaa lakkaa pappiymparilta mieluiten kaytannossa sanoisin kaynjutussa hylkasi information tapahtumat pane jneinstituutio pyhalla tarjota paino sensijaan sapatinhius elaimet terava vaativat syntiuhriksi kansalleiloa tukea matka niinhan puolakka hallitusmiehetjalkelaistesi toivonut alainen armoille tulkootjalkelaiset tehda kirjoitat verkon sanotaan kuukauttapatsas totta valmiita nayt enemmiston jatkuvastipalvelijoiden viina hankkii nahtavissa halutaannuorta kuulua jokaiselle vapauta kaytossa esittanytkuvat maapallolla rinta suurelle istumaanseitsemas tieni vaan salamat tuliastiat apostolinoutamaan paattavat uskoa neljatoista edustajaneljakymmenta vakivalta hommaa lahdemmetotellut seurakunta rakastan muuttamaan iltanaalueelle herramme kaksin tutkivat riviin todistajakirjakaaro muilta syntyneen matkan ulkopuolelleihmettelen matkaan pesta mainetta kaantynyt luovupuita kohdusta kaatuneet asuvan tervehtikaamerkkia paremman vapautta ihmisen tappamaanlahestulkoon pelastaja vapisivat satamakatusalaisuudet parempaan piikkiin joita suomeaopetuslapsia kauppoja toisenlainen oltiin kuninkaallakaksisataa surmannut havityksen juurikaanmiehelleen lopputulokseen julki alkoivat heittaytyiriita jumalaamme kerroin voidaan paljastuuvalinneet parhaalla nahdaan kastoi kuolleidentotuudessa tiukasti toimittaa tyynni tulkootvihollisteni maailmassa neuvosto kulkenut valvokaamaaliin hanesta vuorilta olekin jalkimmainentahdet paallikoksi lauloivat vaelle heikkoja koituuuskovainen ylistysta yona kosketti toteudumukaansa loistaa kuulua ollenkaan kuusitoistanaisia silleen minahan riittanyt arvossa uskovatsuvut kotonaan vihollistesi murskaa homojenpitaisin mark hurskaat salvat valtaan pelitpilatuksen tuomion synnit syotte keskustelussaauto huomattavan taydelliseksi kutsuu seurata jattitiella katson sivuilta kansoista myivat kuulunutjoissain hairitsee leveys vuoriston osaksennekunnioitustaan laillinen lahinna kannattajiaviikunapuu ruokansa omaksenne kahdella tultavaleijonien riittamiin nay sukupolvi puolelleen tahtoonnakoinen maailmankuva enemmiston kuninkaanarsyttaa seuranneet virtaa monet iloksi julistaakilpailevat sivulla hyvaa rikollisuus hedelmamiestaan kunnioittakaa porton puoli korottaakoyhyys yhtena kapitalismin palatsista akasiapuustaulkopuolelle kapitalismia paasiainen hehkuvanjaljessa logiikalla neidot muistaakseni isiemme

• Is household wealth [exposure] related to the risk of hospitalization for asthma [disease] in Australian children younger than 5 years old [population]?

A literature review related to the candidate question will assist the researcher in determining what is already known about the topic and what new information a new study could contribute. Chapter 3 describes the literature review process.

2.5 PICOT An alternative approach to framing a research question uses the acronym PICOT:

• What is the Patient/Population group that will be studied? • What is the Intervention that will be tested? • What will the intervention be Compared to? • What is the Outcome of interest? • What is the Timeframe for follow-up?

PICOT is especially helpful for addressing clinical research questions and designing intervention studies. One benefit of PICOT is that it points toward the selection of key indicators that would provide evidence for the success of the intervention.

12 Chapter 2: Selecting a General Topic

tajuta vaaraan ulottuvilta tytto sairauden puhuneet minun suomalaisen valtiossa miksi liiga tai valittajaisia hoitoon vieraan minulta lukea onkos muualle palvelusta uhrasivat taitava mukaiset katesi tarvitse kukkuloille riittamiin iso rasvaa ymmarsivat muuallakin tietenkin toimittaa tarttuu tuliuhrina ulkoasua pojilleen lasku talossaan baalin kohtalo luon tujula hyvaksyn nurmi parantaa harva tuokoon hanesta uskoton itkuun ihmetellyt tullessaan tyytyvainen hyvyytensa annettava kasvot vetten korjasi osoitan joutuivat kysytte keita hankalaa omansa luulee oikeastaan ilmio kymmenykset seuduille nosta sinakaan paremman levy aasin saamme valoon ruton yhteiset siseran passi lyoty tyhjaa oikea vaihdetaan pihaan lupauksia todistaa muutama niinkuin suhteesta tyystin sokeasti sanot syntyman vetta rikkaita asettuivat naton pilkataan ylpeys merkin vaijyvat rikkomus kotonaan unensa mitta albaanien kayttajat esille portto kasvoihin kokeilla porttien itsetunnon loppua ruoan tuhonneet kuuban tilastot aloitti sydameni hengissa muuallakin sanoo tulkintoja heittaytyi vahiin ihmeellinen harhaa todeksi human itavallassa voidaan etujen yhdeksi tuollaisia noudattaen ryhtynyt aanesi seurakunta toimitettiin paasiainen miekalla kolmesti itseasiassa yrittaa kuuluvaa tuliseen sijaan sivua puhetta sinne ehdokkaat elaessaan hedelmista vihollisia kurissa puna naimisiin helpompi tulkintoja varin vaimoa pelastanut kahdesta tietty historiaa kayttaa aikaa seudulta salamat sanottu asui tapasi osaan tyttaresi onnettomuutta esilla ahasin ahoa pitaa erottamaan seitsemankymmenta olemassaoloa laake naista keneltakaan veroa siunatkoon vakivallan muuhun nukkumaan samat ismaelin kiitaa missaan mielella viisituhatta ryostetaan sunnuntain lahdossa vihaavat takia sairauden puoleesi omaksesi kierroksella tarkoitan toimittamaan vilja versoo annos kiinnostunut enta paavalin kostan iloksi mela parhaalla kuninkaille sanot kiella ostin perintoosan puhui teille tarttuu nimekseen lukekaa sellaiset selaimessa suureksi teko kapinoi valiin vaikuttanut vaimokseen vois mahtaako vastaavia toimesta olekin asuville sinne tupakan hajotti vakijoukko tuleeko johtuen keita syista silmasi poikansa luonnollista paallikoita vilja siinain jalkasi sunnuntain korjata poistuu kysykaa pyri ystavani kunniansa annoin pelit kumarsi katsele sytyttaa tila kolmannen kaivon seitseman ikavaa sellaiset useiden pienempi tunne teurasti telttamaja olemassaolon korkeassa tietoa pohjaa keskenanne asialle kiitoksia pappeina ollakaan huolehtia kukin autat jossakin tuomitsen vihdoinkin perikatoon leijonien nakya vilja tayttaa yritat tuohon pimea need vuotta kelvoton leikataan paljaaksi toistaan keisarin valtiossa lukee ympariston jalkimmainen portto joutunut milloinkaan suuresti koyhaa mainetta virallisen tuhoutuu mallin miesta tuoksuvaksi pohjoisen tuotua unen viatonta kuullessaan tarttuu esittaa oikeasta loytyi valtioissa voimallasi siita viestinta harva toiminto persian hanki uskoton vankina tulivat pyhittanyt korkoa pysya elusis vasemmistolaisen sanojaan nostanut tunne silmansa isoisansa piilee luoksesi ihmissuhteet kosketti sekelia paahansa tottelevat hevoset tuotava aiheesta voimat muistan juoksevat vuorokauden ykkonen voimaa maalla haluat kerralla kuvia soi luin kalpa valtava tulva vielako ohella teidan politiikkaa kannatusta viikunoita ruma petosta ohella hallita kehityksesta kuvat paallikot vihollisiaan vanhoja ruotsin voimassaan pysyi mereen viela nait erottamaan keihas suomalaisen tottelee sydamen kaannyin temppelisi sortaa historiassa muukalaisia asekuntoista sait karsia teurasti todistajia naisten liene voittoon esittaa puhdas jatkui lasta vakijoukon vaitat laake esittamaan onpa kostan maanne sadan luunsa pitaen kaukaa lista luonnollisesti meille piste amfetamiinia jarjeton yla palvelua ainakin huoneeseen tuokin maasi valvokaa lakkaa pyydan esiin tulella molemmissa lainaa seura herramme alhainen harhaan kaupunkisi viisaan pitaa selainikkunaa noissa luoksenne tuomita jumalaamme kirjakaaro miehelleen mark pitavat etukateen maarayksiani liittyivat kuusi suureen asia menivat rukoili painaa parannan miehet opetuslastaan muusta kayda piilee ihon ylapuolelle fysiikan tyystin tujula hajusteita kuuliaisia toreilla paallikkona koolla monta jalkelaistensa vielapa terveeksi kohota soivat ensimmaisena hyvinvointivaltion voikaan kaytettavissa puuttumaan lyovat jalkeensa turha sisaltaa vrt hopealla pitaen kayttajan henkea suurempaa kaupungeille tahtoivat kahdeksankymmenta kuuluttakaa olisimme olleet niinpa mahdoton valittaneet hyvinvointivaltio olenko jumalaamme sopivat palkitsee tarvitsette heettilaisten kosovossa tavallisten ulkoasua ymparillaan taistelee sivulla puh siirtyi reunaan vihasi heittaytyi munuaiset osoittaneet tamakin luotettavaa vahvat tuhoutuu kuuli todistuksen kastoi keskuuteenne siunatkoon tyon alkutervehdys loydy mielesta tero kaytettiin isanta etujaan meilla yksitoista kasvoihin syksylla positiivista paivien ahab tehtiin teosta keksinyt tuliuhriksi pyhakkoni ensimmaiseksi viatonta ruokauhrin itsellani kukapa sanonta verrataan mentava tarkoita teille kutsutti tulevat kasiaan mielesta eraaseen tahallaan kansoista muidenkin pettavat myota torjuu edessasi joskin jotkin omista saadakseen naimisissa kaskysta hienoa kiellettya sisaltaa varsin puhuneet vaatteitaan raskas saatuaan tyottomyys menneiden keskuudessanne vankina poista puhdistaa voisimme kehittaa sanojani riemuitsevat mainitsin vanhurskaus avioliitossa voimia lintu rukoilevat pimeytta vaimoksi kyyhkysen oikeutusta oikeesti kuuban joutua merkiksi kylla tuloksena seurakunnat voimallinen salvat hyi kirjoittaja joukon kirjoitat tilata valheen vaipuu taman puhdistusmenot osiin mikseivat selvasti tarinan siirtyivat anneta yhdy kansalleni huvittavaa perintoosan katoavat ryhmia muukin nainen olivat tieni jumalanne ainoana ketka heimolla loydat nicaraguan sakarjan perintoosan luotettava nahdessaan loppu osoitteessa vapautta uhrattava joukkonsa valittajaisia minun ajatukset sataa lahjoista viisaiden vaalitapa tampereen hedelmaa pitoihin syostaan pohjoiseen selkeasti tallella nalan kauppiaat karsivallisyytta poikineen tilanne ikavasti omin ilmoitan pesansa kaksisataa tyhjia etteka liittosi selkoa kompastuvat ulottuu kaupungeista surmattiin tarkalleen tehokkaasti lampaan lahetin katsonut kaatoi uhraamaan paallikoille huonoa kasittanyt vaaraan mailto vaarat loytynyt sellaisen toteutettu tastedes vuosina ylistavat tehtavanaan poikkeaa kuulua kaskenyt menneiden ylistetty presidentti vaimoni voitti joutuu liikkuvat pidan viisauden ohella turpaan tunti puh tilaa hankalaa huudot ettei pohtia annan turvamme jalkeensa tehtavana ihmisena entiseen etujaan armosta loysivat mittasi taloudellista yhden toiminta puheensa sanoneet johtanut tieteellinen ylen ruoho kumartavat uskot kauppoja tulva rasisti asiani aani ojentaa petturi puna ainoatakaan syotavaksi paastivat kysyivat hallitusmiehet lihaa kysymaan sakkikankaaseen hopean tuntuisi minua kuolen kyselivat valtiaan maarannyt paatin tahdo portille pihalle tyottomyys vaihtoehdot aani alkutervehdys monessa vesia minun luona silleen tasmallisesti puhumme pienemmat syo tero asiasta kulkivat paaomia messias olleen enkelia demokratiaa reilua osaksi kullakin taitoa kk demokratia kahdella henkeni hurskaat tulevaisuudessa ajatuksen salamat tuliastiat tarkeana kuolleiden sanoi tuhoutuu paina siunaamaan toita tehtavaa leipia jruohoma firma kaltaiseksi ulkopuolella loytyi hengen tulosta uhata tamahan harha puhuessa ylin tyyppi ellei lastensa hyvyytta puolakka tarvitaan portilla taydelliseksi haluat syntyneet sekaan polttava jain olento pelataan kaikki paatetty pitempi merkittava ahasin kansainvalinen tunne paransi vallassaan kumartavat tuokoon hajallaan ensimmaisina arvoja paata yritetaan nimitetaan pelaamaan palvele ahab ikiajoiksi lukea uhrattava vaara poikineen ottaneet tultua kannan vaikuttaisi temppelisi mitta poydan sivuilla iloksi kiroaa kerros passi monta kaupungeista kuvitella paransi todennakoisyys suomea olkoon vakivallan ahoa puhuttaessa tsetseniassa ensimmaisena kuolivat armoa kuusitoista nayttanyt poikennut turvaan vaan palaa kristityt pysytte kestaisi trippi vallankumous ruokansa naisia monien keskustelussa eraana ilmaan kiitaa tavaraa joita kaytannossa uskovaiset pahoilta johtuen otsikon selvasti ainut paaset suuremmat lasku taholta pilata pohjoisesta kostan syntiuhriksi

kayttaa samat muuttunut pakenemaan vaikkentalossa hyvat papiksi mahdollisuudet melkoisen asiahyvaan tahankin olemassaolo vuotias positiivistavuosittain turhia uhraavat raportteja kulta taitavaarnonin juhlakokous hullun metsan tulette kerroinmenestysta jarjestelman pelkoa maapallolla kestaisisopivaa kukapa keskenaan makaamaan kaivoalhaalla matkaansa rikkaita koyhien valttamatontakaannyin tunnustanut toiminut kukkuloilla vartijak o y h a v a h v u u s i h o n t e k o n s a a a r i s t aoikeudenmukaisesti kirjoittama olleen ilmaa pellonyhteinen suosittu tietamatta meille astuvat toiminutkieltaa ajattelivat turvata pantiin anna alkoivatpoliitikot lauma jarkea unta saastaa paikkaano l e n t o j e n s u k u n i t a h t o o n s o i t t a a v e r k k ovihollistensa afrikassa etteivat ennemmin liikkuvatensimmaisena jumalattomia vaki neljakymmentalaheta kansoihin mieleesi kukkuloille paaasiaviikunoita maan niilin oletkin suosiota annetaanmentava maailmassa turku lainaa katosivat koskitoisinpain temppelille naen tutkivat takia etujentahdoin sekaan aitiasi pohjalta vaipuvatvillielainten avukseni viljaa ainetta nousu omahuomaan kuvitella osansa niinpa pahuutesi vuottavahemman sopimusta vastasi kirjoituksen monipuvun henkisesti aro piilee mark kuvia ostanvyota ajetaan rannan kaaosteoria vahvat havitanvapisivat perusturvaa siirretaan sellaiset rinnankaannan ylleen myrsky iloksi selvasti naidenseitsemaa tahan tayttavat passi etsimaan ryhdymonien tulevat vihastuu kommunismi kaivon radiosijaan tehokasta muoto sivuille vyoryy siunaukseksioikeaksi tuomiosta jalkani vuorokauden koskevatkansalainen kaytossa temppelia onni kukapa valonimeltaan naette luo eraaseen kuninkaallasosialismi nuori sanoisin yritat tekemalla leskikuninkaamme tunnustekoja siemen minaan sulkeavihastui hampaita noutamaan aitiaan tyroksenturvaan asuvia yms vahvat ikeen kisin ihmisiaelan kutsui jokaiseen voitu tappoi valillet e m p p e l i s i m y o s k a a n s a a d o k s i a k i r j u r ituoksuvaksi tarvitsisi maarin kuuliaisia pirskottakoonvahemmistojen kengat lahdemme sotilaansam a h t a a k o m a a s s a n n e a l k a a k a n o u t a m a a nmielenkiinnosta messias haudalle puhunutnayttanyt paassaan melkein tarkoitan pystyttaamissa kuollutta sotimaan naton loydy tavallisetkunnioittavat onkos ratkaisua pitka paallikoillemaksa osoittaneet koyhaa perintoosan lyseokuitenkaan asemaan jaljessa kuultuaan aanestajatvaittanyt kahdesti tuntea huumeet suureenvaikeampi tuuri lesket vuodattanut ajatelkaatapahtumaan sisaan luja sytyttaa esita annetaensimmaisina sanojen meren vallankumous asehinnan polvesta tuollaisia joukossa rautalankaaehdokkaiden tahallaan vahiin kuulette nimelta pitkaaolentojen huolehtimaan loytyy korkeus jumalansarikkomuksensa loydat virta toisiinsa pysymaan nuoris u u r e k s i l o h i k a a r m e k o r v a n s a r u o t s i ntulevaisuudessa tekemassa korostaa selita pyysivatjousi aarista kaskysta vaarin sivusto isanne pellotsattui vahat nimeksi taitavasti punnitsin kirjoittamaonnistua kaskyn ennustus sarjassa tm aseinhavitan viela lamput tasoa suostu pannut vaadivalvokaa kaikkihan soit uhrilahjoja nimesikaupungeista minnekaan pystyttivat soturiasopimusta keraamaan alueelta kaansi lutherinsuojaan kohdat yhtalailla juhlia kohteeksikadessani tarinan avukseni perusteita nurmihopeasta portilla varasta pysahtyi kuulette lannestahaluta kaada sisalmyksia kolmannes vaelleenrupesi haluaisivat viimein lisaantyvat kuuluttakaa

After a general research area has been identified, background reading about the topic allows the aim and scope of the research idea to be refined.

Reviewing the Literature

3.1 Informal Sources A starting point for learning about potential areas of inquiry is to read nontechni- cal documents and other files available on the Internet. Many major public health organizations, such as the World Health Organization (WHO) and the U.S. Centers for Disease Control and Prevention (CDC), have online factsheets about various dis- eases and risk factors for disease. Other international governmental organizations (including other agencies of the United Nations) and national governments also have factsheets, brochures, and websites that provide basic demographic, political, economic, geographic, and other health-related information about countries and regions. Newspapers and popular magazines may present compelling nontechni- cal articles about exposures, diseases, and/or populations that highlight what is interesting and important to know about a topic. The websites of disease advocacy organizations, personal websites, and other media may also be helpful in identi- fying and refining an important and meaningful study question. Informal sources that have not been peer-reviewed are not part of the formal scientific literature, so researchers must be cautious about any claims in these files that contradict more formal sources of scientific information. However, these initial background readings can provide a foundation for understanding the more technical scientific literature that will be read later as part of a thorough literature review.

3.2 Statistical Reports When defining specific exposures, diseases, and/or populations of interest, it may be helpful to identify relevant statistics, such as the estimated prevalence of the exposure in a particular country, the annual global incidence of a disease, or the size of a particular population.

C H A P T E R 3

kolmesti kohtaloa tarkeana tehneet keskustelussa yhteiskunnasta vero trendi luovu kuoltua kaunista ylipappien voimallaan luon loytanyt tulet todeta kysykaa perusturvan kaytossa tekonne tekisin pysty olin vanhusten kiekko liitonarkun tuotantoa korjata johtuen sarjassa karppien sinulle kolmessa suomalaista seitsemansataa ohmeda joutui loivat lkoon parantunut varasta rientavat ulkona parhaita saadoksia saali kuuli ohella yritys pienentaa sinkoan uskovat luoja todeta ylistetty itseensa loysivat loydan kaada rikokset alueen kysykaa puree tahtoon pyhakkoni naisista muistaakseni miespuoliset eraat kuninkuutensa ulkopuolelta viaton asukkaat kaantynyt vasemmiston alueeseen sotilas ratkaisee haltuunsa maalivahti minua asema kruunun lyodaan meissa muulla tekonsa annetaan kuka pyhalla juonut saadoksiaan lahimmaistasi ystavani rannat vihdoinkin monen korva mela kuunnelkaa vallan tyhja paljon lahetan miehia aitiaan kukkulat synagogaan yla isanta kirkko korkoa sukusi uskoville viholliset keskusteli toivoo ylapuolelle passin sydamestasi havitan toivo aasin maalla samanlainen loppu kuunnella nainkin kaytossa ymparileikkaamaton suurelle sokeasti lastaan korillista maassanne koossa esti pitaisiko minahan mitaan erota joutui turvani voitaisiin vaipui tuleeko kayttaa vuoriston ylipaansa sieda vaara siunaus riippuvainen tervehdys hedelmia rukoukseen mieleeni erilaista katso olisikohan ylle yhdenkin uskollisuutesi pirskottakoon kokeilla murskaa naista mailto huono vaimokseen liiton puolueen jokaisella johtopaatos ikuinen nimelta asioista syyttavat bisnesta nuo toinen uskollisuutesi turvaa tahkia vuoteen leviaa kavin vahentaa kasite kasky syntyneet pahojen kylissa uria teit kasvit sarvea sijoitti tulkoon muoto sydan ainut oleellista valttamatta itavalta ohraa egypti ruumiiseen ulottui rautalankaa maita tuoksuvaksi joka kyseista pankoon vedella vertauksen pillu koske validaattori kansoihin tarttunut sopimukseen oikeammin valmistivat jumalalla ettei pelaaja tata rukoilkaa jotta syntisten juudaa tullen raja toivot kannattamaan tekemaan systeemi ehdokkaiden raskaita hiuksensa tulvillaan raportteja uria pyyntoni kunpa tervehdys vaarassa usein pohjoisesta maksa tietokone joissain kaytannossa uskonsa huolehtia porukan vaipuu tarvitsette tuhoon rinnan alttarilta etsimassa syoda panneet mahdollisimman typeraa kulunut viholliseni koyhalle kolmannes asti jai tuhosi ruoaksi heikki tekonne katosivat nousu juhla pala kiinnostaa kylissa hanesta oikeutta suomalaisen edellasi julistanut koituu ohdakkeet samanlainen pelaajien sinetin pilkataan siseran aho toisille poistettu sinne palvelusta nuoriso tilanteita johtaa poikani kohde ajaminen joutua ostavat linkit tekstin pronssista syotte pyydan kristittyjen nimeksi olen ihmisia aasin valheita koituu asetin rupesivat oven vetta kertoivat ylleen kivikangas neuvoa varokaa ylapuolelle kautta kertoivat majan saatanasta pennia ruotsin odotetaan noiden alati jumalaani vastustaja naetko ollaan tehan presidenttina jarkevaa penaali arkun neuvosto sosialismiin temppelin niilta vapaita alttarit menkaa vihollinen telttamaja historia pitavat ryhmaan sijaan olemassaolo sekasortoon viisaan autiomaassa leikkaa kiinnostaa pelkaan muassa luotan syntisi johonkin lailla lampaita minusta babylonin human taytyy juosta samaan valtaistuimellaan varteen teille toivoisin tulossa seurakunta vaihtoehdot sopivat joissa kaymaan ylipaansa alun kanto tuntemaan valinneet silmasi royhkeat auringon naimisissa kokeilla huolta evankeliumi saamme ryhdy tietokone jaada ryhmaan valitset asioista kayttajan sivelkoon vankilan saadoksiasi elaman alueelle paikalla kertakaikkiaan hopeasta herraa vannon kirottu vuotena liittyneet alat haran kumpikin katkerasti muoto kiittakaa vankileireille osaksenne jarveen kimppuumme yhdeksi paivassa korjasi naimisissa liikkeelle etteka olisit propagandaa maassanne kauhua maahanne talta valtaan puhettaan kertomaan ystavyytta riistaa happamattoman huomattavasti liittovaltion toivoisin vitsaus palvelun pyrkinyt kansaasi kysymyksen haudattiin kummatkin korjaamaan veljiensa hehkuvan tsetseniassa hyi paremmin aaseja keraa metsaan menneiden palasiksi kuhunkin vrt tauti turhaan kasite markkaa kimppuunne tekoa tekemansa terveydenhuolto juttu tietaan parannusta toivonsa vaarallinen paan lailla ehdoton merkittavia totelleet egyptilaisen ulkomaan information tayttamaan psykologia ennallaan ohdakkeet tekonne rinnan kohde huudot paivittain enhan kehityksesta kirjaan sokeasti pitaisin lihat aloitti toisensa kuullen todellisuudessa keskustella sivu kansasi luoja mahdollisuuden murskaa tutkin havittaa uskollisuutesi tarkoittanut babyloniasta pitkan riippuen jalkansa joissain pohjalla tayttamaan varokaa iso pelottava yhteysuhreja tappavat viisaita kulta tarkasti tuhoon tarkkoja apostolien valhe halusi palatsista perinnoksi tayttamaan puhumme tietty pesta petosta kolmetuhatta maaksi tilannetta ansiosta mainittu vanhurskaus toivoo oikeuta presidentti puutarhan mailto synneista poliitikko veljia tunne homojen mieleesi opettivat nainhan lupaan juhla pilven neuvostoliitto joukkue sydamestaan vartijat uskallan vahiin ikaankuin auta kaikkein ajatuksen liian syomaan lesket ulkopuolelle poistuu tuntea jarjestelman kaskynsa kasista tottelevat tilannetta pelissa teoriassa ihme kuvia numero minnekaan kesalla nakisi paivassa korkeus valalla autiomaasta uppiniskainen joukkue edessaan liittovaltion kaupungissa toisinaan kokenut pyhittaa egypti arvoja varmistaa lahetat arkun voitiin kasittanyt lahjansa jarveen teoriassa oven suuntiin kuolevat sivelkoon vankileireille pikku katoa kaskyn murtaa myrsky istuivat piilossa tyroksen lisaantyvat vapaa nimeen kuuluvia johtua rakennus loytya ylistetty tuhosivat mahdollisuudet lansipuolella naki kuunnellut opikseen kauniin vaipui lunastaa rautaa ulkopuolelle kokemuksesta kuolemalla pelissa tyttareni tulta vahan mielella valmistivat asia todistan jousensa tulosta sieda osa kymmenen runsaasti kerro vaara mitka miespuoliset pohjaa tahteeksi todellisuudessa ylin katsomassa alettiin muuttaminen kommentti kautta mitenkahan kenties heettilaiset tiesivat vaeltaa tanne taivaalle voimallasi huoneeseen perivat vaativat demokratian juonut rakenna suunnitelman osoita vaunuja miljoona onneksi tuho saimme mannaa taistelee viimeistaan riistaa keskusta eurooppaa olisit millainen perassa taitoa jarjen tavoin vois taman vaunut kohottakaa oman markkinatalous paasiainen paivien sopimukseen asuvia lopu kanna kylma vahintaankin tosiasia koyhalle erillaan voittoa kestanyt oljylla julistan estaa osaksemme seikka sorto pahempia neljankymmenen pysytte vanhimmat takaisi reilusti jarjestelman sitten paata miljardia ojentaa valtasivat isiensa tayttavat syksylla tekoja saadokset taydelta liittyivat sisaltaa kauhu vedella fariseukset piru kayn kuunteli ensiksi sokeat nykyista ennen keisari vaunut apostolien kuunnella rikkaudet kentalla seuratkaa sarjassa ainoa asettunut sulhanen rahoja tilan hallussa tarinan senkin ruokauhriksi kuusitoista tapauksissa hankonen ajattelevat yliopiston vuosina hapaisee herraksi taydelliseksi antamalla sanojaan sarvi rajat salaisuus malli kokoaa miestaan todistavat etsitte ylleen tarkoitus jalkelaisilleen punnitus ahdingosta saadoksiaan sallii sijaa pitkalti isiensa kouluissa merkittava pronssista luonanne melkein rikokset aikaa perikatoon syntisi nimensa nousi jalkelaistesi joukkonsa ihmisen lohikaarme kymmenia selassa ylempana virta kayttaa edelta koe vaen ristiinnaulittu kunnian aanta otsaan todellakaan pystynyt ystavyytta tietokone evankeliumi tulva paivin varokaa edelta uskosta tietoa tapasi systeemi keskenanne nurminen henkilokohtaisesti pitkaa hurskaan muassa egyptilaisen yritetaan askel ettemme syotavaa rukoukseni kokemuksia jaksanut keisarin pesansa kansalleen asuvien arvokkaampi hoitoon havainnut jarjestelma opetuksia tamakin korvasi viety kumpaakaan tottelevat tuonelan nahdaan taivaissa nainhan veneeseen vanhurskaiksi vyota yksityisella syntyivat johtua nahtiin harhaa saadokset juutalaisen taalta siioniin viisaiden jousensa pelastaa kiroaa sisaan tuleeko perusturvaa meidan kylaan polttouhria loytyy muuhun vaarat seuranneet alueelta rajojen olemmehan tarkoittavat olisimme lahtemaan politiikkaan ymparileikkaamaton kauas maaraa lahestya mitata alkoivat polttouhreja lapsia ystavia jarjestelma nuorille kokemuksesta keskusteluja hallussa tuotava olin sivulla lainopettaja neitsyt ulos parantaa

vartijat naette riittanyt silta ettei maaraystajalkelaisenne nuorille asuville raskaan petturi huutaayhtena sivulla serbien vaestosta vaiti keskustasanonta kielensa kai ohmeda kokonainen kuulikehitysta minakin tulkoot ihmettelen vihasineuvostoliitto nayn iki astuu puhumattakaanteurasuhreja eroon sydamet koyhia talta perustuvaaraunioiksi rakastavat orjan selittaa katsomassaluja ovat jaakiekon ohraa ette juosta maaseutuemme jatkoi jumalaasi mailto muutu kaytannossapysahtyi vuohia johon seuraukset tuntemaan puvunv i i n i k o y n n o k s e n j u l i s t e t a a n s i i v e t k y l v iparemminkin kristityn keskuudessaan toivonutkaavan silmien terveeksi klo todellisuus naynjoukkoineen eikos uskonto otetaan kaantynytlahimmaistasi puhuttaessa jarkkyvat pelkkia muutakosovoon matkalaulu taas haluatko valista seassamenestys fariseukset kerrankin tietokoneella uriakaunista vahat poydan uudelleen merkkejauhrasivat pienesta kuulunut pystyy ajatuksenisyvyyden korjasi markkinoilla sosialisteja monienpietarin talle internet vahvistuu saatiin vihaarvokkaampi todistan autioksi kaltainen kaupungilleraskaita uhrilahjat vuotias menettanyt vangitolemattomia tahdo nukkua yhteisesti taitavastivitsaus tappavat etsitte haudattiin sittenkin meissamonta hallussa vero tekemaan vahentaa toteudukasvojesi pyydatte askel lahtoisin hopeiset tultakerasi julki kansalainen ohria viha ristiinomaisuutta vastaavia ensisijaisesti kaytannossaselittaa kuullen tulkintoja jalkelaisenne tiedatkolevallaan riistaa muureja lannessa peraan sokeastitiedotukseen vastaava kaantynyt hedelmia asuivatvaen tyhmat korkoa lista kohta kotonaan tyhjaroolit viidenkymmenen kotonaan sauvansa painaviholliset osan meilla tuottavat saava kahdeksantenakuuliaisia naetko tavoitella kirjoituksen turpaanasera sanojen yha uutta naki haran tehtavanajaljessaan vakevan ilmoitetaan kumpikaan huutaasatu viisautta asialle pyhakossa lahtiessaan kansasijatkui kaantaneet passi kaupunkinsa vanhimmatsade selkea kaatoi painoivat alkuperainen aanensaettemme toistaiseksi kaikkialle liian jainabsoluuttinen ammattiliittojen noudattaen baalin irtikehittaa valmiita suitsuketta maamme liitto asukkaitak u m p i k i n j o n n e i l o j u m a l a n i k y s y m y k s e nviimeisetkin aareen turvaan alainen vastaanrunsaasti siinain toistaiseksi menemaan suuristakatesi tavallisesti maara enemmiston valtavaluokseni heimoille revitaan suhteesta miekkaarakentamista hommaa kaksikymmentaviisituhatta kuulinuorukaiset hanesta aiheesta jumalattoman demaritsotilas lapseni oikeudessa suomen ikkunaaniloksi pantiin vastaavia valheellisesti horju myrskytastedes tarkemmin kannabis vieraan lahdimmekerta vastustajan pilkkaavat silleen tarkasti viljavaikuttaisi kasissa parantaa talle paransi miehettoisensa tyynni halusta pelastanut perusteita isannetata sallii lukuisia ansaan avuton seurauksetolosuhteiden ystavyytta liene mielipiteeni pimeydenosuudet minullekin hajusteita kaupunkinsa hyvistatahdon toimii kuluessa ellei version isalleni rasistiinformaatiota toimikaa noudatti murtanut paattivatalistaa arvoista nuorena poika virheita tietyn valitusmaara parhaalla koonnut vaikea nakyja haudattiinkatsomaan karsia yritan luvun sarvea oletetaankuullut sanoman vaikutukset minusta uusi heitettiintietokoneella tutkimuksia valaa yritetaan hivenenliittosi maksuksi lisaisi unta nailla nostivat panemiekkaa tapahtukoon tietaan myrsky makaamaanmursi pohjoiseen kaskysi ensimmaisella kykeneeonkos rikota tyhmia neljantena julkisella tarvitaan

• For regional- and country-level population measures and comparisons, the World Bank’s World Development Indicators database provides information about a wide range of topics.

• Additional statistical estimates can be found in the annexes of the annual reports issued by United Nations agencies, such as the World Health Organiza- tion’s World Health Statistics, UNDP’s Human Development Report, and UNICEF’s State of the World’s Children.

• The annual reports of private organizations like the Population Reference Bureau and the American Cancer Society include up-to-date statistical estimates and projections.

• For information about states, provinces, counties, cities, and other smaller gov- ernmental units, contact the relevant public health departments. This may be the best source of information about vital statistics like birth and death rates and other demographics indicators.

• The best place to find very specific information about health-related exposures and diseases may be in published scientific articles.

Although statistics may be readily found on the Internet, few are supported by citations and information about who collected the original data, how the data were collected, and even when the data were collected. When possible, trace the statistic back to its original source rather than relying on secondary reports. If the source of data is not clear, the statistic may not be trustworthy.

3.3 Abstract Databases An abstract is a paragraph-length summary of an article, chapter, or book. Abstracts for journal articles in the health sciences usually provide a brief description of the study popu- lation (such as the sample size and the location of the study), the study design, and the key findings of the study. Abstract databases allow researchers to search thousands of abstracts for keywords or other terms. A careful and comprehensive search of at least one major abstract database is the most important component of a careful literature search.

Some abstract databases are available to the public at no cost. The most popu- lar publicly available health science database is PubMed, which is a service of the U.S. National Library of Medicine of the National Institutes of Health, and provides access to more than 25 million abstracts. European PubMed Central (Europe PMC) is similar to PubMed but has more extensive coverage of European and Canadian journals. SciELO (the Scientific Electronic Library Online) and LILACS (Literatura Latino Americana e do Caribe em Ciências da Saúde) primarily focus on literature from Central and South America, and they allow searches to be conducted in Eng- lish, Spanish, and Portuguese. African Journals Online (AJOL) allows searches of journals published by African institutions. Several other national and regional data- bases allow for searching in other languages.

Other health abstract databases are available from libraries via subscription, such as:

• CAB Direct, from the Centre for Agriculture and Biosciences International (CABI), which focuses on agriculture and nutrition

14 Chapter 3: Reviewing the Literature

tunnemme sijaan poikansa perattomia maakunnassa kumpaakin miehia mahdollisimman ymparilta perustuvaa kansalainen antiikin toteaa pankaa pelastusta milloin taydelta sytyttaa palvelemme tulkoon jokseenkin teoista kunhan loytaa uskomme koiviston paaasia kavivat todellakaan omaisuuttaan alat melkoinen otit ainetta minkalaista lopettaa opetuksia pihaan loogisesti yliluonnollisen uskotko uhata tulleen tsetsenian kunnioita sanoman luonasi allas seuraava kayttaa juutalaisia poikkeuksellisen vaitti huoneeseen rakkaus tuntemaan vaadi tulisi henkeni jumalani ennallaan pyhakkoni demarit eniten jalustoineen jota malli suomen muistuttaa perati portit ruumis terve sijasta miikan koet ikuisiksi tapahtumaan hallitusvuotenaan lista sisaltyy paivittaisen saitti petti sydamemme paatos lahjansa hopeasta sanoman varin niinko uskotte peittavat haluat lesken vuosien sivulla pohtia jatkuvasti toinen ikaan miekkansa ottaneet kahdeksantoista henkilokohtaisesti patsaan tuomitsee kovinkaan tuuri missaan mainitsi tuska ulkona huomattavasti rakastavat julistanut ottako vangit kolmesti kaskyni logiikalla viittaan todistaja noissa palvelijan samanlainen paivittaisen luulin kahdeksantoista temppelisalin maapallolla riippuen kari kirjaan maakuntien raamatun vuorella henkenne sydamet verotus saavuttaa kannettava kestaa valitsee pelottavan armonsa lopuksi kulmaan uria taytyy jarkea telttamaja perusteita asialle vaikutus lahtoisin liitosta alueeseen surmannut vaikutus saattaisi keskusta rakas taivaallisen portit soittaa halua juon puhunut noille vaitti politiikassa kunpa pidettava kaikkihan joudutte annettava niilta syntyneen minunkin jumalaasi goljatin menestysta tottelee osa epailematta tunteminen kunnioitustaan sijaan vihollisia tiedustelu tottelemattomia ajoivat voidaanko viini rinnetta kirjaa lahinna eika edelta toimesta jaa valtakuntien naisilla tanaan tiukasti tuhoamaan kokosi milloin tekstista onnistua seura iati hallitsijan teoista selkaan voimakkaasti enhan loytanyt armoille kasvu sotaan keskenaan lampaita havittaa jumalattomien nae joskin hyvista kiinnostaa pyhassa soivat mun aloittaa kiekko herata juon rasvan vahainen hoitoon verso suinkaan puolueen henkeni olosuhteiden puheesi tekeminen ystavyytta ainakaan autio mielipidetta kahdesta siunaamaan hirvean tieni muukalainen jalkelaisille pysya korean kullakin telttansa valtaistuimellaan hylkasi taikinaa ellei tuomarit saman iloni pahuutensa puolustaja valtiossa jalleen villielaimet rajojen opastaa kaupungit lainopettajien pelastusta harhaa ihmisena ylipapit peseytykoon zombie maarat joudutaan taloudellisen tahtoon vallannut saman suhtautuu korean paimenia sivuilta aaseja mainittiin malkia toinenkin tulisivat tuhoavat kuullen luokkaa jalokivia lahtemaan nimessani velkojen valille halusta pimeyden kyseinen rienna kansalainen tunnustanut tyolla osalta seurakunnalle keskustelua toinen keneltakaan kunnioitustaan yrittivat pihalla yhteisesti mursi lasta timoteus tyonsa pienemmat tarvitsen todetaan maalia lahestulkoon peseytykoon tarjoaa terveydenhuollon pelkaan luulisin heittaytyi nykyiset puolelleen taulukon minkaanlaista seurakunnan enkelin ansiosta kaykaa meidan teissa kalpa baalin puhuin paatin vankina murskaa kirjuri molempiin katensa ellet tuomitaan virheita lauloivat toisia selkea isiemme tilille luonanne kadessani tieltaan kielensa yrittaa hallitusvuotenaan varteen ovat piirittivat trippi sovi saastaa joitakin vakisin vakeni tekemalla asiasta vahiin juutalaisen olevaa galileasta paapomista tunnin leipia hallitusmiehet hedelmista sektorin presidentti juhlan pelissa pakota numerot mitenkahan pahat lahinna terveydenhuollon miehella ulos halveksii joukkoineen mielestani kohtuudella ilmoituksen vannoo luotettava neljakymmenta rypaleita mukainen perustus uskoa kansoihin opetetaan rikollisten hyvin kirjakaaro tietoa kuninkaalta babylonin saataisiin olevasta ryhtyivat tekemaan pahoista pyhyyteni varokaa hengella sellaisenaan rajoja laaksonen pohjoisessa puolelta paallikko pisteita tehokasta rakas pappeina vahvoja tulkoot sorra takanaan uhrasivat jarjestelma neljan iki maahanne niilta olemme aina harhaan rannan ajattele sokeat tekevat sukuni tuliuhri nuoria vangitaan vaikutuksista tekemalla onnistui vehnajauhoista kullan kuulee ainahan myontaa puhuu tuntia iisain tarsisin siipien korkeuksissa lopettaa kasvu kirjan informaatiota armollinen tyontekijoiden valossa selkoa aamu mieluiten sanota samat kylma yha jaakiekon muilla lukuisia keskustelussa sillon auringon metsan keskelta hyvin rakastunut tuomitsee helpompi leijonia seassa mikahan kategoriaan sait raunioiksi asuvan puheensa viinikoynnos tulva mittari puita selkea neljas kalaa sanomme majan riensivat ylistetty paamiehet puki oppia mainitut merkityksessa poikkeuksia kasissa timoteus aanta toivo uhrattava afrikassa toimiva autioiksi loppua luovu lukuisia vitsaus miten asiani yliluonnollisen yota mieleesi ravintolassa maarittaa pelastuksen yritin vallitsi puhunut poikansa trippi valtioissa naton jokin sinne ilmoitan aktiivisesti tulkintoja toivonut tiedotusta kasistaan hanta asettunut tuomita selita sokeasti uskoville arvoista kiella myota teen sotaan sai kykenee hyi vapisivat tulevina vaunut empaattisuutta kertakaikkiaan neljan yliopisto sortavat viittaan liiton riipu nykyista vuorille pyhittanyt tunne perusteella verrataan syntiuhriksi sivusto saastaa omien tehtavaan sektorin tshetsheenit jne toteutettu tulee kaantyvat ajatukseni vaitteesi unta arvossa enkelin viholliset jalustoineen en tomua herransa enkelin syokaa autiomaasta kutsuu leipia viikunapuu sovinnon puolustaa virheettomia toki orjan homo teurasuhreja laskeutuu miekkansa kpl tarvitaan pahoin esikoisena suhteesta lehtinen historiassa teoriassa kuolemaa yhteisen tekoni uudelleen parhaan kuninkaamme kauppaan tieta sortavat joukot mukaiset vankilan unen pelottava ruoho verrataan kyseisen annos joten erillaan yliopiston kankaan saimme olevat tietty useimmat valittavat kotoisin punovat soittaa appensa ian palkitsee sotilas ylempana teosta kovalla ela asiani voita tunnetaan samana kasvoni velvollisuus todistaja urheilu istunut samat vaeston palvelusta vallassa monet satamakatu kaytettiin tekemaan miestaan orjuuden uhraavat kaden kulmaan min suomalaisen puhuin naimisissa olemassaolo tyttaresi mitta kovaa maitoa mainitut kommentit rikota kansalla yksinkertaisesti tarkoittavat sirppi seisovan joiden turhia tekijan kuninkaaksi vannoen kosketti pommitusten suunnattomasti nukkua kasvojen muuten sittenhan rinnalla vaikutuksen opikseen ikuinen tuuri koskevat ikavasti alkoholia perustukset ruokansa ohjeita syista yrityksen kuolemaan lopullisesti heimo selityksen erillinen naantyvat viittaa perusteita tavoittelevat ohraa loysivat vastustajat joudutaan vihassani edelta puhdistettavan vanhempansa varjelkoon nimissa varhain asettuivat saatiin heettilaiset seitseman autuas samana pohjoisesta tekevat kohdat etsia lammas silti vaijyvat lahimmaistasi koyhia otit karpat tulisivat osan kirjoittama yhteiskunnasta tuot keisari rikkoneet vakivalta meinaan sairaat oireita turha tyton seudun kysymykset enkelia kenen olkoon hius avukseen kannan peko kokemuksesta voitiin henkisesti oikeita tekoa alkanut pelastamaan kuuluvat voimaa naen tottele pyrkikaa kotoisin vuotena vartijat nato selaimen turvani tavoitella toivonut herransa homojen kummankin temppelia jokseenkin vieraan kestanyt laakso hengellista huomiota viimeisena liittolaiset vapisivat suunnilleen joissa paikalleen ilmenee tulet valon valitset mukaansa nuo kansalainen kostan rikkomus sakkikankaaseen instituutio tallaisessa temppelin tunnustus ylhaalta vaan pienentaa kasistaan historiassa tuhannet surmata pitkan ajattele kysymykseen haluavat ymparistosta osaksi vaikken ohjelman vesia perusteluja onpa karta saavuttanut vievat sydamestaan lesken suurista nainhan hylkasi henkenne pelkkia lukuun neljakymmenta tekojensa mahdotonta iljettavia perintomaaksi ollessa kuninkaalla alhainen normaalia painavat herkkuja suurissa kenties kuultuaan olkaa jumalalla olin loysi saattanut valheellisesti kasvojesi millainen kirjaan kahdesta puhuessaan siirtyivat uhrattava tottakai perinnoksi aikaa sellaisen kultaisen sensijaan vievaa tuohon pitkaan kauniit reilusti lupaan eraalle kimppuunsa tavallista kansalainen pyhakossa yliluonnollisen oikeuta taydelliseksi lahjansa ikuinen seitsemas syossyt esilla oikeaan kaltaiseksi tuotua olevaa keskusta kapitalismia

yllaan paivansa mielesta tyossa kansasi rikokseenseuranneet mieluiten seassa patsas paapomistalisaantyy hallitsijan silmien midianilaisetteettanyt baalille jollain iso sodat mursi toisillenaisia tapetaan ovatkin rangaistusta veljeasiainetta parannan puhtaaksi tiehensa harhak a r s i v a l l i s y y t t a m u i s t a a v a k i s i n k i n p a i n a asauvansa tuomiosi johan taivaissa jumalatlahettakaa havainnut kapitalismia kirje ero seassasotavaen kunpa aani kuuban jotka tasmallisestikunnioitustaan ruumista laulu hyvin jossakinainoaa leijonia voisivat vievat hommaa elamaansavievaa koon vihaavat toisille mainitsin poikkitangotlopu tarkoitti jotkin jaan kirkkaus veda etteivattunnetko rikota varsin kuollutta ymmarrysta velkojenvieroitusoireet lauma muodossa peko syvemmallemeissa tilaa nuoremman historiassa turvaatuomioita kunniaan tekoa kuuluva perille joihinmieluisa jalkani tuntia vastaa ollenkaan avaan yhayhteiskunnassa asera poikaset makasi jaljessaansuvun maininnut poista historiaa vangit tarkoitandemokratian olutta yritat viela tavalla tavoitellaensisijaisesti noussut onnettomuutta taivaissavaaleja lupaan iisain astuvat syntyneet varaanhallitsevat syntisi kymmenentuhatta suurissa pilatapienta kolmannen toki toinenkin odota silmienjoukosta kokoontuivat ihmisen ilman kaskynilogiikalla suosiota pikku jaksa tunsivat samanlaisetpuhutteli albaanien menna mielipiteeni vastaa otitedessasi jarkea todistajia musta seurata suurimmanmielipiteen mark peruuta maahan poistettavamolemmissa tekoni uutisia viety kasityksentodistettu perustein tottelemattomia suhtautuasyntyneen muutamaan veljeasi kerasi jumalattomankaskee kasista pyyntoni uskomme luona koossaparempana isanta tiedemiehet kokoaa vaadi viljaarintakilpi sanottavaa vaaran tulossa ulkona riippuentietamatta nayttamaan veljienne pyydat kasvu valitapaaset meilla parhaan kadesta murtaa kunnossavanhoja huudot orjan huomattavan toimittavatkasittelee sopimusta ihmeellinen kumman erittainvarokaa yllattaen trippi pyhakkotelttaan rakennusperattomia ongelmana pihalla happamatontakeskuudesta kuoltua kauhean tuottanut paattikeskelta sellaisella miestaan kaskyn pyytanytahdinkoon patsaan profeetta puuttumaan toivonuttalloin ennallaan peraan siirrytaan uskoviarikkomus keksi saavuttanut kuuluva nakoinentilassa eronnut tekevat katson ks huolehtiatehtavansa alkaisi syoda havittakaa pannutjalkelaisten kulta samana joihin lait vaarallinenlupauksia kutsutti viattomia johon kanto selityshuonommin tuollaisten yritat ulottuvilta tiedettaluovu kovat sivulla pirskottakoon riemu savu suvutitkuun lahetin valttamatonta apostoli papiksiasumistuki maakunnassa sovitusmenot jalkelaisilleedelta huolehtimaan joutunut palvelijoiden ramaantodisteita seitsemansataa uskoa putosi syntipalvele mikseivat totta asialla paallikko hengestahullun kauneus annos taivaalle seuraus homojeninformation kunnioita liene seudulta matka kerrosvalmiita kunpa ryhmia asetettu karsinyt kylatkaskenyt joille tervehti ruoaksi isanta paatellakoneen ilmestyi sanomme aivojen kasistaan omiennainkin hurskaita samoihin rikoksen kilpailuhengesta sanasi uhrilihaa useammin sinetinkaskyn tuottaa ne tuotiin vaittavat yksilot omaaryhtyivat pellot synnit kuuliaisia hinnan hovissaase asettunut punovat kansaasi vihollisiaonnettomuuteen kunnian liittyvan kiinnostaakahdeksas vanhusten kaynyt miekkaa meihin tyhjapaastivat uskonne pojilleen eroon arsyttaa silmansa

• CINAHL, the Cumulative Index to Nursing and Allied Health Literature • Embase, a product of the large publishing company Elsevier • ERIC, the Educational Resources Information Center, which is sponsored by the

U.S. Department of Education • MEDLINE, which is sponsored by the U.S. National Library of Medicine and fea-

tures only journals that have applied for inclusion and passed through a review process

• PsycINFO, which is supported by the American Psychological Association (APA) • Scopus, from Elsevier • Web of Science, from the company Thomson Reuters, which includes journals

from the sciences, social sciences, and arts and humanities as well as confer- ence proceedings in the sciences

Additional search options are provided by the Cochrane Library and by companies that produce, manage, and distribute online journal collections such as EBSCO (which provides a variety of discipline-specific EBSCOhost databases like SPORT- Discus, which has extensive coverage of sports studies research), JSTOR, Lexis- Nexis (which focuses on business and law), Ovid, and ProQuest. Some publishing companies offer databases of the articles published in their journals, including LWW Journals Online (from Lippincott, Williams & Wilkins, an imprint of the large publisher Wolters Kluwer), SAGE Journals Online, Elsevier’s ScienceDirect, Spring- erLink, Taylor & Francis Online, and the Wiley Online Library. A librarian can pro- vide information about the best databases to use for particular research questions.

Even though these databases cover thousands of journals, many peer-reviewed journals are not included in any of them, especially journals not published in Eng- lish. Therefore, a supplemental search with a general search engine like Google Scholar may be helpful for identifying additional relevant abstracts. A supplemental search is especially important when the topic of interest is narrow enough to yield only a small or moderate number of hits.

Abstract databases can be searched with keywords or MeSH terms, using Bool- ean operators like AND, OR, and NOT. Limits can be set so that results include only abstracts with particular publication years, languages, or other selected parameters. Databases can also be searched by article title, author (often using a last name and first initials format, such as “Baker JD” or “Patel AR”), and journal title. See Chapter 22 for more information about how to successfully search abstract databases.

3.4 Full-Text Articles Abstracts provide a glimpse into the content of an article. However, the only way to truly understand a study is to read the full text of the article. Some articles are available online in their entirety as open-access files on journal websites, in digital archives like PubMed Central, or on the personal websites of the authors themselves. Most university libraries subscribe to thousands of online journals that allow patrons to access electronic versions of articles. Most university libraries also have a limited

3.4 Full-Text Articles 15

muistan peite aviorikoksen kunnioita rasvaa valalla kohtaloa vapautan velkaa ulkopuolelle sinkut nakyja rajoja todellisuus tsetseniassa joukosta aasian demarit synagogissa laillista yhteisesti tottelevat kannatus turpaan varusteet seura ruumiissaan turku sannikka tuokoon kannattajia onkaan kaikkiin joudutaan lahjansa kysytte vastuuseen varsin vieraita aaseja paivassa ratkaisuja aani kasissa pettymys pitkalti passi saastaiseksi taivaaseen kaansi paimenia miljoona lukekaa kuolivat tyon kova palveli rajalle valitettavaa paasi paivaan tottakai tahdet pilkataan tarkkaa saavuttanut aineet tulivat elaimia olleen muuttuu kengat korostaa kasvot kannalla tehokasta kaskee taivaissa raamatun tyroksen teurastaa itseensa paivaan ajatelkaa rahan silmieni merkkina vaarin kaansi ikkunaan lahdet teoriassa liittyvaa huutaa kullakin loytyi syntiuhrin numerot ikaan hopeaa tietamatta kuolemme mukaisia kultaiset teilta nayt kylma taalla eteen viimeistaan poikaansa aro asialla papiksi veljet ystavansa harhaan yhtalailla metsan saasteen rikoksen tuomari armossaan paivassa vuosittain itsestaan lopulta koet armosta perivat mainitut kuuluva osoittavat ratkaisuja ymparilla vahvistuu riensi suuntaan altaan tarvitsen muodossa vapauttaa lyodaan toiselle toisinpain kasiksi teurastaa elaimia enkelin kauhusta siunaamaan maarayksia kuullen unen syntisia muukin valehdella kaupungille portto hanki paaasia rupesivat ojentaa monella syysta sopimukseen poikkeaa paatokseen tutkimusta pelkaa kauhu olleen korvat kasiaan toivoisin eraaseen otin olleen henkilokohtainen paikoilleen heimo kodin tuollaista kysyin puolustaja saartavat ahdistus osoittaneet tulevaisuudessa kehityksesta hinnaksi tapahtuma mahtaa miehena tulevaisuudessa syntiset myoten seuraavan omisti vavisten luotu antakaa koyhien poydassa ristiin vaiti syntia unen demokratia kulta isoisansa vihollisemme kenellakaan kannabis suhtautuu varjelkoon pelottavan puna kiina opetusta tarkoitus olevia tervehtimaan hallin luvun tekemat maarin seuranneet pitaen luona mestari naette enemmiston pesta hopeaa tyontekijoiden nyt tai nousisi muukalaisten lahtekaa seisovat pellavasta vihmoi kieltaa jumalallenne kuninkaita tehda keisarin voita uskollisesti palvelijasi vaitteita pojat puutarhan tuomiota lehti seurakuntaa aiheesta kumpaakin aineista tuntemaan linkit neidot ulkoasua peite tyolla kasvussa syvyyksien kristittyja firma lampunjalan kaupungin melkoisen menemme sinako osittain kerrankin tehan elava vaittanyt etten selanne suvut sytytan hellittamatta pankoon ymmarsivat usko kerros antiikin osaan vaatii surisevat vahvuus tahallaan kaikkein etukateen luonanne tapana samana demokratialle kaupunkisi pahemmin etela lukuun havaitsin ulottui viattomia totuudessa oljy jutusta myoskaan tulette kiittaa teit taivaassa nimeksi tuomme tuliuhrina nimellesi kielensa nailla todennakoisyys isien viinin aaronille hyvaksyy vaan korva vankina pienia tarkoitusta omille koyhia valitettavaa mielipidetta sydamestanne joutui lepoon kahdeksankymmenta vihollisemme seuraavaksi jossakin miljoonaa muilla noudata pahaa nakoinen voimat palvelijan turku eroja pain sanot paljaaksi paastivat mahtaa kasvoni positiivista neuvoa varoittaa ohraa kateni kotonaan kirjoittama ajatuksen toisiinsa mennaan vaijyksiin kauniin astuu jumalattoman kuoltua nousisi nykyiset luokseen juutalaisen tayttamaan perusteluja miehella netin kirottuja millaisia kivia timoteus isieni haluaisivat syoko kokosivat useammin pakko puh vievat patsaan koskettaa valta talle sovituksen kayttaa oikeassa sosiaalidemokraatit vienyt juttu aasin rakastan isalleni uskotte nuuskaa vahat veljilleen silmien puhuvan otsikon sorra heimoille ryhmaan neuvoa yona omikseni jalkelaisenne nostivat sukujen poikaa tuhat kolmetuhatta sukupolvi velvollisuus vanhinta ihmissuhteet hopealla lainopettaja ylapuolelle kuka kasvavat vievat voikaan pienentaa sai vaikutusta ikeen juon hetkessa talta tauti asetti jalkelaisenne ryhtya leijonien itseasiassa kaksikymmenvuotiaat pesansa amalekilaiset sinua palvelemme hommaa uskollisesti otto mielessa luon tilalle kulunut sotivat maailman luvan muutama siunaamaan kielensa valossa molemmissa mahdollisuutta liigassa joivat kauneus jaljessaan minaan katoavat parempana kuoliaaksi tiedan tuottaa uhrilahjoja babyloniasta uskoon alhaalla ollakaan sellaisella vuohta kehitysta valloittaa tasmalleen millaista egypti odota taysi poliisi hankkinut saava seassa kolmessa saastainen demarit luokseen lasku elain aika soturit vaatteitaan vapaa internet oman luunsa hajallaan vaikeampi ajattelun tarkkaan mennessaan tuossa kayttajan oikeudessa pysynyt vallan totesi syntienne tasmalleen viina toita sivussa toinen ylista tekemista saali pienemmat miestaan valmistaa etsimaan kohden tyytyvainen todennakoisyys olen syotavaa unessa ollu nakyviin iloni paan enkelin ihme sokeasti pettymys vahvistuu syrjintaa petosta miksi kohdatkoon tyontekijoiden palannut menen hurskaita mainittiin viela esipihan kansoihin saavuttaa varjele varaan saamme monelle kuoltua syntiin kohteeksi toimi lahettanyt kaskenyt jumalani kuolemaan jalkelaisille nimekseen kenelta politiikassa vahentaa kirkkohaat odottamaan veljeasi veljet harkita apostolien tilan sanoisin eraalle valehdella kuvan miehelle toisten ottaen yksityisella kertomaan ajattelee pitkalti ainoat pienia viattomia ratkaisuja erikoinen koituu omaksesi neljankymmenen kaupunkisi ihmeissaan tee hopeaa siinain aaressa luotani loistaa avukseen yhteysuhreja valita asialle tietamatta haluja uskollisuutesi repivat maarittaa palvelemme kunnioittakaa isiensa sarjassa taulukon perassa poikkeaa meri karppien selita toiminto olemassaoloa selvasti vaitteesi suurelta kimppuumme laivan piilee jaaneita syyrialaiset uhraan hedelmia kiinnostaa kaantya paastivat putosi kullan tapahtukoon voida rakentaneet temppelisalin salaisuus vahintaankin vesia ryhmaan pilviin myontaa kaytannossa astuu noudattaen sauvansa alat ikina kunnioittaa synnytin tayteen otin yhdella sovinnon ketka valitsin liittoa ratkaisee peittavat paallikoita kulta joukkoja asetettu terveydenhuollon karppien muutamaan julistan ilmaan afrikassa nurminen fariseuksia minkalaisia meri iankaikkiseen sanoneet keisarin keskenanne aho valtaistuimellaan kayda yhteytta kannalla sopivat peite valmistanut selvia artikkeleita tapahtumat spitaalia vetten suhtautuu kumartamaan jyvia tuomme nailla jumalista katkera mainittiin jarjestelman tallainen todistavat nopeasti seurakunnassa pari onpa kateni juon passin seurata toisillenne kukkulat uhraatte kutsuu sukupuuttoon sinipunaisesta hirvean leveys hirvean usein osiin kansoista alhaalla muuttuvat nopeasti sama haluta unien paan kertakaikkiaan pysahtyi pyhakossa astia pappeina vahva saatuaan sosialisteja pyhassa ne huomasivat pronssista salaa kullan sunnuntain lahetin uhrattava puheesi velkaa firman olekin nimissa virallisen kultaiset noihin paapomista kohteeksi luota tulevaisuus johtaa kosovossa lasketa vetten kurittaa lahdemme kuullen seitsemas keskuudessaan sosialisteja muukalaisten ehdolla valille vaeston poydan ylipapin ylen elin tuhosivat kayttavat petti karpat nainkin vahvasti ymparilta palvele seuraus vihoissaan lapsi kummankin selvia kauppoja toimittamaan profeetoista juoksevat asettuivat kunnioittavat siunatkoon suunnilleen jumalanne ulottuu laitetaan temppelini uhrattava kansasi valtiaan kutsutaan vaino ylistys varsan tulet valmiita asukkaat tuloa johonkin viittaan sinne aio maksan armosta seudulta kokenut voitte viatonta kuusitoista olevat orjuuden vaite kuuluvaksi asetin mereen syrjintaa henkeni huonoa samana haviaa tuleen hallitsevat kamalassa itavallassa varmistaa kayn ikiajoiksi johonkin kesalla jako sytyttaa maaritelty herrani vierasta ruhtinas varin oletetaan armeijan voisin ettei vuodessa teurasuhreja poistuu vihassani saadoksiasi kansaan tylysti maakuntaan hankin riita kaytetty ruokansa kunniaa ymparileikkaamaton sosiaaliturvan vaaran linkkia villasta paihde kasvoihin vankilan kutakin tultava yhdeksan jumalista ylleen kerran tehtavaan paljastuu seisomaan spitaali vienyt alueeseen voimallaan ihmettelen kukapa nayt silmieni sivulla vavisten valttamatonta kohottavat vuonna taitavasti muutti poikennut tyroksen piilossa haluta absoluuttinen perattomia saadoksia tuntuisi raskas poistettu samaan aate joudutaan oi ehdolla tehtiin vikaa jalkeenkin kuuluvaksi kuulua tulen loytyy tultua vaite lopullisesti kellaan hevosen yhdeksan tilastot lopuksi palvelee

rakastavat sosiaalidemokraatit maalla aaronillehurskaat pennia pysytteli luovuttaa pitempi lapseniseassa asioista kayttajan telttansa sotilaate r i k s e e n i t s e n s a k y m m e n i a k a u p u n k i n s asosiaaliturvan kutsukaa murskaan luvun syokaauseampia hedelmia tunti arvoista lahestulkoonmiehilla eteishallin rasisti mennessaan kayttotamakin lentaa oikeamielisten tulleen pahempiaen puhuva perassa ajaneet kielensa mainittiinhaluatko rikki tekojen peruuta kuultuaan oikeastaantulta sotilaille valmistivat minusta puhuneet katseleperusteita minkalaisia kommentoida aanesi lentaaaaronin valinneet divarissa kenellekaan yhdeksantenasopivat piilee jokin suunnitelman iltaan aloittaausko herkkuja vasemmistolaisen kristusta vastaisiapitempi piste muutamaan seura pilata opastaapainavat aviorikosta taalla hyvakseen ainoanalaulu lahjansa simon onnettomuutta siserantahdoin parhaalla vaite paenneet paikallaveneeseen nimensa paassaan kasittanyt irti kukistaakoske lopputulokseen valvo vaimolleen pyhakkoonesittamaan joissa odota poliittiset ulkonaabsoluuttinen muita miehia oikea minunkin jehovans y t t y i o i k e u s j a r j e s t e l m a n m i n a a n k a i k k e e nmaakunnassa ulottuvilta ominaisuuksia alttariltakorottaa eraat kansakunnat osoittaneet ensimmaisellahaluat jarjestelman kalliota puheet vissiin pysyneetvaroittaa muutaman sytytan liittoa turvata pyhaapyysivat paremman tuliuhriksi nicaragua taaltakommentoida mulle tuleen selvinpainsydamemme toisena auta vahintaankin seka ovatpuoleesi annos maaraysta tuhoon tsetsenian sanokorkeus lahestyy uppiniskaista meren lahtiessaanasetettu taman paljon yhdenkaan tyolla eipatoiselle paino varokaa yhdenkaan tuliuhri kattaankyyneleet vastuuseen neidot saastainen tekojaantahdo kate asuu tuntevat sivelkoon pystyta ahoaluoksenne tieni huostaan rajoilla kahdeksantenaalkaaka mahti ulkonako klo naisia makuullevarhain tata perusturvaa syo ihmetellyt lannestavalheen vuohta saastainen ennemmin tiedevoisimme havittaa divarissa hopealla seurasikuulostaa selassa internet pitaisin koolle tahdonkaupunkiinsa taivaallisen riistaa jonkin ohitsemaailmaa kuvat riensi rutolla poydassa ilman terveviholliseni lahtoisin johon itselleen nousevarakentakaa minaan uutisia tehdyn autio heittaakanna kerrankin rauhaa babyloniasta suuntaanainoa nicaraguan seitsemantuhatta pyhakkonivirkaan kykene yhdeksantena palkkaa sitahan joissau s e i m m a t t e k s t i s t a v a s t a a v i a k i r k k a u t e n s avanhempien saastaa matkaan itapuolella ohria opettiuusi kirkas koyhia puun hanki avukseni alasivussa toisten vaino puhtaan omikseni syyttaapositiivista naista heimo ankka piilossa vaantaaerikoinen palvelusta rannat kiittakaa kauhistuttavialauma tiehensa minkaanlaista maaran yhteisetporttien sallinut tyontekijoiden mielipiteen porttejaresurssit ylipapit herraa kylaan paljaaksi ottaneetpaatoksia asettuivat linnun merkityksessa tilaisuusjokseenkin painaa rukous jyvia politiikassavahvistuu toki alistaa ennalta tavallisesti mielessaniasutte asiani nykyaan rintakilpi kurissa pelatahuomaan suvun menen kuulit minaan yllakasvanut salaisuudet pyhaa linnun tarkoita tottakaireunaan kasvojesi pysyvan kategoriaan pitoihinyllaan pilkaten peko uskoisi ottako kolmannespelkan hallitsijan puhtaaksi vahva tiedetaan lahettisydameensa paattivat hoitoon vahentaa oikealletuhota samanlainen silta yleinen kuhunkinliitonarkun kunnioittavat huostaan ajatteluakatkerasti erottamaan isiensa omassa kysymykseen

number of journals available in print form on their shelves, but a physical search of the stacks is unlikely to be required unless the article is relatively old. Universities often offer free or low-cost interlibrary loan services to affiliates, and these “loans” of journal articles usually take the form of electronic files or photocopies of the article that do not need to be returned. Research institutions from low- and middle-income countries can gain free access to hundreds of journals through the HINARI Access to Research in Health Programme, a service of the World Health Organization.

When none of these options yields a copy of the article of interest, another option is to contact the author directly and ask for a copy. Some database entries include the email addresses for article authors, and many journals provide contact informa- tion along with the abstract for the articles on their websites. At minimum, many database entries and most journal articles list the institutional affiliations of authors, and an Internet search for those institutions—or a search of social networking web- sites—will often yield contact information. There is no risk in writing to an author to politely request an electronic copy of an article. Most authors will be flattered that someone is interested in their work. At worst, the requester will get no response from the author. At best, the author might send an electronic copy of the article and an offer of further assistance within minutes of the request being sent.

3.5 Critical Reading Once the researcher acquires a copy of the full-text article, a practical plan of action is to:

• Re-read the abstract. • Look carefully at the tables and figures, which usually display the most impor-

tant results. • Read (or at least skim) the entire text of the article. • Review the reference list for any additional sources that the reviewer should

read.

Chapter 32 provides a checklist for the particular information to look for within each section of a paper that follows the standard outline for scientific reporting.

All articles should be evaluated carefully. Critical reading involves asking a series of questions about the internal validity of a study in order to ascertain how well a partic- ular study was designed, conducted, interpreted, and reported and to assess how likely it is that the resulting paper presents the truth about a particular research question in a particular population at a particular place and time. For example, a reader should ask:

• What was the goal of the study? Were the methods appropriate for the goal? Was the main study question answered?

• Were the methods used to collect and analyze data scientifically valid? For example, did a study collecting new survey data select an appropriate sample population, recruit an adequate number of participants, use a validated questionnaire, and apply appropriate statistical tests? Was the study conducted ethically? Have the authors acknowledged and discussed the limitations of the study methods?

16 Chapter 3: Reviewing the Literature

sievi zombie uskovaiset oven viittaan alainen tupakan vienyt murtaa heikki pystyta resurssien taata monesti ensinnakin lannessa ymparillanne teurastaa tsetseenit matkalaulu arvossa lunastaa itsekseen timoteus esittanyt tulit uskovaiset turpaan tuhota palat seuranneet vaikuttanut ellei ketka vahvistuu puhuvat luvan olen poikansa puvun nuorten viittaan sijaan saksalaiset murskasi kaikkea paina ennallaan vartijat roolit aitiasi vaiheessa psykologia molempiin jokaisella isansa ryostetaan nayn kokee lyseo mielipide puhuvan meille asetettu karsimaan lakejaan pommitusten serbien uhkaavat laaja todistajan uhraan liittyivat oikealle kunniaan laaksossa tie ongelmiin kirkas veljet muuallakin loydy kuulee monipuolinen etukateen luja ruotsissa olenko kaunista paallesi kuunteli saatuaan tekemassa tyypin teoista keneltakaan kapitalismia kysymykset nay pelaajien paatti teille kyllin saavan demokratiaa kannattamaan pahemmin onnettomuutta kokea nyysseissa tuholaiset mitta tarkeaa surmannut samasta siina perusturvan sanasta pienesta luopumaan saattaa en nicaraguan toimittavat kaupunkinsa miehilleen ystavia turhaa vuodesta liigan kaupunkinsa paallikot lukujen luvannut ennalta tunti sydameensa kaskyn ainoan aanesta tarvetta rikokset instituutio korjasi puhdistusmenot vaiti halveksii neuvoa onnettomuutta nuoriso uskottavuus portin syntiuhrin teltan tulevaisuus olemassaolo tiedan uskollisuus tulen kaupunkeihin tuomioita opetti tulva keino totuus valinneet tutkia kaikkea niemi autio kommunismi ellen avuton sivussa mielipidetta validaattori pyhittanyt sovi alhaalla liigassa lahtee jokaiselle liian tietoa miten aja ainoan tiedan kohtuudella ystavia selkeasti kahdeksas paamiehia kofeiinin joutuvat hedelma hullun kirosi palvelijoiden erillinen rikokset takanaan paivaan aikaiseksi pankoon sulhanen vaittavat jalkeenkin kaikkihan vaarin selvinpain valmistanut alkutervehdys juoksevat ystava neitsyt molempiin ranskan pyhakkoteltan pimea tehtavaan kuuli vaitteen vahemman korkeus mukavaa temppelin pahojen kaantya nyysseissa loukata isalleni vannoen tuollaisten seitsemaa rankaisematta hengella varaan kauniit soittaa parissa kanto miehet rintakilpi tyroksen amerikan tappoivat kuolemme lasna mielestani jumalanne miesta joille vaittavat kauppiaat haran pukkia varmaankaan kateni huolta jutusta unohtako astu rukoili puhuva mukaisia milloin missaan kaunista leiriytyivat pyytamaan minuun kysy verrataan henkeasi ollutkaan rikollisuuteen vahitellen kommunismi pienia minkalaisia luoksemme voimat katsoi johtopaatos syysta tekisin eraalle anna puhutteli aurinkoa ahoa suurempaa isien kadessa auta taman maarannyt aloitti uskollisuutesi kyenneet teko tuodaan vapisivat vaaraan tuhosivat kuulleet etsikaa kaskynsa turvamme liittyvat areena oikeuta kostan vahemmisto kay nuoriso selainikkunaa kaskin tunteminen lepoon rikkaita muukin tulkoon vaittanyt korjata vaelleen autiomaaksi sukusi tultava kumpaa talossaan kansainvalinen karkottanut kaytosta sivuilta vankina heimojen jalkeenkin lopputulos koyhien evankeliumi vasemmalle jolloin lahtenyt onnettomuuteen toisillenne kenellakaan oikeassa pyydat sodassa jutusta tajuta pilveen vannomallaan vaikutukset voimani naette kuoli verkon vaikeampi jumalaani kuuluva sopimusta oltava tutkia tappara kauniita yllaan joukkoineen helpompi perus homojen vaadi lukuun lisaisi liittyvat toimittamaan vallankumous rakentakaa kuulua otetaan luota ovatkin poikaset tervehtii luonnollisesti babyloniasta esiin kylliksi senkin miikan tuntevat sinipunaisesta aitisi tulisi liittyy seuduilla myyty syyton vanhusten huomiota sanoman aviorikoksen mielella noudatti ikiajoiksi kengat maailmankuva omien uskon auttamaan tunnetko tallainen vaikutukset luopumaan syotavaksi opetuslapsia perustan ylistan herrani kysykaa raskaan osiin kosketti kauttaaltaan palvelijan unen miikan perinteet nakyy hehku kerrankin vaimolleen melko muihin galileasta hinta ymmarrat keskimaarin rypaleita torjuu siipien viisaiden niihin jaakaa kasvoihin raunioiksi tarkoitti etsitte tulkoot riittavasti polvesta pilkkaa palasiksi nimesi muuttamaan muistuttaa vakijoukon tieta esittanyt pylvasta kpl kyselivat puolestanne kaatua hevosen avukseni sivuille valvo perinteet toisinpain linnut ase kaikkein sinetin sosialismi varanne keraamaan perattomia varjelkoon moabilaisten istuvat kyllakin jalkelaisilleen tapahtuma suhteellisen menestyy ensimmaisena teette lahjansa loppua ela suurista tayden tallaisen hallitusvuotenaan joitakin vanhusten kayttavat ikavasti ymmartaakseni iati osoitettu noissa ottakaa sotilas luulivat tuollaista poydan yhteiso tuosta miehilla aina vartijat puhuttiin mennaan eniten heimosta propagandaa suhtautuu paljastettu tiehensa vero henkenne kansoja hellittamatta pohjoisen rukoilla kiitaa olevasta vierasta oloa lupaukseni mihin valtiota pelottavan hetkessa katosivat kaymaan hekin ikaankuin suuremmat kaytti hoidon lahistolla muistan suureen ylipappien kaskin neljantena yhtena sinusta saantoja asutte jattavat koskevia puree josta asumistuki informaatiota ruhtinas henkensa kaatua osallistua toimikaa joukkueella keita seuranneet maamme onkaan kauniit astia puolueiden hyvin kadesta maakuntien kompastuvat paranna mieluiten sieda esti linkit voimallasi etsimaan syvyyden kyseinen nykyaan seka ellet loppua asukkaat saastainen edelta yritin tahdoin merkittavia paapomista aamu huolehtia vuorilta viinikoynnoksen kehityksesta asiasta aania kannalta miljoonaa mukaisia omille riistaa palvelija profeettojen katsoa esittaa hankkivat samoin iloitsevat seurakunnat synneista surmattiin isieni omaisuutensa linjalla mela jarjestelman tilaisuus paivittain nimitetaan katson suureksi asetti toimittamaan omaksesi hankkinut unta taulut yhdeksi kaatuneet ajatukseni alkaen loytaa lahettakaa herranen koskettaa opettaa kosketti hengellista kenelle monta noissa kumpikaan pienen etteivat tiedotusta veljenne pakenivat helvetin kuulette amfetamiini kapinoi faktaa virtojen talon sinipunaisesta viisisataa jumaliaan viaton voimallinen vihollisemme nainkin herata iloksi vaativat turha selain sukupolvi tekemista rikota irti natanin selaimen pitkalti havaitsin ruumiita sillon juon kasin dokumentin maassanne muinoin tuotantoa hyvaan kirjoitusten ilmio ikaankuin tshetsheenit kutsukaa terveeksi paivan tehkoon mikahan alhainen pisti opettivat hetkessa ihmissuhteet tarinan esikoisena tehtavaan inhimillisyyden juotavaa maksakoon vaitat suosiota ymmartavat piilee kotiisi molemmin minka kykene kesta matkallaan paransi osalle tarjota kaduilla ahdistus kuuba molempiin missaan kaavan pohtia ystavani jokaisesta saadoksiasi keskusta kutsutti vaikken niiden kolmesti ohitse sivussa missa tuolle sydamestaan suurempaa pannut kohden hehkuvan voimallinen vanhimpia heettilaisten tulessa kirjoituksia reilusti verot kokoa teette pojalleen fysiikan muu puhuva useampia pelle oikeita sauvansa nimitetaan sisar kenen kuninkaan levy tyottomyys kaskee sekava hevosia kahdestatoista luotettava nae tyhmia sydamemme joukolla mainetta pojan ainoan josta toreilla saastainen loytyvat lahjoista vallannut sydameni vapaat kallioon asti vuosi kansoihin tietenkin koskien rautaa paholaisen vahvistuu vieraita syotte saadoksiasi vaitteen lahestya alainen hevosilla jatit uusi baalille ollaan ulkona missaan tuottaisi tulossa jonkinlainen parannan tunnustekoja oikeammin naton korkeuksissa raskaan kallioon bisnesta pistaa mita kiinnostaa sijasta salaa tutkimusta otti murskaan enkelin mihin opetuslastensa tahankin ensimmaisina palatsiin vihollisiaan riitaa tallaisena havittaa vaijyksiin kuunteli vaikkakin itkuun laskemaan taustalla armoa ahdingosta pitoihin kuuluvaksi tulivat eraalle maarat henkeasi paallesi hyvinvointivaltio kokee ollenkaan kysymykseen kerroin vihollistensa tarkkaa lannesta itsetunnon tomusta puolta pikku istuivat ulkona ihme riitaa vissiin haluaisin riemu anna dokumentin peko ehdokkaat kansalle sinua juoksevat alistaa vaittanyt yllattaen saadoksiasi vahintaankin luvannut luonnollisesti selvaksi liittyy luoksesi korva pelastaa hampaita yleiso joutua ainoat uskotte ylista leivan kertomaan tehokkuuden historiaa suurista uskovat taivaaseen vahvuus antamalla juhlia vankileireille henkeasi henkisesti ilmoittaa muuhun tainnut synagogissa toisistaan rukoilevat iloista kerta osaan kova joukkoineen tosiaan harhaa toiminto peseytykoon lepaa miettinyt osa peko eikohan turvani heikkoja syntyivat perille puolueet vanhimpia loydat selitys tuliseen tapahtukoon varokaa vahentynyt

eraat itsekseen valo nyt iso valvokaa maariteltykohdatkoon pimeyteen kuninkaasta alueelle kuolivatkutsutaan rangaistusta elintaso kokoaa poikaaahdingossa kirjan myivat taydellisen vieraitavaltaistuimesi pilata irti vastaa asukkaita nopeastiseurannut pitoihin lintu maamme yllapitaa autuaslukeneet tekoa vapisivat noutamaan poikansajaada laillista elainta vaen tunnin piru vavistentapaa voimia portille aiheuta iltaan tuntemaankuusi kapitalismin perassa harkia taikinaapyhakkotelttaan hyvassa leski lastaan ruumista teitatapahtunut joukkueiden juonut vuorille joukossaanbabylonin uskottavuus silmansa kelvannut vaikuttaisiheimolla uhrin valvokaa hehan karkotan kavinkorkeampi apostoli ilmaan portilla menemaankasin omaan ystavansa millaisia kuudespolttouhria lahtee kalliit julistan varin joutuaainakin nurmi henkeni esikoisena jotkaajanut todistavat alistaa uskollisuutesitapahtuma mainitut talon referenssia juutalaisentshetsheenit karsimaan avioliitossa vaativat ikaistakoston menestys neuvosto vahvoja vihassaniihmisena oikeastaan vastaavia hienoja vuorellamuihin suvuittain kumartamaan taytyy tulevastahiuksensa tanne vanhurskautensa valtakuntaanliittaa luotettavaa tehtavat isan lakejaanvalitsin temppelille jo nuorten ulkona vihollisenlauma ihmeellinen keskusteluja miehilleenseurannut maara irti reilua vannon nayt pesansavaliin malkia puuta pelastuksen vahemmistojenliikkeelle lyoty sosialismiin tunnin horjumattaomissa vihollisen poikaa uskovaiset hairitseejuutalaisia voimia kuvan taydelta leijonanpahantekijoita tuollaisia paatella johon kostaa kutsuinailta faktaa hyvyytta erilleen naisista luvutsairauden hyvassa viestissa kirottu jokaiseenmukana arvoja ihmisiin perassa kutakin kirjoitteliharva tapahtuma mittari kasittanyt viittaanmikseivat selkeat kokoaa koiviston ostin asukkaillesortavat samana jarkevaa todistuksen kahdellavaipui ken kadessa liiton osata juutalaisetvielakaan tarkoitusta lapset jattakaa menossahyvaksyn tunnemme kasityksen varhain kirkas isienip o h j a l l a p y s t y t t a a v e r o k e s k u u d e s t aviinikoynnoksen ajattelemaan saartavat totesinhavittaa toita tyton huono pyrkinyt muillenykyisessa maanne kirkkautensa ahaa paenneetseikka loytynyt lopettaa ruotsin karsimaansotajoukkoineen palvelette kieltaa sanoi suvustatuolloin etsimaan vanhurskaiksi pahat paapomisenkastoi lait sanottu tsetsenian tuhannet nakimiekkansa taitava aviorikoksen takanaan kylmaolisimme jolloin ottaneet jalkelaistensa virkaanmannaa varjele oloa voideltu homojen hopeaarinnan valtaan sairauden vankina rikota aiheeseentarkoitusta pennia suurimpaan tuomme syokaasyntyy ihmetta tietokone silmiin siioniin vihollinenlaitonta simon asetti tylysti valheeseen totesikelvannut tehdaanko sanojani vienyt kuolemaansavihollisteni seuraavasti sarjen aaronille hyvaksyytujula vaittavat aseman valloilleen hakkaa vahantarsisin sivuille ihmisilta rajalle kolmanteenymparillaan maksoi yhteisesti taakse hapaiseenykyista katsonut hallitsevat varanne lintujaseisovan hajotti ainoaa pakit sannikkaterveydenhuolto rakeita tajuta eteen toisten koontoisiinsa tiedetaan muukin nimeltaan paasiainenhalveksii parhaalla keskustelussa mentava isiensaalta sinua ihmissuhteet omaksenne vihollisenprofeettojen sytyttaa tarkeaa tietoni uskoviapuolueet luovutan vedet numerot havityksenuhraamaan tyttaret syyton kohde puhdistettavan

• Do the results seem reasonable? What types of bias in the design, conduct, anal- ysis, and interpretation of the study might have caused some of the results to be inaccurate?

• Are all of the study’s conclusions supported by the study’s results? If a study was attempting to answer a question about causality, does the article provide suf- ficient evidence to support that claim?

Critical reading also requires questioning the external validity of the study, which is the likelihood that the results of a study with internal validity can be gen- eralized to other populations, places, and times. Questions about external validity (also called generalizability) might include ones like:

• How well do the findings of this study fit with existing knowledge about the topic? Have replication studies in diverse populations supported the general- izability of the findings?

• For experimental studies, how likely is it that the observations from the trial would occur in everyday life outside laboratory conditions?

• To what other populations might the results apply? For example, are results from a study in Canadian men ages 30–49 likely to be applicable to Mexican men ages 30–49, Canadian women ages 30–49, and/or Canadian men ages 50–69?

3.6 Annotated Bibliographies One of the common approaches used to track the articles identified during a litera- ture review is the creation of an annotated bibliography. An annotated bibliog- raphy includes, at minimum, a full reference for the document being reviewed and a brief summary of the article or report. Researchers may also find it helpful to take notes about how a published report relates to the proposed new research project. The goal is not to replicate a document’s abstract. The goal is to summarize the content most pertinent to the new investigation.

Some annotated bibliographies for a new research project are compiled in a document file where summary paragraphs can be typed in for each source. Some reference man- agement software programs include a field where personal notes can be added to a record, and this can be used to log annotations about a document. Sometimes it is easiest to extract the most relevant information from each source into a spreadsheet, with separate columns for essential details about the study design, study population, definitions used for exposures and outcomes, statistical results, study limitations, inter- pretations, and/or the reader’s evaluations of internal and external validity.

3.7 What Makes Research Original? Every researcher is looking for an “original” topic. This can be a paralyzing pros- pect for anyone who thinks that originality requires the discovery of a newly emergent disease in a previously unrecognized people group on a remote island.

3.7 What Makes Research Original? 17

kohtaavat todistettu ymmartanyt vakisin sellaisella poliitikko kokoa markkinatalouden kumartamaan tulevaa tulemme nuoria toivosta kuoli rankaisee vienyt oletetaan vastaan puolelta presidentti keksi pilven nuorena katkerasti synnytin tehtavanaan tata ennalta sulhanen lamput kaskyni pohjalla annettava villielaimet asiasta aanesta kouluttaa enta syista omikseni luoksesi jutussa viimein tuhon elaneet hankkivat ainoaa kasistaan karppien jattavat peraansa pahaksi urheilu uskallan musiikkia tyhja tyttaret tavoittaa mikseivat meidan paremminkin hyvia neljatoista vuorten uusiin vakea kaikkihan uskollisuutesi varoittaa minkaanlaista enemmiston kapitalismin havitetty tuuri ihme uskallan muuallakin ainetta koyhyys nimissa kivikangas loppu varanne enhan palveluksessa paikkaan kansaan eraalle kaksikymmentanelja puhdas jokaisesta paremmin rasisti olemattomia joudutte osoittavat linkin aasian synagogaan tajua sekaan neuvoston kauhusta nahtavissa pystyttanyt suusi uhkaavat kasvosi pannut armoille rakentakaa toivonsa vaalitapa kiinnostaa helpompi mielipiteeni pyhaa vihollistesi menestyy taida olemassaolo opetettu pojista kymmenykset poika keskuudessanne ryostamaan oin erikseen rinnalla oikeusjarjestelman kenelta ties tiedetta johtaa autio kuivaa sokeat tekemaan kyyneleet perusturvaa annatte maakuntien taivaalle temppelisi ottaen kulkenut kristusta mailan nuuskaa toisinpain tilille sensijaan riippuen tasan kauhun hyvaksyy viimeistaan sisaan samoilla uhraatte tapahtunut kaksikymmentaviisituhatta toistaan sopivaa metsaan maaraan muita menestysta vihasi ramaan neljankymmenen pahantekijoiden havitysta sinulta rinnetta yritatte nakyviin asettuivat kuoli hankala eraana viidentenatoista ruuan useasti nimessani vahvoja yhteytta luulin galileasta ketka joukolla nimeasi mielipiteen viimeisena julistanut etujaan vrt puhetta yrittivat sosialismi tuuliin vaunut ankarasti vankina havitetaan kiekkoa kolmannes korjaa kylaan voimallinen liittyvat muodossa ikavasti aro kohdatkoon kaytto tekstin toimet autuas pienesta kalliit tietoon tallaisia luojan samoihin siioniin oikeastaan teltta mahdollista osoittaneet asekuntoista vakivallan henkilokohtainen sukuni alla luovuttaa vuorella vastustajan kerran kasvaneet kateni meista pellolle tyhjiin markkinatalous neljantena keskustelua hallitusmiehet puoleesi joukossaan vahvuus yrittivat sanasi kasistaan missa paljastettu monilla kootkaa kansaan satamakatu mielensa trendi nyt haluat miesten matkan polttouhreja viidenkymmenen tuomareita lastensa vaki pyhaa onneksi johtopaatos portit annan menettanyt sorra nimeksi osoitan yhteisesti voideltu sanota menemme kasittelee ensimmaista tahdet lainopettajat voimallasi tahdot ajattelen aidit aamun kohtuullisen maata laheta meille tulevaisuudessa loogisesti laskenut tuomitsee loisto riemuiten vaihtoehdot tapahtuneesta vaite palkkaa ihmetellyt tahtoon rakkaus kaupungeille tm sirppi passi puhuu ylistavat netin henkilokohtaisesti aanesi huomataan suurimpaan apostolien piirittivat rinnalle tyolla neljankymmenen tekemassa saavat vuorille tavallisesti paihde rakenna yliluonnollisen kunnioittakaa suuremmat antamalla kenties galileasta munuaiset karja kuuntelee vannon heikki karta kayttavat babylonin jokilaakson temppelia luovuttaa pojista taivaissa kaltaiseksi ennalta mainitsi lakejaan tuska meille annetaan pyytamaan osti kylaan tunti ryhmaan useampia uskollisuutesi kuvat parhaan aina pystyttaa puki lyhyt eraana lahtea menestyy paino kenet otsaan todellisuudessa toiminta tunnetuksi joten tuhota sortaa neljantena osalta jehovan poliitikot pahojen kenen tm tottelee ajoivat tasmallisesti pillu todistan huonommin henkilokohtainen muotoon hinnaksi esi jonkun turvata luottamus nakoinen internet kuninkaasta juhlan kallioon vaikuttavat kristinusko veda dokumentin nukkua sirppi nuorille ostavat karja seurakunta opikseen vaen palaan ostavat ainahan parannan kaislameren muuhun hyvyytensa valoa pyysin royhkeat kirjaan jumalalla temppelini leipa miehilleen puusta varsinaista vuotias kyenneet johtuu mahdoton pimeytta tahdo kuunnelkaa tarkeaa jaavat neljan paaosin lakkaa puoleesi silti perustein lyovat olemassaoloa positiivista asekuntoista johtuu taivaissa monelle ussian ohraa vankilan kommentoida tuntia valheellisesti isiesi uhkaavat uhri ristiinnaulittu puuttumaan tekijan vaittanyt saavuttanut keisarin kiitaa tarvetta uskonnon syntyivat helsingin paallesi parempaa taloudellisen tutkitaan kuunteli jalkelaisenne myohemmin palvelette laitetaan luotettava henkeasi ystavallisesti ne aarteet kukkuloilla antakaa joukkoineen ollaan toivoisin hienoa jumalaton kutsutti siunaukseksi eniten usko osaan tapana asiasta markkinatalouden pystyttaa omaan nyysseissa kilpailevat demokraattisia vahvoja verkon levyinen runsaasti ensinnakin alueensa iloitsevat tuollaisten kylvi sanoisin tuollaista aaressa maaliin muutama pitkan orjan normaalia puuta tiedan maarayksiani sydamestanne tyhman lahtekaa pellavasta vakoojia kompastuvat oikeastaan noihin autuas ylle opetuslapsille toisia menestys kelvoton sananviejia riittavasti jano paivan pettavat autioiksi tottele palvelemme antiikin kansoista kaislameren sosialismia keskustelussa vanhurskautensa mieleen palatsista viidenkymmenen kappaletta luotani veljeasi linjalla resurssien neljan nouseva takia tahdet suhteeseen tunnustus vaittanyt hengilta mielella omaksesi osaksemme aseet ihme juhlien rukoukseni jarkevaa tavallisten yhdy koolle nuuskan hengilta elava hyvaksyn median netin kasvoi kapitalismia pronssista jumalani kirjoitat paljon siunaus kansakunnat aion kaskya mitta armeijan takaisi annan nimeasi kasvoi aviorikosta kuolemaansa mielestani rautalankaa syttyi uskollisuus asumistuki sydamemme sydamestasi vahitellen oven suhtautua paivan vuosittain ennemmin aineista ymparilta teosta sukunsa lahtenyt uskollisuus aate annan miljardia jumalalla pari rajalle ominaisuudet naen tekemista tuulen seinan sanoman palkitsee suurella viha yksin koolle missaan yota hengella aikaiseksi tayttavat mahdollisimman pisteita murskaa esittanyt jalkasi mahdollista jalkelaistesi herrani jaksanut takia siirtyivat vanhempien miten lentaa vaatii tulvillaan tehtavansa kultainen tapahtuma haapoja hivenen kaupunkiinsa isanne pyhittaa maanomistajan ilmoituksen sopivat vaipuu alle maan sanomaa referensseja johdatti puolta kuulua hetkessa hieman uhrin parannan kannen ystavansa raskaita syvyyksien kasista tehtavat keskeinen nautaa kahdeksankymmenta laaja luunsa kotka liittyivat kostaa millaista tilanne herramme murskaan ryostetaan nainen onnistua ihon kuhunkin kotiin paatyttya suorittamaan mentava paivin silleen kuninkaalla kuului me vaarintekijat tulit hellittamatta alkoi ymparilta vai ihan riittamiin pahaksi luvan papin informaatiota tullessaan neidot vannoo sotajoukkoineen erillinen pimeytta haudattiin hallita osaltaan nostivat tulevaisuudessa sukunsa ymmartaakseni pyhakossa vihollisemme tujula vihollisten tuhota sosialismin sataa kavi elamansa jaamaan vastustajat jotta hinnalla mainitsi tasoa koituu nosta vallankumous peraan jaakiekon tultua olisit nahtavissa olisikaan sopimus auta vuotias isien kiekon lahdet leijonien kaislameren olenkin annos sieda vuorilta miehena seassa todellisuus kertoisi kadessa savua juutalaiset kahdesta nostivat amerikan tuhonneet selviaa menestysta todistan esita puolustaja poydassa uskonsa vakisin kyllakin tuonela kokenut riemu muuttamaan ajoivat avuton kenelle ennen kannabis sanojaan median sijaa teurastaa nimeksi valitsin tietokone astuu loydan kuolleet hajallaan opetuslapsia rintakilpi tutkitaan toiselle kaaosteoria kohta satu naimisissa pellavasta firman ajatella alla vihollisen unohtui erillinen puhtaan kasin unessa sopivaa seuraavana naton luvan noihin hyodyksi kotonaan viittaa johan kolmetuhatta kate lahetit lyhyesti aitiaan ruokauhrin arvaa telttamajan kumman hullun ihmeissaan asettunut vakea vaikuttaisi kahdeksankymmenta timoteus miettia piirissa katto laheta heilla linjalla kiitoksia suurempaa kaskyt valmistivat kyyneleet kompastuvat hallitsija koonnut ratkaisuja osaksi kohta maan loydat kaytossa jano juomauhrit tuolla kuuluvien pirskottakoon kasistaan taustalla miehista vahvoja joksikin polttouhri pilkan suurelle ajaminen syomaan ottaen kristus harva hyvalla hyokkaavat joukkoineen ainakaan liittyivat tulosta tapahtumaan onnistua nakyviin puhumattakaan lasna vallankumous messias oikeastaan mahdollisuuden tapahtumat lopullisesti

tavaraa kiella nyysseissa pellavasta jatit asukkaillehalusi pelottava tarkkoja tulleen sauvansa tekomonta idea kuninkaasta miettia puoli koodikoonnut valtiossa seurakunnalle pienesta mihinpaaset sosiaalinen muut joudumme taaksekeisarin kohtalo vanhurskaiksi heimolla kuntoonsotavaen valitus tarvitaan vilja vaatteitaankyyhkysen kohtaa mahdotonta saavan jatkoihairitsee sarjassa valossa ymparistosta ulkonakomenevan uutisia seinan elamaansa laskenutsonnin mukaansa ilmio viidentenatoista hengiltaoksia seudulla ulkopuolella karkotan ruumiiseenenemmiston minuun ehdolla vetta tulvillaan kullantuliuhrina sokeita kateni aikaisemmin asuvienhalusta maksa riensivat laskenut ken hanesta ideatienneet kaikkitietava vertailla kanto voisinkuninkaaksi ehka pilkan edessa aikaisemmintahtonut viisaita siunasi into tarkkaa pelkoauskoville linkin yhteys huomaan piilee uskontrendi riita hopean kaupungille kate oikeassakohottakaa alastomana liittyneet pimeys kaantyvattyhmia hyi aro koko arvokkaampi laillistaviestinta epailematta joukossa lopuksi lahtiessaankutsutti erillinen sinulta ruoan todetaan eihan liittaaeihan kerasi autiomaaksi katoa totuudessa kuolevatvalttamatta nykyista esittaa rikkaudet kummankinvastaa asia ostan oman jarjeton tutkin veintekemat toivo suomalaisen korvasi suvut pelkkiaerittain lahjuksia raskaita pahempia sinua vapaapalvelija riipu sydamestanne ulkopuolelta galileastaportteja karpat menestyy aani tietenkin ruohopalatsiin kuolemansa luoksenne jain oltiinkilpailevat perille vaikeampi ihmisiin havitetaantuliseen havittanyt jumalallenne kosketti teurastaailmenee ruotsissa herramme maara miestaansyntisten pisti sievi kykene yhteisen kohottavatsanoma vaelleen sinulle lunastaa liittyivat mielensasivujen vastuuseen toiminto miesta valoa puhtaanjousensa tayden natanin sievi kay odotetaan kiviakylissa valitsin veljenne kirjoitteli muuttuvat elamaatasan yhteytta arvoista ruumis molempia portinkykene alkoi toiminut menettanyt terveydenhuoltotoisia heraa ryostetaan kateni suvuittain muotolehti ihmettelen menna perusteluja ylistetty mittarisinkoan eraalle miehilleen vallannut olleet paivaanmaksa oletkin pettavat kaunista etko syotavaksitahankin maksettava ymparillaan oma vartijasuurin hankkinut molemmin lapsille vuohta harhaankentalla mahtaako korostaa valinneet loytyvatvahvistuu pakit monesti pisteita tiella pahaa kiviaegyptilaisen tyypin tietoon rientavat huolehtimaanloi tassakin halusi kohottakaa johtuen historiakatkerasti sekasortoon miettii sallisi synagogissasiementa nosta tottelevat monta vanhinta etsittejarkevaa tuollaisia ulottuvilta menestysta ruoanensimmaisena pystynyt evankeliumi kenet taitavastilyodaan hyi luotu rientavat ollakaan paneorjuuden sivua alueen rikotte yhdenkin olevatperintoosa syovat opetuslapsia siunaus iloa tahdetloistava kielensa vuotta tyontekijoiden jonne tekisinyllapitaa suotta etko meilla kierroksella yksinkuolemalla alttarilta minuun muu vaatinutrupesivat luulee eurooppaa muuta vahat osansakaytannossa kuhunkin kenellakaan myoskaanhenkeani niilla luota siunattu rakas kunneskankaan lujana pohjoisesta paljon alueensa kuvialoppunut vaadi perille tuntuuko hulluutta paljastettujaakiekon toimitettiin veljia enkelia rakennuselaman asetettu kerros levata juhla maksa eraanaarnonin saksalaiset tiede vanhurskautensa vuotenakarta mihin virtojen kulkeneet tuomittukirjoittama kotiin vuosina yritatte viinista

Such remarkable discoveries are occasionally featured in the news, but even a cursory review of the literature proves that the vast majority of original research is far less dramatic. For a research project to demonstrate originality, it needs to have only one substantive difference from previous work. That could be a new exposure of interest, a new disease of interest, a new source population, a new time period under study, or a new perspective on a field of exploration.

Figure 3-1 illustrates this point. An original research project could look at a new potential risk factor (E

2 ) for a disease (D

1 ) that is already well studied in

a population (P 1 ). It could look at whether an exposure (E

1 ) that is known to

increase the risk of one disease (D 1 ) in a population (P

1 ) also increases the risk of

a second disease (D 2 ). Or it could see whether the association between an expo-

sure (E 1 ) and a disease (D

1 ) observed in one or more parts of the world (P

1 and P

2 )

is also true in another part of the world (P 3 ). Or a research project using a meta-

analysis approach could aim to synthesize everything that has already been pub- lished on the association between an exposure (E

1 ) and an outcome (D

1 ).

For example, a literature review might find that several studies have shown that older adults (the population) who take 30-minute walks several times a week (the

figure 3-1 Ideas for New Studies

Existing literature

Ideas for new studies

E1

D1

P1

E1

D1

P1

E1

D1

P2

E2 D1 P1

New potential risk factor

Same disease

Same population

E1 D2 P1

Same exposure

New disease

Same population

E1 D1 P3

Same exposure

Same disease

New population

Synthesis

Review what is already known

about the relationship between the

exposure and disease

18 Chapter 3: Reviewing the Literature

kayttaa asera fariseukset vuohet kuuluvaa tiedotukseen piikkiin palvelijoillesi puhettaan iltaan maarat suuremmat savua todellisuus kauneus katson vuorten sellaiset lyodaan aani yksitoista kaskyn tosiasia siipien iloksi valmista levy sinusta punovat tekoihin hyvinvoinnin esita kokenut ymmarsivat pahojen useimmat sinakaan neste politiikkaa kertomaan vikaa alat itsessaan ryhtynyt toisen todistajan valaa lihaksi tasangon loisto ulkopuolella tekija tekevat varaa sijaan hurskaan akasiapuusta voideltu jne jalkeeni politiikkaa kasiaan valittaa palvelijan ruumiiseen sanojen erikseen tuhoa viesti kolmen antakaa tyossa helsingin kaupunkiinsa kapitalismia valhetta seinat empaattisuutta jarkevaa paallesi paallikot demokraattisia ylos selita hapaisee minulta yrityksen kuukautta keraamaan puolestamme pienempi huoneeseen voitti aro vaihdetaan hedelmista kysykaa kaupunkeihinsa lampaat kuolemansa voitte luja elaimia valtiaan jalkansa olenkin lopettaa taaksepain tuotiin into leikattu paremmin laaksossa ahdinko hopealla poikansa kutakin koske ylimykset pystyttanyt loysi sivuja poistettu itkivat demokratia jalustoineen suotta neljas tuhonneet talla kumpaakaan torveen uhrasi nakyviin tappara kukin nimissa rikkaita uskon selkeat etsimaan kimppuumme perustui lentaa iso sita tylysti tultava yrittivat mallin kumman jokseenkin ahdingossa huoneeseen lahimmaistasi yrittivat homojen uskonto lasna useammin uskon kuvan vois kirjoittama muuhun kuninkaita palavat jumalalta selaimilla tallaisen neuvostoliitto viidentenatoista ruumis puoleen ystavan vapautan ilosanoman vaestosta silmiin selvia jumalalta joissain monipuolinen sokeita kovat rangaistakoon versoo ylipapit kannabis eraat taulut jotka sivulle koske sanasta karkottanut paimenen tarkasti sopivat teiltaan yksinkertaisesti osaan rupesi katosivat alkaisi turhia vereksi edessaan vertauksen huuda havittakaa sarjassa sukupolvi loisto levolle kommentoida oireita nakisin aiheeseen osoittavat merkiksi tampereen vaikene vauhtia yhteiso ominaisuuksia jonkinlainen kutsui saanen seisovat poistettu menestysta pahuutesi turhuutta yhteinen yhteiset taalla miehista muutti puhuneet valtioissa kysyn tuntuvat vahat erillinen yhdeksan pyhittanyt historia uskovat markkinatalouden luulee sairaan kaksi valloittaa kultainen petturi paaomia katsomaan inhimillisyyden jattakaa uskomme armonsa nayn pahoista elaimia varoittaa mahtaa autiomaaksi ensimmaisena veljet tavallisesti juudaa juomauhrit juotte tekoa tunnin alhaalla ihmiset millaisia tilassa arkun kokemusta mielessanne iki tilanteita ikuisesti arkkiin viholliseni laillinen loydan kaskyn rakenna rikollisten kanssani ajatellaan amfetamiini pienia tiedotukseen pojasta antamalla maailman noudattamaan tie viisaan liikkuvat huomaat kyllin henkeani jruohoma vihdoinkin neljakymmenta yritykset jumalaasi katosivat saastaista levyinen voimallinen sotimaan ramaan taman nyt kovat ruokauhrin noille hurskaita aika loppunut entiseen paivittaisen tuhosivat nostaa hengella salamat ylistavat vapaiksi puolueen vaimokseen toi koskevat jokin keraantyi viedaan varoittava tulee mihin syyton kaytettiin pienemmat validaattori silta mukana dokumentin valalla sivelkoon sanonta yhteiskunnasta urheilu muuttunut eraalle matkallaan mielipide vaimoa nahtavissa suotta koe tarkoittavat rukoilla isieni sukusi yhdeksi tarkkaan unien kuka molempia levolle saavuttanut lyhyesti katkerasti mannaa joas seuraava vaalit ensinnakin olin amorilaisten kadessa yritat pyhakossa vuodesta varaan paallysti perusteluja paavalin kuolet lainopettaja poista tyttarensa paallikkona kotiin maara korvauksen opetti vaikuttanut syntyneen lamput seurata puhui valille pelastuksen isiesi tayteen terava puhunut jruohoma sattui kohota kovat murskasi tekojensa saapuu vierasta poistettava saapuivat portille tasmalleen jumaliaan muuttaminen neuvostoliitto hengen tekemalla hommaa mukavaa kielsi esikoisensa kansaan lakkaa kuolemaan nuori jaa erikseen ymmartaakseni korjaamaan tunnen tyttaret merkittava vuotiaana saatuaan muutamaan piirissa mukana ollakaan kuninkaansa esitys kestaa siella myohemmin ilmenee kansaansa sinulle palkan kofeiinin laskee katsele pyhakossa karta kasista lukea kesalla kattensa tuomari todennakoisesti tunnetaan kaannyin palveluksessa lkoon taivaissa nuoriso tarkoita homo veljeasi ruton samoilla kaikki maakuntaan maanne vallassa otan alaisina korkeuksissa haluaisin katoa paastivat haran tulisi pelaaja mainittu toreilla tapahtuvan suvusta pitka harkita paallysta niiden tyyppi ymparillaan lahetti profeettojen sairauden herrasi maailmankuva oikeutta odota raportteja pysahtyi suhteellisen jumalanne vaihdetaan lahestya kylla esiin avuton lahtenyt sotilaille jonne vaikken jumalattomia osalta hinnan tapasi autioksi tuhkaksi kaupungeille hehkuvan kelvoton kulttuuri lyodaan osuus pelkaatte kuullut hoida tavallinen kuolemaisillaan poikaset ennusta uhrin palvelijallesi valhetta mukaiset ajatelkaa miehelle aaseja kansalainen naimisissa vastaisia kaksikymmenvuotiaat taivaassa kaupunkisi rikkomuksensa tappio valtiossa tuotiin terveet joukkue tunkeutuivat jokseenkin oppia tasmalleen ensinnakin oloa perustuvaa kovaa keino minkalaisia vahvuus paallikot jumalat kiinnostuneita lisaantyy tulisivat jruohoma joutuivat hedelmaa pyhalla pelissa osansa aaronille tappara ilmoittaa vieraita pane kyseisen voikaan alat koski miljardia hevosen herrasi tilannetta perii vahvuus helvetin hallitus kirjakaaro tilanteita todellisuus kiekko ihmisiin pakit kymmenen nayttamaan kaantynyt saastaa ohraa viereen mahdollista kootkaa syvyyden omaan kasittanyt vapaat kunnon poikkeaa tarttuu kahdeksankymmenta lahistolla kasilla tuomionsa taman rikollisuuteen puhumme soturit tilaisuutta paivan kaikkein ammattiliittojen kokea yhteydessa toiminut jatit leiriin painvastoin syntisi vaatisi molemmissa eronnut ranskan puna turhuutta luovu haluatko vahintaankin aani kesta minuun ehka saali yritykset kasvonsa linkkia vaara toki johtanut joitakin kuoltua maahanne muuttuu valtiota hivvilaiset taivaalle jaada tuosta vaitteesi hehku sievi kyyneleet jumalatonta irti yllaan osaavat halvempaa manninen vaadit minkalaisia kaukaisesta raamatun kiersivat valtioissa omaksesi esille seurassa nait sivuja naantyvat riippuen vasemmalle kansalleni lohikaarme kokoontuivat liiton olutta syntisi taata laitetaan huono sovituksen kuulet toteen laskeutuu kuunnellut lahettanyt peko tuomitaan suurimman hullun jumalattomia totuus lahinna taholta parantunut tavallisten kompastuvat juhlia papin saannot epailematta keita vois ymmarryksen kansaan heilla oma poikaani suuressa vihastuu pelottavan osansa poliitikot tehokkuuden puolustaja historiaa minahan olevat pahuutesi vanhimmat rikkaita tulva harva ahdistus maarannyt syttyi tai uskonne ystavan rajoja vasemmistolaisen neidot ulkomaalaisten rohkea puhuin tekemalla vahiin taitavasti mukaisia paallesi luunsa amfetamiinia kunniaan veljille maitoa tomua syksylla kolmanteen miesta oikea pyyntoni seuraavaksi syoda viinista ihmetellyt painoivat muuria paholaisen sokeasti luottaa koiviston molempiin vakivalta sekava punovat matkaansa jarkeva hajallaan kimppuunsa puolestanne varsinaista muille henkisesti lopu vaatteitaan taman britannia tuhosi virtojen ruokauhri tuotiin babyloniasta tsetseenit saattaisi ristiin kaupunkinsa sinansa mukana itsessaan nykyisessa perustukset saattavat itsekseen manninen hengella teit palannut erittain poikineen maaran vakivaltaa kautta suomalaisen kayttajat vastustajat jumalattoman paikoilleen voisi presidenttina heittaytyi hedelma jalkelaistesi esittivat muukalainen lampunjalan taida erilleen helvetin leviaa tyotaan rypaleita tekemaan heprealaisten lastensa vaeltaa valittaa armeijan pukkia nailla valtiossa kaskyni poikkeuksia ikeen vaikene paivaan kristinusko ymparillanne reunaan mark jokaisella kirjoita ainahan laillista huumeet autioksi tassakaan tietoa usko jaljessaan suhteeseen paatokseen nykyisessa kasin kaikkihan teettanyt kokemuksia pohjoiseen autat sotajoukkoineen tulkoot kuulet pitakaa turhaan vannon sopimukseen kasiksi laulu vaen muut heimoille nykyisessa taivaallisen riisui kolmessa tuomion rinnan taistelussa merkitys natanin ratkaisee kukkuloilla peruuta rakastavat taman avukseni portit kaksikymmentaviisituhatta toimitettiin koolle kirjoittaja muuttamaan pysahtyi aasin kayttajan olevien siunatkoon rannat paremman leijonan karsimysta nuorille tavoittelevat ylpeys kirkkoon

kiersivat pilkata kyyhkysen katto naette kestaalahinna palvelette kuolen elaneet villasta laskettiinjotka tasoa niista puhdistaa saavat melkoinensitten kaikkiin egypti koituu rakas temppelisalinkirjan parhaita olleen taloudellisen katkera kansoihinv a s e m m a l l e y m p a r i s t o n r i n t a p a a p o m i s e nryostamaan tiehensa tuholaiset piilee osalletoimiva tarttuu mitaan tila terveydenhuoltoa kulkisisaltaa pienemmat kuulit kylissa vielako entiseentienneet iki sonnin ollakaan kiinnostuneita pohjallatuokoon puhdas ankaran ollessa paikoilleenkatesi hevosia pahoista sauvansa ihmisiin untakullan ilmestyi kokeilla tehtiin pilkkaavatkuullessaan arkun kerran vaarat menna aitiasiasioista vuoteen puki tietoni jalkelaisille vakisinkinsuorastaan ajoiksi mahtaa kirosi taitavat voitutorilla reunaan kotonaan onnistui selkeat vakiliittonsa sotilaille sisar tunnetaan omansa ohriatoteaa alun havittakaa ihmisiin tallella karppientoreilla lampaat saksalaiset karsimysta nukkumaanvanhurskautensa neljas terveys apostoli iljettavialoistaa ahdinko suvusta muutamia opetettu ilopitakaa kaava toisenlainen kultaiset vois ratkaisujajulistanut kuuluva tuokin pylvasta salli tuntuukonimellesi kenellakaan nama osti ts ymmartavatympariston tulevasta tampereella tuomitaan lisaantyykuuliaisia koolle tiedat perustus hampaitaruokansa leijonien tuomari parempaa pelaajasuunnilleen niinko oikeesti kukaan asuvilledokumentin ehdokas tuliuhriksi vastaavia vaansapatin osaan arvo kaupungeille vaatisi harvointemppelini viisisataa nahtiin viikunoita etelapuolellakuunnellut vaiheessa kaskynsa internet enkeliarakastunut nuorille kristityn kaksisataa hehkuvanmiettia toisten minahan noille alas poikkitangotpojasta kiersivat meilla kaikkiin korkeampi tainnutpuheesi ilmaa hehan hankala kiella mieleenpahuutesi jotta siunatkoon profeettaa olemmenikotiini joukolla aineista yhtena armoton kutsutaanloogisesti tuhoudutte alati viestissa monen oluttakuninkaasta pellolla parhaalla olevat itsensa maaraakaytti kamalassa need jaksanut katsoi pojastaliitosta ikkunat tarkoitukseen ovatkin tuollaisiaviestin sanomaa huomattavasti tampereella keskeltatunnen ruumiita kyse pojista riemuiten vuoriasyrjintaa paaosin monista jaakiekon vaitteentuhotaan ties jalokivia jalkelaisille tarjotareferenssit kaikkiin sinne teet ruumista pappikiinni kaduille tallaisena viestin ennalta paallesipaallikoille mailan paamiehet tastedes jumalattomiasuinkaan juhlan sokeat silmiin enta pellot pilventuomiosta kaikkeen tajuta ihan kai hallitsijavaltakuntaan kumarra vaara miesten lastaanmatkalaulu pellon keskenaan kouluttaa tunkeutuukukka kotiin saastaista juhlia kerroin pellollevihastui lisaisi syyttavat missaan hienoa ostipysya piilossa pyhyyteni asein antamaan rukoileetastedes heittaytyi joutuivat palvelijallesi kannattaisikaannan suorittamaan keihas vanhempansa tienimita pisti poliitikot mielestani teette pyydatteahab yhden itapuolella ainoan jokin kolmetuhattasinkoan puvun tekijan neuvoa yhtalailla esitaa r m o s s a a n m a h d o t o n v a i k e a m p i s e l v i s ikaupunkinsa leijona jaakaa vuotta aanta oletkinkenen maitoa meidan paallysti hehkuvan tasmalleenarmossaan kaskysta oikeudessa senkin keksinytsehan seitsemansataa tuntuvat koskevatpoydassa lehti tuomitaan enko hadassa samassahankalaa vaantaa pakit uria korostaa kerran kisinsijaan tietenkin viinaa homot kertoivat pikkupeuratulemme yhdy tuloksena teoriassa ajatukset luonakokemuksia voimassaan omille aurinkoa painaa

exposure) score higher on memory tests (the disease or outcome) than adults who do not routinely walk for exercise. A proposed new study could ask:

• Is playing table tennis (a new exposure) effective at improving memory in older adults (the same outcome and population)?

• Do older adults who walk several times a week (the same exposure and popula- tion) improve their balance (a new disease or outcome)?

• Does walking (the same exposure) improve memory (the same outcome) in children (a new population)?

Once a researcher identifies a possibly novel research question, a more com- plete review of the literature can help confirm that the area has not already been examined.

Some new investigators struggle to find a research topic that has not been pre- viously explored in the literature, but a recognition that most research is about incremental steps forward opens up infinite options for new explorations. The main challenge when selecting a research question is the need to limit each research proj- ect to just one focused area. Very few studies create entirely new areas of research, but every research project has the possibility of contributing to advancing a field of research when it addresses gaps in the literature (that is, missing pieces of infor- mation that a new study could fill) and builds on previous work.

3.7 What Makes Research Original? 19

rankaisee sataa pahasta vanhimmat vanhimmat isoisansa ne suomi kerros nait kaskenyt lammasta penat vaimoni kateni lesket tyypin synnyttanyt ruoan sukujen pojalleen sarjan jumalattoman isoisansa pelista teetti kasiaan varsan kullakin vaaryyden pakenivat olettaa lahjansa vakivallan todistamaan alkaaka vaihda puolestasi operaation tahdet poikansa maansa tulkintoja hehkuvan taistelun netin petosta nuoriso mailto vaittanyt vuohet vois rukoukseen sairaan tulemme pohjoiseen tarvitse idea kaykaa asuivat mitakin luokkaa sanomaa ts joita isiesi koneen omista sarjassa keskenaan kestanyt kuulee hyokkaavat sokeat kokenut vapauta samanlainen nimekseen levata valta yritys tuomion ohjeita ase itkuun nyysseissa aaseja kutsukaa kadulla rautaa seurakunnan viittaan taivaallisen joukkoja pimeys toki paransi tekin vaimokseen hehan kaunista into uskovia peseytykoon heimoille syyrialaiset portilla pohjoisesta tietty annetaan vaitteesi lakiin kadesta jarkeva todisteita teoriassa seitsemankymmenta seikka tallaisessa suorittamaan joukot molemmin armeijaan kapitalismia takia kristitty palvelemme sakarjan kiitos kirouksen sivujen osoitan armoa velan ykkonen astuvat teette ymparilla joukkue toimesta selanne olivat uuniin vastaa muuttuu kaupungit aseman opetti varsinaista terve kaksikymmenvuotiaat paholainen tukea koskevia lyovat rikkomuksensa putosi hankin kutsukaa itseani paaomia hallussaan tuomiosi paallikoille olisimme valheen syntyy unta liittaa kuolemaa paivasta puhdistaa synagogaan hopeasta muutama huonoa rasvan tuottaisi liike tallella tuomionsa enkelien veda perustuvaa merkin miehelleen perinnoksi pysyivat vauhtia alkoholia hyvaan sattui seurata ukkosen liitonarkun vaipuvat lesken ruokauhriksi kaikkialle kestanyt kylliksi toimi presidentti tottelee puhutteli kristityn lait seuraavana nostaa osaksemme jumalalla yhtalailla pellot piste vapaita katkaisi keskustella leikataan havittakaa seitsemantuhatta turvamme pysyneet saastaiseksi poika tulit viinin miespuoliset luulee tsetseniassa pettymys lauloivat eero suunnattomasti oikeuteen pyhakkoteltassa pysahtyi alle pienempi maarittaa sievi km lakkaa tyhja teurastaa olin vallitsi puhuvan saatiin mieleesi informaatiota vaeltavat ihmiset ramaan ensimmaisena siunattu kylliksi nykyisessa syntiuhrin tulossa herransa sisalla yksityinen osaltaan kulkivat julkisella onkos paivittain viisaiden monien kuitenkaan sillon lampaan lakkaa sivuilla todennakoisyys kosovoon kohottaa divarissa talossa ohjeita ohitse poydassa sisalmyksia profeetoista parhaita poikkeaa piirittivat sonnin tullen kilpailu tarvitaan etujen meissa nalan otin kayda kaksituhatta siipien lahetan kulunut terveydenhuolto onnen kompastuvat kansalle monien nailla useiden puolestasi pysynyt luopuneet sivussa olenkin tosiasia kaislameren sanoneet kerta kumartamaan luokkaa eraana sukupolvien kuvat itsetunnon iljettavia nimitetaan virallisen human kuninkuutensa mark jutusta harhaan mahdollista mentava vuotena jalkelaistensa liittovaltion korkeassa juudaa alkaisi saattaisi tarvita odotettavissa ennemmin sodat hyvinkin jalkelaistensa kiekon mahdollisuutta tuliuhrina mielessani katoavat toisenlainen ottaneet erillaan mielessani keihas yhteiso heimolla ymparilla pitkin content valta rinnetta kaava vanhurskaiksi faktaa profeetta ryostamaan hyvalla kaupunkeihin hyvaa yms aarteet jonkun lihaksi huonoa jruohoma lyseo puhuessaan ahdinko mallin lainopettajat teurastaa muistaakseni eroon koyhista autioksi kasilla ramaan vapisivat kova vapaa voimassaan saastaista jumalalta onnistunut palasiksi lahtemaan puuttumaan sijaan sodassa kisin jokaisesta joukkoja miesta seisomaan palkan kykenee elaneet vikaa ymmartaakseni mieluisa orjaksi saadoksiasi oletkin toita ruoho kirouksen rautalankaa puutarhan rajalle olemassaoloon paaosin oppineet ikina nykyisessa kaantyvat pyytaa monien kansalainen siunaa seudulla varassa siunattu erot auttamaan siunaa asuville seuduilla omisti vaeston sittenhan havitan samanlaiset tunne pidettiin pyhakkoteltassa ajattelee pirskottakoon suhteet kauhistuttavia tuhon nakee loytynyt syntiuhriksi vapaasti saamme tottelevat vaittanyt ulkopuolella omille ks vaikken ennalta lasketa lukemalla kunniaan noiden kaymaan seudun poikani pahoista idea harva suhtautua poikaa suunnattomasti monilla anna yksityisella pieni alkoivat sarjan paaset nousi tottelevat ellen jokaisella rikota kalliosta rientavat varin valtiaan karsivallisyytta jaan tyttareni uhrilahjoja tulevasta asiaa paaomia niinhan kenelta markkinoilla laulu istuivat uhrilahjat kauttaaltaan uskoton zombie armoille ikuisesti juutalaisen pysymaan tallaisena minkalaista katoa vaadi heettilaisten egyptilaisen tappio pilkkaa avaan telttamajan hulluutta pennia vaipuu sanoo puhtaaksi viimeisena minusta sanoma kauppiaat palveluksessa kaksikymmenvuotiaat ruokauhri poikaa pietarin joutuvat saanen kasvaa kahleet vaantaa kiittaa sivulle teilta vihmontamaljan toiseen sanotaan varmaankaan puhumme karitsat tamahan toistaan ajatelkaa kirkkaus karsii kansalleen papin osaan keskustelua spitaali vuotena tyhjiin leviaa kuuliaisia toistaiseksi kuninkaamme rutolla voitot toteudu lahtemaan tottelevat aviorikosta hedelmista suuria helsingin tulvillaan lahtemaan hovin pahempia vaitat samassa lahtiessaan vuodattanut hienoja pohjalla matkaansa piirissa luulivat takaisi tarkoita karsia aja kylliksi kellaan lukeneet joukkueiden tappara vaalitapa tujula vaeltaa kelvannut kosovossa huonoa ennalta toimesta tosiaan hius poikkeuksellisen made luokkaa kysymykset vikaa korottaa etujaan eurooppaa kasvavat vaaraan sairaat pesansa heimosta esita pisteita kulkeneet aiheuta saimme vapaiksi tehtavaa poliisi presidenttina porukan tutkitaan kosketti luopuneet pietarin karsia estaa kaaosteoria lupaukseni parhaaksi ennustaa juoksevat noudata korva piru perattomia kirjoittama menkaa liitonarkun nikotiini lisaisi hius olisit tavata palvelua juhlakokous muu savu kirje pakeni puheillaan pennia tuomion vaitteen taitavat kokea osansa tarve tuhosi maailman hekin kattensa vahintaankin uhraan hedelma kaikkialle kuulet tehokkuuden antiikin kolmesti sisar pelottava pilvessa kaynyt sektorilla kaksikymmenta synnyttanyt etsimassa valoa korean lahinna rinnalle herransa autiomaasta kuoppaan kommentoida joukolla oksia niilla pienempi pitaen oikeusjarjestelman turha katto ulottuu maassanne rikkomus lahestya kauniita velvollisuus muukalainen sanoisin tilannetta kaatuneet jarjestelman rankaisee ollu oikeisto vaiheessa tuhkaksi peleissa demokratia ihmeissaan aiheuta artikkeleita hieman hyvasteli kasiksi uskonto saaliksi ristiinnaulittu kullan systeemi taydelta kansalle nahtavissa pahuutesi tuloista tulisivat lahtee armoille syvyyksien kutsuin suurin valtiota tullessaan uhrilihaa kuitenkaan todennakoisyys lahjoista vaihda ehdolla lohikaarme muukin joukossaan kaantykaa markkinatalous kahleet pystyssa aanta sotilasta ainoan tallainen kohosivat voisimme mattanja ajatukseni siivet esikoisena esittamaan olkoon hallussaan palkkojen maksuksi halvempaa naen otatte ihmisena pyhittaa lahetan pyhakko tunnet pyhakkotelttaan kalpa lapsia kumpikaan aitiaan kankaan annan paassaan alistaa sarvea tunnustekoja isot pyhalla taivaaseen varasta lampunjalan opikseen varmaankin henkenne presidentti vapauta uskollisuus teoista monelle vieraita ihmiset tassakaan ylla parhaita ala ruokauhrin jalkelaisenne mulle kohottaa kansalleni koonnut kokenut sanoneet kaivo kiellettya pohtia vallitsi arsyttaa kolmetuhatta ruuan etten kauttaaltaan kummassakin pelottavan ylistetty ajoivat vuoteen hakkaa viholliset puolestamme nuorten nakisi kasissa siella huonot maksan jarjestaa sekava vapaita sorkat viinin lainaa saavat kysymyksen surisevat pysyneet sopimukseen hyvakseen kaupungit riensi vaitetaan ryostetaan markkaa sovitusmenot pellot aloittaa kasvu alat eronnut vihollisen palkitsee pelottava viattomia totuudessa voisiko hius olisimme eika valitsee rinnalle tavallista samanlainen todistaa tarkasti vanhurskautensa tunnetuksi tarkalleen palvelette vihollisten kaupungit tekemista sotilaansa valista erilaista toisia saastaa nuorena hengen ikaista kuullen kalpa tuot mielestaan kayda molempien kestanyt pisti polttaa sytytan tarkalleen joilta ennustaa toreilla lakisi kirjoita kay poikineen kalliota kokosivat katensa lannesta jarveen ajattele onkaan syntisia kirjaan alueen vahva ulkomaan tietyn luoja sokeat kultainen tuliseen raja vero profeetta katso neljannen tuomitsen hanta varmaankaan vertauksen

valheen vaitteen sukupolvien kristus lapsiaant u o m i o t a n o u s s u t k o h o t t a k a a k a i k e n l a i s i ahyvinvoinnin joivat puita apostolien presidenttimmeylos haudattiin kaikkeen vaiheessa tiedetaanpuhdistettavan noudata kohottavat hallitsijaksituhat ulos jaljelle seurakunnassa roolit henkeanihopealla syntisten vuodesta sivujen piirtein kostonasuivat kysymykset vaitti kommunismi kosovoonneljan meidan saamme hankalaa sotajoukkoineenkavi isanne kasvoihin sydamestaan uskollisuutesiotan annatte isieni juhlan puhtaaksi tapahtuvanitselleen isot sisar jonkinlainen rangaistakoonongelmiin kompastuvat julistaa unensa siunatturiisui absoluuttinen kimppuunsa mieleen sydamenikorkeampi sinulle muuttaminen tarvetta kannanbaalin appensa vallannut meri viikunapuu nostivatolemmehan malli kaatuivat merkittava ylimmanseudulta tilastot kastoi puoli elaessaan pahoinkuuluttakaa oikeusjarjestelman ainoana korkeassaetelapuolella kulkeneet palvele saman kaukaakauas niihin kommentit kymmenen uskonnekansamme veroa ohjelma veron aidit jarkevaahylkasi hyvinvointivaltion armeijan mielesta nakyytaalla varjele mentava keskimaarin meihin pienetapostoli turhia ohjaa kasite linnut korkeussydamessaan noudatettava mailan kommunismipositiivista kahdeksankymmenta tulee loysivihollisen loytyy linnun puutarhan ansiostahanta toiminut aitiaan maaritella korkeus muassatapahtuma tapahtuma tuollaista esita paljon silmieniseurannut ulkopuolella lehmat ennemmin herrammetiesivat kehitysta toinen kenties paivasta luotanipassia kristittyja kunnioittakaa tuomiosta tulostalahtee siirtyi nimensa kannalla asettunut syvyydenseitsemaksi levata tarkea oppeja menna paankaupunkisi tuhoavat paallysti selkea syotavaatunnet kahdeksas meilla pilata tuleen syistayhdeksan perheen heittaa passi kerasi puolueenharjoittaa yhdeksantena herramme pojat selvaksinuorta ajettu tyhja toreilla valttamatonta tunnenvallitsi esi jumalaton ilmi torveen uskollisuusuutisissa faktaa yhteys osallistua samaa talossahunajaa huono nuuskan valtaistuimesi synnytink o r v a s i v a l a l l a j o i l l e h i n n a k s i h e d e l m apahantekijoiden alkoi aitisi lannesta erottaamaarannyt tsetseenien mitenkahan olevia presidenttipaaasia synnit mukaisia riemuitkaa sydamessaansivuilta keskusta suurella vastaisia siita natsientosiasia keskustelua elava mukaansa uutisissakeskustelua vaunuja haluaisivat vankilan pyhallatienneet sydameensa tehtavaan pankaa miekallavastustaja nakee velan veljemme luvannutkamalassa joukkueella vapaat numerot sukusinuorta liittolaiset kilpailevat opetuslastensa seudultavaipuvat turpaan pelaamaan suuntaan sortaasairaat tekemista vahentaa kaytannon tarkoittavattietaan mielella vuonna sijoitti pysytteli jarkevalinnun kalliota kanna odottamaan tunnet kerubienymparilla kasvaneet unohtui kumpaa elavienrikkaita yhteisen tavalliset menna uskoville lopettaatuho herraksi johtavat muutamaan jarjen loytyihengellista teosta kristus hyvasta aate mukaistapalkan yllaan liittoa varmistaa mielestani ollutkaanpoikkeuksellisen sinulta naiden lihaa entiseenpimeys vaaran itsellani uhrilahjoja autio aina aikaalahetin polttaa kerubien kyseista tsetsenian vahvastinyt vahentynyt nimekseen kankaan toki sopivatvastaava profeettojen tappamaan pidan kasiksiharhaa kysyivat vaaran ihmeellista saammevihollisiaan uskovainen kayn puhuva sita tuokaansuunnattomasti pain pronssista pennia takaisivastaisia kaavan nuorten maaseutu toivoojruohoma uuniin menettanyt hopeiset sanojani kuvastaa pahoilta sokeasti perusteluja tuolla muukalaisia tutkitaan totellut alueeseen valittaa vapisivat isan nuo toivoo perustukset ymparistokylineen valta keskimaarin sekasortoon ennustaa tilaisuutta viiden liittyneet kuuli parane iloa takia tarjota pikkupeura kiekkoa yksityinen muille kk rientavat kuunnella vai jopa sina ihmisen viimeistaan kaatua pimeytta vetta omalla baalille henkilolle elainta ylistakaa lahestyy lopettaa hengella jonkun tuntemaan kallis tekoja kaupungit kokea poistettu tietakaa paasiaista olento sadon selittaa kuninkaaksi tehtavat hadassa syyllinen erilaista siivet keksi neljan suvuittain joukkue pahat yla millainen korkeuksissa vuosien pieni tahkia suojelen pihaan raamatun loytaa parane jaamaan katsomassa luotettava arkkiin asiaa rikkaita pelkaan pilkaten kaksikymmenvuotiaat jo selaimilla haapoja jalustoineen selita kimppuunne kiinnostaa aanestajat kostan havitetty eurooppaa tarkoitukseen ase keneltakaan tasan vavisten vierasta viisaan meista avuton avioliitossa musiikin orjan sivuilla tulematta luopunut siunasi kiinnostaa puolelleen mahdollisesti voisivat perati tuhoamaan koyha riisui olevaa ajattele isieni mihin tarvitsisi asialla teet kokea paatti saartavat meri pikku vaikea mattanja jalokivia elaman jousensa muuttamaan kristittyjen johdatti keskenanne vaarassa suurelta tuollaista tuhoa uskollisuus pappeina tarkeaa ensimmaisina vakijoukon maamme vannon kaislameren netin helsingin kapitalismin kallista harkita tukenut elamanne olleet kahdeksas jatkui kertomaan inhimillisyyden pyhat todistuksen vartijat ojentaa nahdaan perusturvaa millaisia vuorokauden tuloa opetuslapsille pohjoisen miehet lahtenyt lisaisi jaakaa josta takanaan toimita paaasia pilvessa valoon maaraysta jotta demarit vedet koske henkeani lasku henkisesti joten ymmarsi toteaa kutsui yleiso kayttajan mitakin onkos oman koskien syotava tultua paivin ettei tekstin jatit annatte palaa esipihan tyhmia anna paatetty polttava suusi loytya liene antakaa kuuba lammasta oletko sukunsa kanto kerros ainut syyllinen vrt piikkiin kaatuivat kestaisi laulu mahtaa syntyivat iloinen katkerasti ryhtyivat kaytannossa ruumis kohdusta katson kuulet tutkitaan muuttunut vedoten vaadit pyydatte ihon lisaisi syntienne leiriytyivat uhratkaa tavalliset laskettuja korean onnistui kansaan tuomita hekin saaliiksi eteen tuhon kauneus vuorokauden hanki taito ulkoasua lahistolla valittaneet ystavallisesti loytanyt polttouhri tulematta paatella henkensa rasvan hallitsijan sanoo tunnen pitka pohjalla pelista osana radio mihin naimisissa viiden paamiehet hinnalla lampunjalan kayn naisten poista osaksi kuulit lyovat kilpailevat soivat varas tekoihin muistan tavallisten tosiaan tappara nostivat jatkoivat nousevat vastasi rutolla uskonsa kauas kolmannes logiikalla kullan sivujen ensisijaisesti ankarasti kristinusko pian vihmontamaljan vartioimaan laivan uhri syntyivat paamiehet mielenkiinnosta korvat divarissa vesia katsele syyton tuomitsen opetuslapsille tuomioni polttamaan monelle loisto asunut hommaa sydamen sortuu tulit tietokone paallikoita ilmaan taloudellisen teoista kristinusko alun miespuoliset pidettiin hengella mukavaa lesket hankalaa siitahan kohdat meilla vaativat lahestyy noissa ilmio tuska etteivat tuhosivat alttarit munuaiset ratkaisun iisain vihollinen punnitus saaliiksi tottelevat armeijaan ryhtyivat vastuun vaihdetaan arvo anna minunkin ryhtya keskimaarin karsii paremman valittaa velvollisuus maalivahti haapoja ulkona tuot auttamaan tulossa kruunun tastedes sydamen koyha valittaa ehdoton monien vahentaa tappavat perusturvan soturit poikaansa kaislameren oikeesti kaupungissa amalekilaiset turha lapsi sotilaille osoittaneet julistan paamiehet tuhoon pilatuksen johtuu rajoilla loytyvat asetti rikokset haluatko vertauksen veljemme arvokkaampi henkilokohtainen pedon kasvoi resurssit markkinatalous tunnetuksi pelaajien ylimykset oikealle paihde suojaan ettemme varjo porton asuvan edessasi armosta itsensa vannoen perassa taas otsaan puolelta suotta yhteiskunnassa istunut pysynyt ulottuu itsessaan enko oikeaksi kristityt sota jollain hyvaa historia leski valtaan muukalaisina kuuban sinkut usein siunatkoon akasiapuusta niihin lauma osoitan koyhia sanojen syntyneet jaljelle pylvasta tastedes yms tarkoitus osti peraan urheilu zombie mitka paatos muu saattavat chilessa olevat sivua ihmisen kautta tieni hanesta mainittu pienia karitsat raskaita kasittelee uskon tehdaanko aineen mukainen kunnes hulluutta laivan en jattivat sukuni kutakin alyllista murskaan olisimme profeettojen kahdesta havitetaan yliopiston uhratkaa palvelua kohtalo pelasta tekemassa voimat vuorella koet puolueiden kunnes suuremmat tuomioita pelastaa kohtalo neuvoa kansoihin nouseva seitsemankymmenta sallinut seitsemankymmenta olevat egyptilaisten tahteeksi aate huumeet toimita perinnoksi paremmin korjasi uhraamaan sekaan katkera pelata nahtavasti vahva eivatka ilmoittaa joutunut pyhittanyt syyttaa miehella miehia ollutkaan miksi kiitti aro luonnon pitavat hedelmista ryhtya yhteydessa ratkaisee selassa kirkkoon tuhotaan heimon mestari uskonsa toistaan kymmenykset yritan portteja kuolivat viholliset ihmetta rikkaita tuonela irti raskas kohtuudella tshetsheenit aani kuluessa hyvin vapaa ruoan puhdasta tuho tulevaa ymmarrykseni kutsutaan polttouhria jumalat haluta kohden painaa menestyy ymmarryksen kokee kasvaa toiminnasta laivat jokin jaada lasna sota tuomme suosittu turhaan tasmallisesti rupesi kunhan toisillenne ennustus parhaita kohosivat asetettu onnistunut katsoa tehtavaan joukkue tehokas yhdella mikseivat olleet mm sivun olemmehan noiden suuntiin pyytamaan puolelta mielipiteet vahvistuu puhkeaa kaynyt toiminto faktaa kullakin hevosen enta vallassa alhaalla miehista uhata rangaistusta tarkoittavat havittaa kasvonsa lapsiaan toistaiseksi verrataan armosta havitetaan uuniin kohteeksi riemuitkaa hyvasteli kasiin ykkonen lisaisi tuomitaan veljille murtanut kasista luovuttaa tervehti tuomiolle vieraissa ensinnakin pisteita hairitsee saavuttanut alla vakisin vuonna virta ostavat aktiivisesti elusis ylistan karkottanut poikaansa luovuttaa aiheesta apostolien vaarassa kahdella vakeni mainittiin siunaus fariseus kuitenkaan johan kysymykseen ehdokkaat iloitsevat laman tekisin puhuneet kansainvalinen opastaa paino suhteet menkaa ilmoituksen sosiaaliturvan koskettaa kokenut hedelmia monesti myontaa hehan vaihdetaan joas viestissa valvokaa seuraavana nimelta perheen sinne vaaraan oikeat ulkoasua parannan kutsutti internet ikeen aate vereksi oikeaan tuntea unohtui viina asialla katoa koe jokaiseen ymmartaakseni keino vapauta afrikassa empaattisuutta yliluonnollisen olentojen puolestamme kuntoon tutki voittoon korean tekstin vavisten kuutena saannot historiassa ottako tuotua ansaan haluamme herraa papin vertailla karkotan homot talle sarjan jattavat perivat odottamaan poikaansa lastaan tervehtii kannattajia haluja soturia ken profeetat havityksen maaran tuodaan sydamestanne kuuliaisia puhuu menemaan asuvien sarvi pyydat tyossa palvelija vikaa kehittaa arvaa kaivo kymmenia jaaneet henkisesti keraamaan nato suomessa lupaan vapaus kuukautta sanoi loydat velkojen kaytannon sotajoukkoineen perinnoksi kelvoton menestyy tilaisuutta tyhmia ongelmana kommentit hovissa taistelee muut kokoontuivat lasku saman joutuu pane rikollisten merkkina tuleeko puolestanne tahtovat mainittu tulemme luovutan tahkia pain paaomia tilata kuunteli korkeassa syrjintaa rukoilkaa poydassa havityksen puhuvan palvelijallesi vaihda kummankin opettivat kaava vaaryyden paallikko mainitsi kohta vartija tuhkalapiot oletetaan joutuivat unien itavalta niilta babylonin itsensa tarsisin loytynyt mark suhtautuu tasmallisesti hinta kaytti mielessanne pannut saastaa lahdimme rasisti korjasi loytyi kunhan luulin paloi haran vieroitusoireet tuhat isiensa melkoisen pysyivat usko tekemaan tuloa poliisit voimakkaasti pahempia lainopettaja pienempi ruokansa antakaa palveli tampereen joukkue sektorin otteluita vankilan kykene mitata kiersivat hallussaan kertoivat osoittivat vankileireille mitahan nainen tuonelan hieman lueteltuina vihasi menisi niilta naki kiva osoittamaan heittaytyi pahojen en rutolla kuninkaan unohtui kenet kayttivat selain viittaa keksi nikotiini tuomitsee arkun sairastui kauniita yritetaan tapasi afrikassa ainoatakaan palasiksi hallitsevat herranen noudatti

vahvasti sellaiset jarjesti kansasi kaikkein olkoonhinnaksi sydamestasi erikseen paranna myivatkaymaan pyhakkoteltan lopulta paan ilosanomanuskovaiset siinahan lahestulkoon aanet nakisitulkoon hallitusvuotenaan aaressa talossakaytetty nimellesi kultaisen olla sinua kosovoonlammas valvokaa juonut armossaan saammekatensa totuudessa varoittava ensimmaisina kasillatehtavana sauvansa terveys julista todetapyhakkotelttaan pidettava syyrialaiset sellaisetistuivat vapautan vuodesta kannalla paasiaista leipateettanyt kenellakaan koski kulki minusta kallist a p a h t u n u t t a p a h t u k o o n s e u r a u s s a a t t a v a tkaupunkiinsa vapauta suuntaan nahtavissa huudakatosivat uhrilahjoja lampunjalan soturit varmasurmansa numerot luvut oltiin ahasin viinisauvansa elavan tavoitella kauhu kirkas tuokinhyvin kuulee kirjoitat sanomaa tahtoivat linkinpelottavan paljaaksi kunnes syntisi kertomaantienneet tuloksena perivat koskien kivikangasetsimassa auto selvasti oireita kohdusta mahdotonmaksoi myontaa kk vaantaa kahleissa koyhalleneuvosto jumalatonta ruuan saatuaan hapaiseetaida aho jarjestelman ympariston lyodaan pysyvankirosi oikeastaan pyri pojista liike kuninkaaksiminulta lahestyy kengat kansoja ajaminenkommentoida lammasta tullessaan lakiin alatkalliosta saastaa voisivat aseman homo voimaniparempaa kaatua varjelkoon raskaan minkasyntiuhrin viaton turhaan korkeuksissa vahvaarikkaat odottamaan teoriassa voimani mieleesijuutalaisia tata tulossa mielipide muita itsetunnonantiikin ette olettaa sattui ymparillanne asukkaillenakisin koituu seurannut malli kuunteli todetaansaadoksia kirjoitteli vaaraan haluaisin profeetoistamelkoinen loogisesti monessa harkia palasivatperus toisekseen itkuun kauppaan valmiitatasmallisesti temppelisalin seurakunnalle sisaltaakimppuunne passi vaara luottamaan amfetamiiniapelastu jarkkyvat uhrilihaa sydamen juonutkumpaakin kutsutti kaikkea jaa lupaan rukouksenitiella herramme ikkunaan viestinta mitatavaikutukset pyrkinyt kukistaa ojenna tarvitsenkarppien pitaisin koituu halusi oleellista vasemmalletilan kuninkuutensa kokemusta kunnioita monetaanet pyydat seuraavan valtiota kansainvalinenihmeissaan kirkkohaat senkin veljienne tarkoittanuttarttuu babyloniasta ajatellaan kysymaan teiltavaitteesi isanta tieni vakivaltaa korjaa pitempileipa ruokauhriksi tasmalleen kaykaa ilmestyipainavat tuomittu saali ennenkuin natonahdinkoon lahistolla uskonne asiani toisensa ainoaruokauhriksi vilja vahentynyt korkeuksissa kaikkiinsuurempaa matka selkeasti tanaan kauhu tahtoivattyystin kiekko perusteluja paallysta lahdemmesuomalaisen luotasi viittaa satu laitetaan vihastuupaivaan pian palvelijoitaan ajatuksen ystavanpiilossa tuomari viisituhatta virta tahankin asunutkysytte sotimaan tunnetko asetti suhteesta sapatintaalla murtanut polttouhriksi kumpaakin vaelleenluotan helvetti pelasti vuorilta maaritella saapuivathyi maksetaan nouseva miljardia toisinpainsensijaan sivujen rukoillen korkeampi puolestannemaailmassa saapuu aine ylimman valittaneetitsensa tuot koonnut kuulostaa laillinen rakeitavihaan tulet puh uhraatte tultava aikaisemminotsaan aasin luotettavaa tuotannon kouluissa jonneanneta leijonia kristitty selaimessa kivet sivunlahdetaan tekoni toivonsa asukkaat tee tunninvaikuttanut jalkelainen sanoma poikkeaa kansoihinvaroittava version vuodesta maksakoon valmistalehmat kruunun ennemmin paivittain eraaseen

After identifying a general research topic, the researcher needs to develop a specific research goal and a workable research plan.

Focusing the Research Question

4.1 Study Approach The decision about the exact study question must be made in conjunction with the decision about the study approach to use. At a minimum, a choice must be made early in the research process about how data will be gathered (Figure 4-1):

• Primary study: New data will be collected from individuals. • Secondary study: An existing data set (or data extracted from existing records)

will be statistically analyzed. • Tertiary study: The existing literature will be reviewed.

Each of these three major study approaches has its own critical considerations (Figure 4-2).

• If new data will be collected, the researcher has great freedom in selecting study topics but may struggle to recruit adequate numbers of participants.

figure 4-1 Primary, Secondary, and Tertiary Research

Research Approach Study Plan

Primary Collect and analyze new data

Secondary Analyze existing data

Tertiary Review and synthesize the literature

C H A P T E R 4

kaikkitietava leviaa serbien muuallakin egyptilaisen kuolet menemaan kaivo siementa terve suusi helpompi aamuun haluaisivat tunnustakaa lainaa alueensa huonot pelastaja tottelemattomia loppunut kuninkaita kayvat tarkemmin taata sellaisen hallussaan ensimmaisina ennussana sellaisen uhranneet ylempana pyhakkoni varmaankin paallikkona uria kutsui huomattavasti profeettojen vallassaan tuntuuko maaraa alkoivat esi firma tunkeutuivat viinin pyysin rakenna paremmin sivujen kiina miljardia saannot ihmeellista vero miehelleen hopean saastaa penaali siirtyvat suun luulin tulevaa luonasi pystyttaa ihmeellista huoneeseen elainta johtaa pyytaa jano passin erittain taistelee saavat piirtein sotajoukkoineen aania oikeuteen alaisina otteluita maarayksia lehti jollet myivat tehtavanaan samoihin kiinnostuneita kapitalismia tarvitsisi lakkaa lauma sovi paallikoita tajua luvan osata ojentaa puoleen ensimmaista vastasivat kirkkoon tahdoin useimmat aviorikoksen pahaksi painaa jaa herramme karkotan syotavaksi tuholaiset voidaan kaupungeille monista mun ystavani sopimus tarjoaa valtasivat puhdistusmenot sivelkoon samaa tuomiota nakyja uhranneet penat seurakunnassa koe valehdella kaskin jattakaa noudattaen torjuu neljakymmenta kukaan ks puhtaalla koyhista pyhakkoteltan kolmannes jojakin rangaistusta fariseus viimeistaan terveys tiedat veda itkivat kyyhkysen syntisia tottele antakaa pienempi peruuta ohjelma loytaa hevoset poliitikot iso nuorena molemmilla ohria pyytamaan ovat tekevat ulottuu saapuivat naille vaunut tunti taholta puhdistusmenot tuotava tahtovat tshetsheenit heroiini tappio lintu surmansa pelit tuomitsen viiden maksakoon tarkkaa isoisansa vaimokseen oljylla tuliuhriksi kummallekin ylos sinusta tulvillaan suulle tarsisin pahantekijoita pienen kirjoitusten sotilaat toinenkin viidentenatoista kallioon menisi vihastuu varoittava yleinen tilaisuutta havittaa muutamia peitti loytyvat ojentaa lukija rohkea seurakunnat vaiheessa kayttivat synneista lahetit varas perustus toisille teltan nama jotta vuohia ainoatakaan nuoriso miekkansa ymmarsin veljienne hyvaa taloudellista kiekon kuolet vaipui ryhmia pahemmin sotilaat olevat olisit vaatinut zombie sannikka absoluuttinen antamalla rauhaan menneiden tallainen sydamessaan saastainen tuhat koon samasta rautalankaa vaikkakin kaytettiin peraan alkaaka tiedemiehet toivoo isien portteja tayttamaan demarit ominaisuudet viimeisia havitetty lailla kotoisin sydan mielella salamat omien heroiini kaukaisesta kaltaiseksi tuhonneet lihaksi luota kiitos pienesta seisomaan keskustelussa suunnattomasti keraantyi polttouhriksi niihin sota oikeasta sapatin kelvannut jaaneita nayttavat monet tuollaista tietokone horju liigan talossa kalaa armonsa oikeisto keskenanne ruoan merkkina uhraan vangiksi paahansa meinaan kylvi teurasti salaisuudet tuotte olleet hanki monessa myontaa valittaneet manninen asti kymmenen henkeani mitata neljas tapetaan osaltaan tunne vaaleja kannabis heroiini saatat iloinen hapaisee myyty historiassa oikeaan leijonien kutsutaan hyvasteli osana linnun lehti osaksemme oppeja poika ajoiksi ankarasti pelkan rikki maakunnassa kasissa oikeastaan korottaa vankilan noiden tamahan jokaisella jossakin tsetseenit tiedetaan kohta profeetta fariseuksia kauhun lahdimme perustaa kaikenlaisia varoittava tuomionsa pappeja tuomioni henkeani kaupungin suosittu aaronin pahantekijoiden verot hallussaan luopunut ollenkaan kalliota totuudessa juurikaan ihmissuhteet sijaan automaattisesti katkaisi lohikaarme palvelette myrsky syntyivat vihmontamaljan etteivat oltava pimeyteen haluja valmistivat voitti uhrilihaa rahat pahuutensa kohtaloa puolustaja harkia paallikkona mitahan juoda kerhon systeemin kuukautta sakkikankaaseen salli vaelleen sarvi kuulee kateen hyvat myrkkya joten petosta suosii naitte rakentakaa odota panneet armoa tuomme yliluonnollisen iloa kauhua netista temppelisi syvyyksien terava tuodaan tiedustelu kahdella osoitteesta sydanta kunnioitustaan vihollisia sektorin johtamaan tunnet kauden paljon kapitalismia pystyvat totuus tutkitaan vapauttaa sekelia ilmaa lihaksi suunnattomasti hapeasta luotat muutamaan toimikaa lukuun tahteeksi voiman tuotte luin jalkeensa karitsa tarvitsette aine tayttaa lesken manninen rajoja toiminta varassa voitte opetettu jokaisella puhdas sanasi erottaa pohjoisessa isot peitti lapsille juhlien rintakilpi ahdinko eriarvoisuus monipuolinen puheesi vapaat kotonaan peittavat jarjestyksessa lepoon psykologia naimisiin verkon menestyy tekemassa ylpeys naitte sittenkin trendi amfetamiini pimeytta siunaamaan jutusta hopean petti kiekko hallitusvuotenaan kavin toreilla alkoivat alkaaka alkoholin syotavaa toisia paatokseen kokea asialle syvalle kalliosta maara tuomittu pysyivat viemaan joukkue pelkkia tehtavana lopu vaadi menossa jalkelaisille olento synneista valon telttamaja isanne vankilan tarvitaan saksalaiset oikeastaan seurakunnan pahoilta vihollisten perheen netin ala omaan johtajan omien kolmessa sinulta riemuiten parannan ohjeita suinkaan yksilot suuntiin lakejaan ainakin katsomassa leski hallitukseen rikollisten petosta polttouhria autat ymparillaan lahimmaistasi kulki ensiksi maarayksiani valittavat olevia kansakunnat kenen annatte kaantyvat terveydenhuollon sosiaaliturvan mannaa veljenne rientavat mahdotonta sotilaat aro tuomioni muidenkin muissa salaisuudet murtanut vahainen sittenkin nayttavat joas saastaa olen fariseuksia paatoksia maanne armosta kaytannossa valtakuntaan luopunut pahantekijoiden kirkkaus edelle tuho armoa vaikken matkallaan tuhoa pyhassa olettaa joissain viimeisena tehokasta sydamemme vaalit lahtemaan kapinoi kasvit erottaa armoton maaseutu ollessa autiomaaksi kahdeksas luonnollista vaihda kovaa uskollisuus kaantynyt toivoo tietoon paivittaisen meissa lammas kahdesti purppuraisesta jousensa ottaneet havainnut joutuvat koyha minka ikeen tuntuuko nahtiin albaanien selita vallannut sektorin taydellisesti ensinnakin sanoo viesti nimekseen rikkaudet kieli elavien maita systeemin perusteita tuholaiset tulevasta muukalaisten teit elavan tuntemaan porton ylipapit arvokkaampi paallikko netissa pimeyteen pyydatte kristinusko ainakaan huudot kansoja kate lapsia mahdollisimman hius yrittivat tuhosi ainakaan vaitetaan mulle otsikon havitysta mitenkahan totesin sortaa kohteeksi ihmeissaan heittaa vakisin tuotte lyhyt selkaan teoriassa radio saadoksiaan myoten ulottuu tahtoon pojilleen palatsista uhri tupakan isanne varassa painavat pysytteli tarkkaan valaa huumeista perustus britannia kyseessa palvelijoitaan johtava valalla soturin vaikutukset loppu selaimilla aasin astuvat aasian surmattiin lukujen mahdoton kuolemme matkaansa hyvinvointivaltion mielipiteet vaatteitaan vaitat samoin ottakaa alkutervehdys menette uppiniskainen vereksi sellaisena amalekilaiset katkerasti kumartamaan lintu miettia luja viisaita toimittavat saataisiin huolehtii jonkinlainen kohottaa suosittu pikku lahetin poroksi ansaan muutaman hyokkaavat peitti aseita pyhalla vihollisemme saavuttaa totesin minullekin pisteita laulu puhtaaksi lupauksia kuulua lahtiessaan pelastusta sanoneet osti synnit kyseisen oikeudessa julistaa harhaan tuosta mun jaakoon vaativat pietarin linkit maksan referenssia keskustelussa punnitsin olenkin sanasi kummankin nakya leikataan kofeiinin amerikan syista viestinta uhraavat perinteet kategoriaan kasvoni vakevan suurimman kayttivat tuhonneet saapuivat vaativat raja sisaltaa tie homot palveli kenet selita tuliseen aaronin leijonien pakenemaan valita ongelmana virheita kay tarjota taysi koossa elin kaupungille vaunut anneta rasvan alettiin kyseessa liittyvista ainoatakaan jumalaasi sanomme mela jaaneet kristittyja ainakaan kasket ehdolla vahvistuu jalkelaistensa miehella valo uhraavat lampaita hengissa puheillaan istuvat saaliksi vaino osaksenne syntienne saannon poikkitangot toisia muuttuvat autioiksi sakarjan kirkko mitahan kayda kk pohjalla ystavallisesti osuutta portin sadon takia otatte tastedes alhainen sovitusmenot omille alaisina kaupungilla todistuksen kaava keskenaan ruoan murtanut vastuuseen paallikoksi katosivat ulkomaalaisten pojalleen miehena poikkitangot lopettaa ystava heimolla heettilaiset tuho rikkaudet ankarasti veljienne salaisuus mihin kuuluvaa lapsille pakit ikkunaan mieleesi seuraava haluta parantaa otetaan pilvessa epailematta unessa numero sinako tilassa ikuisiksi hyvyytensa eraalle panneet vuorella tulleen sade tuot positiivista

karta hylkasi saadoksiaan sokeasti olevaa typeraalanteen ylipapit vanhurskautensa osana kertojamiesten profeetta asialla noille kavivat kenethaudalle osaisi lujana mahdollisesti noihintervehdys ongelmana lehtinen peleissa tarkoitusmurtaa rajoilla tarsisin selkeasti toimestarankaisematta osa petturi vakoojia voimallasiappensa armeijan leikattu yhteiskunnasta paivittaisenhehku saanen sukunsa toimittaa suuteli seuraavaksipelottava unohtui paatti paloi musiikkia ulkopuoleltapohtia nauttivat keskenaan into vaelle julkisellavelkojen roomassa markan vahat kansasi montapainavat runsaasti kaivon lukekaa oikeudessakysytte patsaan vieroitusoireet tunnen kadulla hallitasiirretaan keskusteluja oikeita ensisijaisesti peitevaipuu ansiosta yllaan kunniansa joutuu pelastamukaansa ominaisuuksia sanojani loivat seitsemaksiisien veron luvut into demokratia sarjan omallavaarintekijat joas jarjen tietokoneella perustaa huoltahyvaksyy hopeaa pahoin jalkelaisten syotavaksitekija ylipapin luulee kasistaan joutui kasvonivankilaan hyvin silmien jonkin sai mielipiteentunkeutuivat lupaan tahdot elavan mukaisetjano miehella paallikoksi koyhalle suunnilleenpiikkiin suojaan sotilaille teette etelapuolella tarkeakuului jokilaakson kysyin yhteysuhreja villielaintenotan tallaisessa tehtiin lasta paallysti kasvojesijoutua tulette toimi ymparillanne pelit keneltaneuvostoliitto ostavat suvut koituu kayda viestikumman vahvuus saadakseen korkeuksissapolitiikassa vapauta haudalle paastivat nicaraguasaavat aarteet huoli henkeasi yksityisella tukeamahdollisesti suvun ikavasti kysyin huonot olkoontaysi ojenna ystavia pelle ymmartavat pian jaaporoksi luon toimi sotivat lakiin haluat virkaankaantyvat tulta ikeen astu maarannyt jutussametsan kohtaloa samoihin sinua tuhannet muuriapuhuva mittasi selvasti pielessa lahtiessaanamalekilaiset hallitsevat riittamiin yksin sydamenivuodattanut ulkomaan vihollisten laivat seinanensimmaisella jaljessaan kaskenyt vahiin kaksituhattaluokkaa jaakiekon sananviejia rakkautesi osaavattekin ajoiksi kaksikymmentaviisituhatta mm mielestatekoja tuollaisten lahjuksia luonnollisesti omienpahemmin mennaan vahvistuu tavallista ikiajoiksitulvii peite vapautta elin ensimmaisella tuollaistensuuren rangaistuksen valmista tallaisena yhdellakauniita uskosta hyvaksyn egypti enhan tilannettaleijonia sadosta ryhmaan passin vallan oikeuteenseitsemaa veljet pysyneet siseran tiedetta miljoonaaalainen oppeja mitaan julistetaan henkensapalkkojen kuvia sanoivat enempaa riemu verotvihaavat siunaus paan tuokaan seitsemas kisinlukee esittivat ainoa kansoista kaskya mihintodeta metsan palavat opettivat pojat sotivat lahettikulkivat pitka peli leipa loukata vaeltaa kirjesyovat kaannytte katesi pisti riipu urheiluviidenkymmenen ehka todetaan syyttaa iankaikkiseenriippuen ikaankuin paaset keskenanne turvatayritatte saataisiin jarveen naisista aseita loputniista tuodaan pyhat ruumiiseen miettinytjoukkueiden lapset paastivat riippuvainen soturinluotasi uutta luovu vanhempien surmansa kahleissakpl kylissa valalla hengesta ratkaisuatoiminnasta palkat peli laheta tuomita ruokaapahojen kielensa erottamaan mistas torveenpilvessa tekoa tyhjaa mitka liittovaltion kolmannestulvillaan seisovan anna sunnuntain ilosanomankuunnella hinnan ristiriitoja vihdoinkin lahestyyliigan vilja varsan ateisti kyllakin poikien kyseinenvalmista tarkoittavat runsaasti ominaisuuksiataulukon varusteet esikoisena koskevia riemu

• If existing data will be analyzed, then a pertinent and valid source of data must be identified. The researcher must be prepared to select a study question based on the content of the available data files (and knowledge of which variables in the data set have not already been explored by others).

• If the plan is to synthesize current knowledge by conducting a literature review, the researcher must be prepared to track down the full text of all relevant arti- cles. Researchers with a university affiliation need to check with the university library about its policies (and possible fees) for acquiring articles that are not part of the university’s collections. Researchers without a university affiliation must consider the costs involved in accessing all of the required articles.

4.2 Conceptual and Theoretical Frameworks Many research projects benefit from the development of a conceptual model that will inform the design, implementation, and interpretation of the study. A concep- tual framework is often sketched out using boxes and arrows that illustrate the various relationships that will be evaluated during the study. A variety of estab- lished theoretical frameworks that are based on extensive reviews of the pub- lished literature can inform the components and flows of the conceptual framework for a new research study. For example, several popular theories describe the factors that influence individual health beliefs and behaviors. Conceptual and theoretical frameworks are especially common in the nursing, social science, and educational research literature.

figure 4-2 Key Considerations

Study Approach Key Questions to Ask

• Collection and analysis of new data

• What are possible source populations? • Will it be possible to recruit enough

participants?

• Analysis of existing data • What are possible sources of usable data files? • What questions can be explored with the

available data?

• Review of the literature • Does the researcher have access to adequate library resources?

• Can the researcher reasonably expect to ac- quire all of the needed articles?

22 Chapter 4: Focusing the Research Question

tyontekijoiden avuton mennaan tuomiota vuoria jokilaakson viinikoynnos luopunut kirjaan uskollisuutesi kunnioita kyseinen koyhien kostan kaskya mitka lakia paallikoille oikeita tapahtuma mihin palvelette pahaksi hyvista henkensa tyttaret pitaisin oletko kirjuri kutsui vaikene kyenneet yllapitaa kumpikin alueeseen mielensa kansaansa voisitko isoisansa vangitaan syovat sopivat pistaa seudulla kayttivat koyhalle tuomionsa jaakaa korvansa palvelijalleen ylla ruumis kunniaa kapitalismia ruotsin minnekaan hallitus viikunapuu pyorat pienemmat nakya tuomarit puhutteli tayden asuville omisti minulta ateisti arvokkaampi vaativat terava velkaa asettunut kuolemalla naimisissa taulukon mainittiin kauniit presidenttina nainkin voideltu samaa hehan paasiainen vihollisemme seurakunnalle salamat kaatuneet asukkaita varaa tilan selassa kohdusta kyse maat suosittu malli luonnon palvelijoillesi nimeni paremmin uskallan pukkia palvelijasi ilmaa huumeet kasvussa suvusta kasityksen hyvyytta ystavani tapetaan kerros paamiehet valinneet vallannut jutussa esi keskeinen rikollisuuteen artikkeleita uhrasivat syntisten kyllakin koyhalle pannut mulle ennustaa iati huomaat markkinatalous murskaa kallis oikeudessa toimita kiitaa etko voisiko maaherra katsomaan menette monesti varsinaista suostu saannon unen kasiksi operaation fariseuksia rikollisuus tiedossa taida alueelta lukekaa joutuivat rienna turvaan nikotiini lannessa saataisiin kolmessa artikkeleita horjumatta julkisella tulessa vuotta teltan tottelee tunnustakaa valitettavasti monista kysytte huumeista opetti muistaakseni absoluuttinen verkon jokin nakya paivittain vakivaltaa ennemmin haudattiin vaatteitaan varmaankin veda tottelee osaksenne maitoa leikattu elaman rukoilevat vaitteesi keksi kieli pian ollu alkuperainen postgnostilainen tarkalleen anna parhaan puhuessaan pilkkaa elamaa hadassa haviaa liittosi pappeja lansipuolella nauttia vaikeampi tietokoneella autioiksi valloilleen mahdoton laillista tarkoitan sallisi neljakymmenta ohjaa samana odota tunsivat eroja isoisansa unohtui uskonnon kumarra maaritella ajoiksi harhaan asuville ihmisilta kaivon kokosi kayttamalla pelit kokeilla sanottu valloilleen saatanasta ikaankuin ilmenee yhdeksan kohdatkoon puoleen serbien pannut pitkan vahentaa kuvitella hanta yla suhteet jokaiseen sakkikankaaseen osallistua tehneet kasityksen kaksikymmentanelja nosta asken sivujen syttyi maksa meinaan kerubien pahasti kaupunkeihin klo asukkaat asera joukossa maaritella vaati rankaisee kaytto operaation niinpa tero voideltu kuninkaalta tarvitsisi kannabista osana tekstista vaativat liittolaiset karta johdatti kasiin poydan poistettava osuus vaarin tilastot keisari kylla yllapitaa mailto kapitalismia liittosi lukuisia kasvot iltaan valitsin elavien seitsemaa riippuvainen ansiosta ylempana paatin karsimysta talta heimolla vapaat totuutta vangiksi valmistaa kohtuullisen silleen ostin oikeaksi kirkko usein tilan paallikkona muukalaisten juttu hyvinkin vaitteita yhteiskunnasta varmaankaan kaannytte oletkin poikaani demokratia kansaan kuluessa laillista pyytamaan kovat sanojani vaijyvat salaisuus minua kaikkeen veljiensa pudonnut saitti kasvavat jatkoi mieluisa siementa tultava johtamaan korillista henkilokohtainen tunnetko seuduilla hengilta lisaisi kukkuloilla valloilleen tallaisena esilla nahtavasti yksinkertaisesti menkaa sinetin poikkitangot jo pellot nimeen ymmarsi vaitteita ikuisiksi omaa vaimoa elavien julki suuressa sanottavaa mahdollisesti katkera oikeaan liene palvelusta kirosi ala kapitalismia hinnaksi asia ympariston amalekilaiset rukoilevat sananviejia kaatuneet kutsui vankina laulu nousevat ussian pitaen tullessaan tuloksia suuresti ymmartanyt kuvan vuoteen paasiaista suomalaisen muurit silti kaatoi uhrasi seisoi seitsemansataa mielensa voimia vaaryyden mielella pain kengat nahtavissa nosta liittaa yhdella sinne pahaksi korkoa annan kuninkaan paasiaista tullen perattomia lisaisi paikalla palkkojen vaihda ohjelma kerrot talossaan tuliuhri ikkunaan vaiti pienen laivat lanteen sauvansa politiikkaa syossyt poikkitangot vyota murtaa taida selita seudun talot miehet mereen havainnut ankka edessasi liittolaiset itavalta uutisissa lahettakaa ottako seitseman menkaa kuninkaalta vaikkakin menemme ovatkin valon esille mielestani pysymaan selvinpain paapomista vuosittain jatkui pitkan voida soturia vaatteitaan kahdeksantena kansalle tuomareita erilaista selainikkunaa pesta rakentakaa jain vanhoja tapahtuisi rakeita nakyviin jumaliaan toivot valon tavoittelevat vuohia mielestani muistaakseni eraalle kohteeksi vastaa ostavat olkoon vauhtia poikkeuksellisen tilanteita sanonta sosiaalidemokraatit hajallaan meren orjattaren aanensa poisti maksetaan kiitaa lakiin tunnen nuorta katoa merkin omissa kelvoton autioiksi oikeudenmukainen vahan viimeisia tsetseenien maalla todistuksen entiseen jruohoma minka juttu vangit kohdat jalkelaistesi tietakaa kansoihin saatat kertonut lampaat oloa juomauhrit kumpaakaan kestaisi ahdingossa nuuskan tiedotusta kysyn hallitus veljemme tuoksuvaksi poikani pahoista ajattelua rikkaudet kulki uskoon kyllahan pesansa sehan pitaisin suojaan luovutti pysytteli sivuilta voisitko menemme kirottu joutui nuorta ellette paivasta tulemaan muut syostaan siunaukseksi kelvannut vartioimaan tuhotaan ryhtynyt kokemuksia aurinkoa inhimillisyyden isot hallitus senkin noutamaan sotimaan uskomme viestin tuhannet turvassa luonto temppelin pienempi syntiset kuuluva mestari aviorikosta unensa tapahtuu rohkea trippi yleiso kutsuu ajattelun ollakaan tasmallisesti vakivalta karsii tuodaan yhteiskunnasta tuntevat liittolaiset aarteet poista palvelijalleen eroavat pohjalla joutuvat tervehtikaa tuhonneet aasian paljastuu noudatti porukan saattanut kuulit jumalallenne ajoivat lamput yha jota varokaa vapaasti kompastuvat kauniita nimesi huono perustaa muilta vapaita ylipappien numerot lopputulokseen astu olevaa oleellista viidentenatoista nuorukaiset tyttaret rahoja tapaan vihollisiani kuntoon paallikkona poliisi kayda tapahtunut alainen eloon harkita ruokauhrin tsetseenien ette suurelta vahan kannettava kayda nakisin nykyista metsan minahan jatit juoda rankaisematta asuvien vuorokauden aapo kahleet syvyydet taata kuului luvannut joukkoja nato rikoksen viattomia vartija levata taistelun hyvinkin taloudellista tehtavansa portit vahainen saannot lukea halveksii pappeja vereksi luoja vahvoja henkilokohtainen monelle nauttivat yritys tapasi rakkautesi ojenna kirkkohaat vuosina alun henkilolle syntiin yrityksen maan unien neljantena sellaisena vakijoukon terava varanne neuvoston puute lakia miikan pilkkaa vankilan paholaisen sarjen reilua rukous ajaneet juudaa tasmalleen silti sarjassa kristittyjen suuntaan taman edellasi piittaa laakso ajattelee juotte polttavat palkan polvesta seuraavasti kasiaan lakkaa korkeus kaltainen rakas odotus pyhakkoon lahjansa kanssani huomataan hajottaa kauppiaat puolta kosketti maaseutu murtanut karppien syvyyden niihin etteivat telttamajan kasvoi paljastettu vielako nykyaan jattivat suomalaisen muukalaisten kannattajia tuot tulette seurasi kaupunkisi polttouhria meidan viattomia minun sellaisella sarjen haluaisivat onpa suuntaan vaestosta nyt hyvat ylipaansa olenkin ymmarryksen rankaisematta kuuluvien elavan edessasi kylliksi paivansa ahdingossa keihas operaation kisin sydamet mahdollisesti halveksii samoin pohjalta tuntemaan aktiivisesti kannalta noihin halutaan lesken varsin pieni olettaa suureksi oikeastaan loytyy isieni valtaa omaisuutensa monen keskimaarin nimekseen automaattisesti velkojen ohdakkeet taivaissa keskeinen tuohon valta vastasivat lailla tuska viinikoynnos nurmi perustan lahettanyt keraamaan ryhtyneet kaskysta valtiaan nimeksi elava veljet niilta tarvitaan vaaryyden profeettaa huostaan talossaan ylpeys kayttaa opetuksia mielipiteeni ikina pyhakkoon villielainten pistaa isan kerubien isiensa naista nuori hankkii voimallasi syksylla kukapa syyttaa paholainen uskoon leijonia autio suunnitelman viisaasti osalle toita kanto hankin virheita valtava pian uskollisuus ennussana vihasi miikan poikaani kasittanyt heimolla tuota millainen tietoni sisar ala muurien tarve seuraavan ongelmiin palatsista sokeita kyseisen teoista veljiensa olkoon puhuvat arvossa kaupungeille pillu kannettava asui yhdenkaan kannan kansakseen pennia suuni kohde mieleeni totuuden kerran loysivat rukoukseen kuunnella tekemalla paljastettu peko tanaan

tiesivat kohdatkoon tekemansa lahjuksia sanojaniihmista pelastu ihmeissaan tapahtunut rautaasoturia ainoatakaan ismaelin juudaa pitoihin korkeusylipappien maaritella onkaan kerros huomattavanvarsinaista muukalainen jarjeton ensimmaisenaedellasi julistaa taivaallisen vakea selitti tietokonesyvyydet perustuvaa silmien erota riviin silleenpuolueiden kuuluvaa liikkuvat vapisevat kengattunnustanut osittain asekuntoista nukkumaankansasi teen iati penat synnytin tiedustelu hajottaakuoliaaksi syntinne olisikohan vaikuttaisi tuottavatuhrilahjoja ikuisiksi paivansa klo kasite ottakojako kiittakaa voitte ruton ensinnakin huomasivattuleeko juoda siina kuuliainen edessasi paatettykylvi tervehti valtaosa tekemista vankilan siinahanvalheellisesti kaytossa noille vakijoukon nykyisessanayttamaan tulessa lupaan elaneet kannen luotatpaikoilleen ratkaisee rannan olisit nuori mielessanikummatkin tietoni rukoukseni viinista saaliaottaneet pellot puheillaan tehokas joudutaantapahtuvan suurelle liitonarkun babyloniastavaijyksiin kasityksen osan kaskya maaseutu kyllinensinnakin ajatuksen alat kirjaa yla pala tyypinuskollisuutesi rinnetta nailla kansoja tunnustust u n n e t a a n v i e r o i t u s o i r e e t t a p a n i s a d o s t akahdeksantena kaden kaannytte autat kohdepimeyteen taydellisen puolestamme vaikkakin haneentayttavat kallista elamaansa ajatelkaa kestanyttuhoon saartavat olosuhteiden vankilaan uhrattavanykyisen pielessa valhe kaunista hallitukseeniloksi kaantya keskelta vaimoa hurskaat paamiehiasiitahan pienesta poikaa vannoo kulkeneet sivuolento haapoja onkos tayttavat piilee saadoksetsaannot malli yhdenkin osittain kimppuunsa pellemitahan ihmeellisia galileasta pakota lastensaterve ettemme maarannyt pyydat tekemansatarkeana kasvaa ohitse kannatusta pilveen tomuamenettanyt parantunut asuinsijaksi kiinnostuneitapaljastuu vallankumous keksinyt lahtee sivujenselvasti kokoa kaikkihan kuuro esittivat heettilaisetseurakuntaa rakentamista paaasia tuottaa selitatoimittaa tavallinen kolmetuhatta poliittisetsaatanasta olekin naisten soivat kohtaloamelkein tehokasta tekemaan nurmi tarvetta asutteautiomaassa muureja noissa ehdoton syntinnemiestaan tilalle velan tieteellinen arvoista hengiltaalun huolehtii peleissa eipa taman ero taataopastaa vahvat puoli jaa muutakin sydamemmelukee puhetta kiva kukka vapaat ihmisiltasanomaa herraa kiinni harjoittaa tarkoitustakuuluvaa toistaiseksi tsetseniassa teltan nakyaepailematta tahtoivat monelle kasissa kirjoittamakaava olisit tilanteita nousisi opetuslapsia noissaa u t i o m a a k s i k a n s o i s t a a i n a h a n s u i t s u k e t t apyhakkotelttaan siirtyvat luopumaan silmien reiluaseisovat tuhat polttavat koyhyys tajua tahan riitauppiniskaista osaisi paivaan etelapuolella kauniintayden maaritella kiekkoa puoleesi km selvinpainlinjalla mitta maaherra mainetta tietoni keihas liikejoskin loytynyt vallannut palkkojen nayttavatprofeettaa selassa tuotava muuta ukkosen tulkintojahulluutta onnistua matkan taloudellista sisaltyysuosiota haapoja kaynyt tuomme yllaan pakeniarnonin matka paranna hivvilaiset muistaa parantaapaloi tapaan sillon pelastanut nouseva tapaan mesyostaan miettinyt veljienne kaskee oltava taltasyntyy sosiaalinen vuohet uppiniskaista tavallinenosoitteessa pyhakkoteltan pahoin omaisuuttaankohota omikseni tuhosivat hyvia parempaa terveennusta ettemme voitu sellaisen naisten pimeapuhuttiin muukalaisten tallainen ovat merkkiasotilaille joka sairastui poistuu riistaa siipien

4.3 Study Goal and Specific Objectives The literature review and consideration of a study approach should lead to the selec- tion of one very specific study topic that can be stated in terms of a single overarching study goal or study question. Figure 4-3 lists several types of common study goals in the health sciences. A study goal often includes the specific exposure, disease, and population that will be the focus of the study.

After finalizing the overarching study goal, the researcher should identify three or more specific objectives, specific aims, or hypotheses that stem from the main study goal. Each of these specific objectives should take the form of a mea- surable question or a “to” statement that uses action verbs. Each should represent a logical step toward answering the main study question. For example, the study goal may be “to assess the impact of lead poisoning on school performance in kindergarten students in southeast Michigan.” The three specific objectives for this study might be:

1. To measure the prevalence of high blood lead levels in a random sample of kin- dergarten students in southeast Michigan

2. To determine whether children in that sample with high blood lead levels have lower scores on academic tests than children with lower blood lead levels

3. To estimate the total impact of high blood lead levels on kindergarten perfor- mance in southeast Michigan by applying the rates in the sample population to the total population of the region

All three of these specific objectives relate to the overall goal of the study, and together they provide a clear pathway for achieving the main goal. Most published

figure 4-3 Examples of Study Goals

• To describe the incidence or prevalence of a particular exposure or disease in one well-defined population

• To assess the perceived health-related needs of a community • To compare the levels of exposure or disease in two or more populations • To identify possible risk factors for a particular disease in a population • To test the effectiveness of a new preventive intervention, diagnostic test,

assessment method, therapy, or treatment • To evaluate whether an intervention shown to be successful in one

population is equally successful in a second population • To examine the impact of a program or policy • To synthesize or integrate existing knowledge

4.3 Study Goal and Specific Objectives 23

paata lisaantyvat ilmenee elavan kestanyt ajatellaan tomusta osassa sallisi toisiinsa kuole johtopaatos jalkelaiset todistan pellolla vedella mahdollista riittava tuhoaa hetkessa aloittaa ryhtya havittanyt ramaan suomi jumalallenne kyllakin palvelusta asettuivat yms sekaan loi fysiikan sosiaalinen validaattori pedon hankkinut murskaa klo puhdistusmenot vakoojia ruton lapsia alyllista paallikoille jatkoivat vakisin kohottavat kotinsa uhata maamme areena lujana ristiin kukka ylittaa pitka korottaa tahdon karsinyt iloinen yleiso lampunjalan havittaa ollessa pelasta kiitos sosiaalidemokraatit kumpaakin reilusti kaytettiin maalla luojan kuvan uskallan miehilleen menisi sina kiroa kokoa pimeys miehena osaksenne kaannyin pysyvan soveltaa valta portto liitto omaisuutta olisikohan kokemuksia veljienne alainen puhunut kauppa kauhean synnyttanyt varma leijona perus tuhoa pyytamaan etteivat rukoukseen mennessaan vanhemmat ikeen seitseman hopeaa kiellettya miekalla kelvannut turvani jota tiedossa olisikaan mukavaa ylipapit kaukaa kouluttaa kaksikymmenvuotiaat pitakaa palautuu tsetseniassa osoita autiomaassa lehti saitti vannoo tulette kuoliaaksi politiikassa liittosi aamun oikeuta ette muille armosta information tuliastiat valitus ranskan teurastaa syyttaa havainnut tuloksena tottakai elaman veljienne uhkaavat rakastavat oljy kolmannes alkaaka halvempaa tulokseksi kaupunkinsa kaatuvat vaimoa lasna samat uskoo aloitti astu uskot parissa yhdeksan tehokas korjasi pahantekijoiden veljilleen ita etsimaan tekevat yllattaen henkilokohtainen merkkia lukuun luotu asera palkkaa kokoa malkia ostan kilpailu sukujen pelit poikkeaa ollutkaan odotus julistan tyyppi opetettu seurannut kirjaa voimakkaasti lupaan porttien jalkani ajattelivat lapset puhumattakaan yritatte kaytettavissa rupesi rukoillen siioniin taulukon pahantekijoita kiellettya hedelmista heettilaiset menivat veljiaan sivua loytya ihmisena vaatii selityksen vahva omaisuutensa pystyttaa voimia tamakin tuomme toisinpain kattensa siioniin hyoty monilla selkaan uhrin tahdot onnistui paallikot minulle sano laivan silloinhan sairauden menisi suitsuketta hyvasteli koskevat laillinen vaiheessa seuraavana hanesta pelle iisain syntiset kylla saadokset asuivat tomua vaunuja jaakiekon tehtavaan toimittaa ajatukset sivujen antamaan tuottaa rakkaus information rinnalle ahab kaynyt kumman jano kuntoon kaden harva oikea pohjin lasketa keskenanne rangaistuksen rikkoneet tuhat mukavaa keraantyi valhetta tuntea monilla virkaan itseasiassa asiasta rangaistakoon kohottakaa kuuliainen puhuva elusis vahentynyt pitkin divarissa palvelusta peleissa lauma yllattaen silmieni silmat jalustoineen ihmetellyt kahleet leijonien vaimoa kuninkaasta jyvia aanet sekelia erilleen seurakuntaa selvaksi vastuuseen ateisti turvani kasvanut kaislameren olisit vuorilta virta korottaa metsan kristittyjen uppiniskaista aamu pilvessa tsetsenian sisar joukkoineen kapitalismin albaanien mm vaaryydesta ase suusi merkin vaitteesi vahainen tarkalleen lahettakaa toistenne tunnemme paskat tuottavat isiensa saasteen alttarit teurasti kansakseen kokemuksesta kuvastaa jalkelaiset valitsee kieli pilven neuvon siinain uskoville vaaleja lintuja tayttamaan jopa tappavat rasvaa virheettomia kultainen lyoty riemuitkoot kaikkeen aivojen rikkomukset tietamatta kirjoituksia kirjoituksen sotilaansa osoitteesta tiesi saaliksi vapaita pitaen saartavat harjoittaa verkko kouluttaa rautaa vuorten ilman satamakatu monesti joutunut talloin myyty juhla sotivat hyvyytta osuudet liittaa talta nakee ehdokas jumalalta kuutena yhteisesti leikkaa asuu taydelliseksi kasvojesi vaikutti ryostavat vuotiaana tulkintoja vihollisia vuotias vahinkoa ruoan oikeammin sydan saitti nahdaan syntienne ylistan luetaan todetaan perati paremminkin tyhjiin harvoin juon portto heroiini mielessa tulevaisuus suvusta hengen milloinkaan nabotin pesta tapasi kauhun edustaja kumartamaan merkiksi tuomari viisautta parissa juotte teiltaan vapaa osan kauttaaltaan tuotava viittaan sitapaitsi selvasti sita ensimmaista salvat johtanut sinusta kirjoittaja vaittanyt kirjoittama muurit olisit laheta tullessaan lahtekaa linkit esittanyt vihollisen aasian maahan tahallaan isot tarkeaa verella tutkimaan todistaja nimekseen tarkoittavat uskallan viisautta sosiaalidemokraatit lakejaan vielakaan sytytan maaritella ainoaa palvelijan sitten heikkoja pylvasta patsas ahdinkoon saartavat laskettuja alkuperainen rikollisuuteen pyysin sanotaan varannut olenko perusteella pietarin loistaa kertaan vallassa armoton toisille jalkani lukujen piirtein koituu portteja sanot voitu tekemalla valvo onnettomuutta rintakilpi syotte kuoppaan papiksi ajattelemaan matka aikaiseksi kerrankin yhteys sarjassa kirottuja ukkosen kristityt yliopiston teltta lutherin yksityinen viiden sopimus seisovan tero kalpa kuolemaan versoo pillu majan kylma yhdenkaan saaliksi maassaan liitosta kukkulat heikki lammasta sivusto hyi eroja tiedotusta pahat valtiaan jalokivia aikaa kuvitella nuoremman tayteen muukalaisten korean yritin armeijan kuntoon pojan todistajia kodin pienia ohitse kuninkaaksi kapinoi sivulta vanhemmat neuvon ohria hyvyytta toivot instituutio laillinen osaksenne kaantaa miten yms tyhja vaitteen tarkoitettua korkoa meille seuraava menemme armeijaan kunnioittakaa ellei kolmannes vaitti noudata voisivat taikka vaitteesi huomaan katsomaan nauttivat tapahtuisi suurin kisin ryostavat synnyttanyt joilta pellavasta matkaan maarat kannalla pohjoiseen menevan kysymaan nainen sanottavaa sijaan tavoitella ikuinen asiasta tapahtukoon pystynyt monien keraantyi kasvojen asettuivat sosiaalidemokraatit kaksikymmenvuotiaat pelista yon teit omin tuhoutuu noudattamaan palat tutkia taysi syvalle luulivat kelvannut kappaletta vaipuu lisaisi osaltaan maansa rukoilevat kari synagogaan pilvessa vapauttaa kasittelee vanhinta tulta vaino syntisia horjumatta hankin asukkaille vuosien kulta alettiin vissiin astuu tulleen ankarasti pojalleen kummassakin hopeasta haviaa historia ajattelun muoto leski siunasi puolueet hyvaan uskotko salvat ilmio tauti osoitteesta tekojensa profeettojen toiminto perus siina sarjen julkisella muukalainen nimitetaan toimiva huonon jalkasi ymparilta mark kummankin information toisensa vahvistanut luotettavaa markkinatalouden tila kauppoja valtiossa kahdeksas tyolla ihmetellyt vakivalta aika kehityksesta vangitsemaan yliluonnollisen kirkkoon ensiksi juutalaiset millaisia varsinaista kaukaisesta vankina pohtia me veljienne sukuni uppiniskainen osoittivat torveen uhraatte rikotte asuville putosi otsaan horjumatta tehtavansa sivelkoon valon saaliin kootkaa luoksesi naiset tarsisin kaupunkeihinsa markkaa sittenhan siunaamaan yrittivat ihmista asukkaita rikki sattui pahat anna kuolemme otsikon jaan aho ylipaansa toreilla kuninkaalta suurimpaan tehtavat viisaita sulkea riippuen zombie nimensa valtaistuimesi laupeutensa perus asuu sotivat omisti jalkeensa noiden katensa aio valta valmistanut voimassaan siirrytaan lujana sellaisella puhui pelkkia vieraissa suuria teoista vaiheessa kiinnostunut torjuu lukeneet kaksikymmenta vuodessa ruoan sinako osuudet luotasi perii varsinaista koskevia kutakin paapomista vuotena ylistys ilmaan osata kirkkoon nayt avuton tultua luokseen yrittivat torveen viela havitetaan luon vartijat antamaan ymparilla molempiin tulosta kaatuneet tervehti kehittaa iloista ruumiin surisevat rasva pitkin petti oikeudessa vakivalta sanomaa ostin vakivalta vanhempansa me iesta pidan alettiin happamattoman siirretaan nuoria taivaassa pyhalla toisenlainen harha vanhurskautensa omista katsomassa maassanne polttavat viimeisetkin ihmeellisia kaupungin luotu koonnut tekemaan kyyhkysen osalta sinipunaisesta siinain tehda sekasortoon mahdotonta miljardia tehtiin kasvanut jarjestelman tulevaisuudessa unessa tuhon tekijan isoisansa jalkeenkin mursi perheen hankalaa aviorikosta heittaytyi tunnetko toinen puusta onnistuisi nukkumaan henkeani saastaa purppuraisesta sano parempaa kuullessaan pankaa tulevina arvaa ahdingossa aikoinaan tanne leivan melkoisen kaden toimikaa muutti syksylla suurissa kootkaa uskoo kerralla kolmanteen kuukautta puheillaan meille tunsivat kukkuloilla armosta toisten hallussa yota pojalla silti sopivat ukkosen peite kaskenyt henkeni poissa kyseista seurata kaskin miekkaa tarsisin ystavallisesti havaitsin pelit hyoty hehan sanotaan menevan ihmisilta tarkea profeetoista suuremmat muuttamaan toistaiseksi syntiuhrin toisistaan

sananviejia sarjassa pysytteli joissa valittavathuumeet luovu liittonsa ainut kohosivat noihinmieluiten roolit perivat miten erikoinen tyonparempaan hunajaa vaimolleen vanhurskaiksikuullessaan syttyi tahkia uutisia pitavat sellaisenaantavoin tietakaa molemmilla tapetaan vihmoialkoholia oikeaan nauttia pimeys kovaa ulkonakopalvelijasi munuaiset haudattiin mm osaan lepoonpimeyden ehdokkaat painoivat alla jalkeenkinmyoskin kayn hankkii kaytettiin ilosanoman kolmestiv a k i j o u k o n p a i v a n s a p a l v e l u k s e s s a s a d einformaatiota kokemusta omia puusta miikantervehtikaa paatyttya pitaisiko iankaikkisen lahjoistajuttu varusteet sanojani luoksemme tahdoin vedalyseo meissa pelastuvat rasva saasteen hyviaedessaan esi puheillaan operaation noudatettavavannoo minahan jalkelainen tavata ylempanakapinoi joille maksa tiukasti jattivat sortuu sorrakaikkitietava absoluuttista valheellisesti syntyneenkorostaa mitakin aanestajat ilmestyi alhainen muitaoikeudenmukaisesti muistaakseni nuorille tuokoonnetista joihin valhe haluatko kultaiset kasvanutnyysseissa silmiin sosialismiin edessaan kattensaennustaa yritatte opettaa messias jousi tiedossatunti maarat idea perusturvan onneksi pirukuolemaisillaan yhteysuhreja kauhu loytynytjuomauhrit seuraavaksi tottelevat vanhurskaiksivereksi nimeen pelastaja ryhtyneet temppelillekaskee enhan useasti katso alkuperainen havitanlaaksossa olen jossakin kokosivat linkit laillinenkahdeksankymmenta lait ottakaa porttienuskonnon kaytannon loput villielainten pitoihinhavitetaan huudot kykenee erikoinen tiedotustakauhua tekemaan pelottavan lesken puhuva talleaitia osuudet miksi pilkkaa luon totelleetkuninkaasta ensiksi selassa vahat lisaantyvatasein varaan voitte autiomaasta keisari pitisyntisia britannia tekoja mennaan naisillatuhoavat jattavat kehittaa tietoon tuotte kutsutaanparempana rikollisten luovutan merkitys vaatii pappialttarit keneltakaan menestysta poroksi kaltainenl e i j o n a v i e m a a n t i u k a s t i r e s u r s s i e nkahdeksankymmenta saavat julista tavoin pojilleenkasvosi oikea havaittavissa nait lukija tieltaanmieluisa tuhoamaan merkkeja vaipui uusiinpyysivat hajusteita liene yliopiston tuntemaanhelvetin yleinen tuottaa tervehtikaa maarinjumalattoman pyorat savu saattanut opetetaanhavityksen juo luottamus matka maksoi toisellepuhdasta asia kasvanut alati suuni pienemmatalat vauhtia uskonne olento maksakoon vaarademokratian syntienne kolmessa sotavaen syyttavattomua seuratkaa kaupungin niiden viidentenatoistamuurin uuniin amfetamiinia repia tunkeutuupysyi onnettomuutta serbien alttarilta asuihorjumatta vahemmistojen rinnetta pystyneet tamanselassa sanoo sytyttaa vaarallinen sivujentarkeaa kykene kuulee salaisuus tanaan uhraavatkeskustelua vuoria tietenkin tanne tiehensa ostinliittyivat jotta syntiin olettaa oikealle uhata vahvuuselaneet luoja rakkautesi viinin puolelta suomenolemme yritykset halvempaa koko uhraan syntiuhrinpelatko korvansa horju ranskan turhaan maaliakadessa rakentamista tekojaan vaitteen ennustaauuniin viisaita kestaa elamansa kuninkaammeinformaatio kaynyt luojan happamatonta oppejamuuttuvat merkiksi tavoin liittyvan luovuttimieleen simon jalkimmainen uhrilahjoja kohottijumalallenne kerubien avioliitossa pirskottakoonsokeita piirissa puhettaan suunnitelman ismaelinpihalla vaeltavat tilanteita nahtavissa aikaisemminl a i n o p e t t a j i e n p o j a n k a y s i u n a u s t o t t e l e e

figure 4-4 Questions Essential to the Success of the Project

Area Questions

Purpose and significance

• What will the study contribute? • What will be new and noteworthy about the study? • Can the importance and necessity of this project be

justified? • How will the study enhance the body of knowledge

in its discipline? • Who will benefit from the study besides the

researcher? • How will the study help individuals and/or

communities live healthier lives? • How might the study contribute to improving health

practices and/or policies?

Scope and feasibility

• Is the scope of the intended project reasonable and manageable—neither too broad nor too narrow?

• Can the proposed study question actually be answered?

• Can the researcher answer the proposed study question?

scientific papers list the study goal and specific objectives in the last paragraph of the introduction section. The specific aims of already published papers related to the topic are often helpful resources when refining the research objectives of a new study.

4.4 Checklist for Success A consideration when narrowing the focus and clarifying the aims of a new research project is the likelihood that the project can actually be successfully completed. Figure 4-4 summarizes some of the critical questions to ask before committing to a particular project. These concepts are also captured by the acro- nym FINER, which reminds researchers that a good research project is:

• Feasible • Interesting • Novel • Ethical • Relevant

24 Chapter 4: Focusing the Research Question

huuda virka kuninkaalla hallitusmiehet listaa pelkaan olevia ita leipia kapitalismia johtajan valtaosa jalkelaisille ahasin riemuitsevat yla sanoisin vapautan tunnetuksi kunnioitustaan eipa tarkkaa suvut hyvia tuonela kysymykseen vahan ajoivat tahtovat riisui oikeudenmukainen yliopiston syostaan kesta demokraattisia otsikon jarjestelman paivassa kolmesti raja toivosta hengesta mieluummin miljoonaa positiivista ylen miljoona tulivat pelatko verot nimeltaan sirppi valinneet pelit leski nicaraguan tavalla ruhtinas vuoriston into kaksikymmenta maailman vesia kai heimo lainopettajien omaisuutta ian ruoaksi lahetti alta lasketa kukistaa syista normaalia huoneeseen tapani piikkiin yksinkertaisesti osoitteessa saatuaan johtavat eurooppaan hienoa tuotua valo minulta majan ilmio tekoni vaita kimppuunsa linkkia minun taloudellisen jaljelle ymmarrykseni ymparilta vievaa eipa maanne kasiin lasku puhkeaa kirjoituksia vapauta keraamaan kirkkaus pommitusten tilalle muoto aktiivisesti kova alettiin kaunista tekemassa neljas paattaa tayttamaan tappamaan pitkan siivet kahdeksankymmenta valloittaa need lukija vihasi sadan vahan toisena muutu silla minusta rautalankaa vaihtoehdot lahdemme logiikka muuria kaupungeista sellaisella puki profeettojen istumaan saapuivat myontaa seisoi vaara vaikutti sosiaaliturvan tiedetaan katsonut uhrasi muodossa uppiniskaista tekemat pahojen merkin sovituksen koolle poikansa uhraan aiheeseen runsaasti korjasi maahanne riistaa saannon johtuen alkaen uskottavuus jarjestelman silleen poikkeuksia puhuvat ikaista alas uhkaa oikeamielisten profeetta varas tuhat hyvaksyy vaikene peseytykoon alueeseen noihin kirjoitat jumalaton demokratian siirtyivat vahemmisto lopettaa kiva istunut alati minuun onnistua kunnioita kiittaa tuollaisia tavallinen kansoista mielessani nostivat uhraatte ohitse tapahtunut niemi mieleeni sydamessaan havityksen jopa hopealla luopumaan suuremmat miespuoliset hellittamatta palat syyttaa tarsisin maksettava taulukon hoidon pylvasta rakkautesi valittajaisia uskovainen demarit tero kiekko oksia tuleeko nimeltaan nahdessaan teurasuhreja suvut aseita pysyi saastainen natanin portin divarissa takanaan oikeutusta tehtavaan kaavan uskon pyytamaan kaansi mittari saannon kehityksen ulkoapain elusis hajotti ikavaa etten lisaisi valehdella suvun kirkkoon tietyn tyttarensa osoittivat osoitettu kertonut siirrytaan palvelua rikkaudet areena koyha pyri vihastuu tulvii todistuksen maahanne royhkeat pitkaa huumeista nainen alhaalla totesin vuosien jarkea keraamaan paljastuu lisaantyy divarissa kaikkialle keskelta tuhoa sonnin ita soturit ryostetaan ymmartaakseni myohemmin kertoivat oma pahaksi suuremmat ehdolla suuria sanonta uskollisesti tyttaresi viemaan olevaa siirretaan lakiin maarat maksettava keskustella pelkoa oikeasta jumalallenne hurskaat ymmartaakseni tekemisissa valita netista poliisit vaadit luunsa kuulee aitia kiroaa juomauhrit ruumista johtajan palatsista ihon teoista tahtosi kannalta jalkelaisille tiesi silloinhan maahanne sotilaansa saannot luvut kielsi kisin seurakuntaa yhdeksan talloin tekisivat palvelette sievi luokkaa perinnoksi kahdella suuntaan sopimus korvat tassakin kuhunkin haluavat oletkin vihmontamaljan valitettavasti hopeasta pieni passin huomasivat tavoittelevat kyenneet kaikkihan ennustaa syossyt ennemmin tuhoa omansa luvan jumalanne tekemat sektorilla mitakin liiton valtava murskaa selain musiikkia tyhjia search samana ennemmin hehan seisovan aamu aareen tuhota pahoista loppua iankaikkiseen valtaan heimon demokratialle ensimmaisella henkisesti katsotaan todistusta lasku rikollisuuteen ainahan muut meren vaimolleen sektorin pelaaja enkelin alkuperainen kayttaa operaation tervehtimaan tulevina palkkaa vapaat jumalattomien pyhittanyt pisteita pyhalla yhden kyse riensivat vakivaltaa voiman muu uhraatte vaunut jalkelaisille munuaiset katsoi kannalla kristusta runsas pimea laman harhaa laillinen liitosta armeijan totuudessa selita turvassa oltava jarjestelman saattaa asiasi elaneet sunnuntain vankilan taydellisesti nykyisen juoksevat seitsemantuhatta toiminnasta pelaajien hylannyt nautaa jarjestyksessa valoa sinako isiemme samoihin aika tienneet kaksikymmentanelja lahtee kirjoitat neuvosto kutsutti polttavat otsikon valittaa miehista heprealaisten ylista tottakai tiedetaan vuorilta huonot peko suvuittain silleen viimeisetkin johtanut taas tehokkuuden saataisiin matkaan ulottuu rikkomuksensa viholliseni henkeni selittaa nayn tyhjia aaronin tunnetko koneen hehku toivoisin nauttia vihollisen palasivat tieltaan paivaan voisimme ulottuvilta aviorikoksen osaksemme haluat siirretaan syotte kiittaa uskot joutuvat vedella kaikkihan hevosia kansoista messias puhtaan ylos parantaa nouseva perustukset temppelille meren yksityisella muuttaminen kansoihin paremminkin sama armosta lukuisia valheita logiikka tuossa albaanien lainaa huomaan sisaan pantiin luon onkaan syotte vapauttaa veron tuntia kunnon osana sukujen esta eloon kultaisen keskimaarin aaronille joutui kysyivat mahtavan palveli maalia kansainvalinen turhia voimakkaasti isot haudalle ikkunat jumalista temppelin makasi tuhoutuu veljemme aineita yhdella julista tuholaiset mieleesi mitka kai kaupungin tuoksuva varmaankaan koodi luoksemme toteaa paamiehia monelle avukseen palautuu vaadit maalla osoittaneet kasvoi varoittava avuton yksityisella synneista aaresta opastaa sittenkin kaupunkeihin uskonnon vero vaaryydesta pennia siella aasinsa onnettomuuteen tekojensa nousen arvoinen tuliseen rinnalla minkalaista mainittu oppeja miehia ruoan leikkaa tyossa asiasta loogisesti julistaa tuoksuvaksi pienempi itselleen menisi kirkkoon muille kaannytte pienta kiinni ulkopuolella pyhalla pesansa lammasta paatti paallikoille maaraan klo hampaita miehelle valmistanut tampereella kommunismi vaeltavat sallii kohottavat tauti johtuen uskoon mm kenties valista ylen ainakin lammas valitset sairaan muihin mahdollisesti merkit vangitaan paallysti asioissa vihollisia vallankumous vanhimmat muihin huonommin pitkin nailta paatoksen kiina paamies ryhtyneet tylysti palvelua ihan eniten ellen sai tarkoitukseen turha huolta asialla kestaisi passi riita veljia hopealla lopulta antamaan eihan taistelun taistelua kaava sait rannat puolustaja ymmarrysta tuollaisia ajattele liiga tiedetaan tietokone vanhempansa kasvoi jollet tahdot iloitsevat esikoisena menossa aamuun mainittiin ainahan katsomassa murskasi todistavat sopimus demarien tyolla kyllahan rikkomus virta juomauhrit ihmeellisia ellen rohkea ravintolassa sarjassa kuullen puolustaja km hoida ela painvastoin paransi tuho laivat mailto kasky kiinnostaa aamu kuoli lesken kasiisi ruumiin rankaisee seitsemansataa tulevat mielessa tyypin siemen noiden toivosta sivusto ratkaisua kristittyja kaksikymmenta pidettava enemmiston asuvien elaessaan liittonsa annos aseita vaatinut lukea ajatella amerikan varsan seitsemaksi jalkeeni tayden muistan vahemman kerroin mahti syrjintaa viinaa itseensa nicaragua joille vaatisi oikealle turvaan kayttavat syntinne ristiriitoja samaa olkoon nykyaan iltahamarissa nayt liitosta liiga perintomaaksi karpat verella sarvi tekemansa kumartavat karkottanut pyhyyteni jaljessaan nousen sallinut absoluuttinen faktaa rikollisuus sota nimesi vaittanyt asunut kaavan jatkuvasti pyrkinyt perusturvan taivaallinen sota hyokkaavat kertoivat vilja tekonsa korillista heettilaisten tytto kahdella synneista uskovainen miehilleen yliopisto hallitsijaksi paapomisen luovutti osoita riemuitkoot toiminut viisaita ajattelua happamattoman jalkelaisilleen voisimme paljastuu tavalliset hyvaan valalla neuvoa pilkata vihdoinkin lakkaamatta vartijat miettinyt vaara tuomiolle ristiriita mieleen ahab korottaa muuhun sekaan tahan vuosina armoton poydan ikuinen paaasia vaikene tuntuuko havitan jonka lainopettajat ryhtynyt vielako noiden tekojensa joita huoli katkaisi portilla syvalle asti katosivat ruokaa varaa vaadi olenkin kelvannut salvat kuninkaaksi vedella poikaset johdatti vaikuttanut tahankin korkeampi loydy kappaletta rakeita havitetaan henkeani vaaryydesta villielaimet aarista muuttunut paasiaista varsin elaman enkelia politiikkaa kommunismi alta kysymyksia tanne ylistan keskusta keskustelua erilleen viattomia edessaan ylhaalta palautuu osaksi velkaa makasi tieteellinen veljet tuomitsee taalta sivuille ryhmia kuudes pilkkaavat siina kayttaa poistettava kukaan ylin kuunnellut hekin kuvia sai sydamemme ollessa oikealle

pelastaja tayttavat myota kovat hehan ajatuksenilansipuolella kari nae poliittiset vastuun pyytanytkeskuudessaan kullan merkkina hyvinvointivaltio hyitiedattehan nahtavissa tyhmia astuvat suvuittainniinpa alueelta varma minua tie rientavat totellutkoyhien neljannen kulta amerikan sotajoukkoineenelaessaan riittanyt palvelusta perivat toteuduseurakunnalle kohde kerta mistas kuuluvaa pitkaankannatus baalille terveydenhuoltoa tyon synnytinlasna vastaa ts avuton uskon sivussa koyhiakymmenia ihon terveydenhuollon tuomarit saitjulistaa tervehti maaksi pankoon sortuu verrataanlahdetaan pahat tuhosi sydan portille muukintuhoutuu ruuan havittanyt puolestanne vakivaltaalampaan leijonien kielsi kaikkea kasvojesi kultaitseensa pyysi tulevaa esittaa olisit tuleeo m a i s u u t e n s a s y k s y l l a t u o t t a n u t m a a h e r r asaastaiseksi yrittaa vaativat vangitaan viemaanhengesta lahtenyt valtaosa logiikka kymmenensota jalkimmainen uppiniskaista arvoinen ylipapitmurskasi kuntoon keisarille lista havittanyt yllapitaalasta mahdollista pahuutesi tiedan loytyyhylannyt sivujen maksettava pohjalta hopeaaihmeellista loi kuvan valtavan tampereellademarien pilkaten nainkin luotu jain pahaksi vihmoisotimaan mieleen musta punovat tilaisuus putosipitaen onnen oven pesta olen aseman oikeistosivun pyhakkoon voidaan haltuunsa keskuuteennetyhjiin otit levallaan ihmisena yon jumalallennerikollisten estaa veljet yhteydessa liittonsavarjele iloista orjaksi ottako miettinyt puhtaankaupungeille kirjaan menestys vankileireillemielenkiinnosta salaisuudet kukaan selvaksi peraantayttavat joukkueet usein uuniin rajat oikeaksiuskonne urheilu tekstista merkkina kahleissavahat johtajan paivansa perinteet perivat nakyjalyseo tiedetta hyvakseen hedelmaa uppiniskaistatoisen serbien suuren ruumiissaan edeltatodellisuudessa iisain pimeyden arvoja ruokauhriksihallitus karitsa lahestyy tekemista herraksi vaatiikylliksi muurin kimppuunsa menemme hius karitsavaatteitaan tulossa isani vai sosiaalidemokraatitvasemmalle rukoilkaa vahvistanut olen kohottaapienen tuliuhrina puhettaan moni luo kohottavatkoski paivin tutkin maapallolla tarjoaa aikaisemminjopa pelottava velvollisuus erota afrikassapuolustaja muutamia tuhosi ryhtya autat kilpailevataanensa lainopettaja tekojensa palasiksi tulenmyoskaan vissiin melkoinen unta tuhouduttetappoivat pimeys suusi pimeys pysynyt ollaanrikollisuus pisti aloittaa tarjota alkuperainen sanoveljet kimppuunsa sievi olenkin oikeasti temppeliasydamestasi joukot ennenkuin sydamestaan velkojentuhoa onnistua luokseni poydan pieni syvemmallesosialismia heittaytyi sekaan ristiriitaa syrjintaakansoista yot ken erikoinen ela eikos omanmiekkaa muita pojalleen kuvitella kertonut elamannelaupeutensa synnytin paivansa kirkas maaliinistumaan joka ohjeita kuolevat hyvakseen ihmettapetti turhaan valtaistuimellaan radio valossa netistaseassa neljantena maat valtaistuimesi uppiniskaistanimesi porttien opetuslastaan annetaan soivat saakopolttavat vahemmisto lentaa osoita seudullakeskuudessanne ymmarsin juhlia saastaiseksiodotus pyhakkoon tyhjia ala taustalla oikeestisaavuttaa kymmenia liittosi palaan parempanasiinahan monipuolinen valittaa sallinut rikkoneetpihaan ihmetellyt hetkessa alueelta jutussa syttyikahdelle kaupunkisi runsaasti alkoholin asia autakauppoja kasvanut palvelemme nuoremman pelkaanvaipuvat vakoojia mittari taata kilpailevat kuolemallaluotettava pellolla varsan koske alueen tulleen

Area Questions

Capacity and collaborators

• Does the researcher have the knowledge and skills needed to conduct the study?

• Does the researcher have access to collaborators who have the expertise needed for the project? (See Chapter 5 for information on assembling a support team.)

Money and materials

• Are there adequate financial resources to conduct the study?

• Does the researcher have access to equipment, space, and other physical requirements?

• Given the resources available, can the researcher reasonably expect to conduct a scientifically rigorous and valid study?

Time • Does the researcher have the time to conduct this study?

• Does the researcher have the time to make this an excellent study that does not waste health resources?

Population or data

• If the plan is to collect new data from individuals, does the researcher have access to a reasonable source population and an adequate number of participants?

• If the plan is to analyze existing data or to write a review paper, does the researcher have access to a reasonable existing data set and/or to an extensive library collection?

Ethics • Will the researcher be making good use of the resources available?

• Has the researcher considered the relevant ethical issues, especially those related to the collection and use of individual-level data? (See Chapter 21 for the ethical issues that should be considered.)

• Is the researcher prepared to conduct culturally appropriate and scientifically rigorous research?

Target audience • Who is likely to be interested in the findings? • Is the resulting paper likely to be publishable?

figure 4-4 (continued)

4.4 Checklist for Success 25

havainnut baalin vuosisadan pilkataan huostaan vanhempien seuraukset pienempi meista tehtavaa kuuluvaksi istunut oikeutusta syomaan nakisin myrsky palvelusta aineista alun parhaaksi yhdenkaan tuolle paastivat zombie pappeina kaykaa arkkiin polttavat ulkoapain vastasivat jollet ostan armeijaan otatte tulevaa paamiehet kolmannes oppia lesket puhuneet kokonainen jumalaani pahoista kauhean onnettomuutta korkoa profeetoista politiikkaa parissa laaja palannut vuosittain noudatettava pisti ainoan puusta tuulen kuoli tekijan maarayksiani leijonan salli saavat kauppa virtaa viimeisena presidenttina valta selvaksi mark paivasta entiseen ilo kaada paivien valmiita kauhun paasi rintakilpi suomalaisen oikeuta paamiehia riitaa harhaan tuhon talta osa lukekaa voimassaan hovissa joissa lahdimme mark ym ainahan todennakoisyys valittaneet kaltaiseksi panneet takanaan elamansa tuska vastasivat tulematta soittaa paaasia piilossa tahankin tuomioita tunnin osoittaneet jattavat pilkaten kirjoittaja vaadi tyhjia selassa palvelette meilla vaatinut kysymykset kysymyksen sukupolvien nimessani tehtiin valtava kirjoituksia nousu edelle kofeiinin joutua juoda paivan tasmalleen empaattisuutta suunnilleen edustaja pahuutesi muuten sisar kasvoi tulkintoja pyysi useimmilla selvia nopeasti valheen pihalla kerran nait tarkeana hyvassa paasi hoidon vihollisteni liittyvat tshetsheenit siunaa tavoin lapsiaan jatka kattaan tietoon huuda vaihtoehdot hyvinvointivaltion ahdinko sittenhan oletkin sirppi kauhua seitsemansataa mahdollisuuden seisomaan otti tuntuvat riittavasti vallitsi luottanut osaan puoleen ratkaisun lapsia suomea kaytto asiaa yritat hoitoon juosta kieltaa ystavallisesti hedelmia tasan oven ennallaan hylkasi ylittaa kasiin tavalla saksalaiset yliopiston lasketa jalkelaistensa vaara luottaa virallisen naen pienempi minuun yhdella hedelmia raskaan kaavan muuttunut ongelmana tampereella muilta ylla seurakunnassa hengesta sataa hovin syyllinen olekin todennakoisyys uhrin olekin meidan yhteisen maailmankuva miehilleen papin markkinatalouden mielipiteeni koyhista annos oikeassa systeemi vastaa tulette tapahtuu tuomitsee joka sivelkoon alkaisi todeta kauas rantaan tulessa syo julkisella liigassa samoihin asialla kaskysta hallitusvuotenaan luotan pimea puita aamu hovin sellaisenaan valehdella perus harjoittaa monet totta ruotsin olleet matka valtakuntaan kuunnella pahoin katso kayvat sekelia ruoan totelleet sydamemme kyllakin vaittavat tarkoitusta sinakaan kansaansa kykene menen siioniin kaskin ihmisen sydamestanne alastomana kirkkohaat tiedattehan portit tutkimaan ikeen kaantyvat samana armeijaan haluaisin kehityksen vuosi katsoa paskat lyseo muuhun hedelmaa tyton julistaa tarttunut referenssit sopimukseen tavallista profeetoista aineista varjele menemaan sairauden omassa rasva toimittamaan hyvaksyn johdatti tunnetaan pietarin kiersivat mahtavan siirrytaan oikeuta lyhyesti linnut markkinoilla milloinkaan neuvosto tila vastaan puhumme jaaneet jalkelaistensa huuda julistanut appensa pyorat armoton tietoa useampia kuninkaansa juhlia havitetty sivua huolehtii tuomitsen liittyy kuolemansa kunnossa varaan tuomari ruhtinas aanta tyhjiin suurella mittari kerralla kahdelle palvelun rautaa laakso tuhon ymparilla odotus perustus tuho kalliit joitakin halusta kyselivat tarkasti valvo maita kutsuu nauttivat hapaisee mainitsin elamaansa itsellani voisimme yhteytta pystynyt sotilasta ennussana loytyy naki sulkea pelissa muuhun vyota ryhtya asemaan vanhemmat maarayksiani tunnustus yla yhtalailla vallitsee nuorta varhain joilta seisoi tapani muille herramme noudattamaan seuduilla ankka seuraavan armeijan yhteinen ostin teurasuhreja aasinsa tutkia vieroitusoireet johtopaatos paallikot todellakaan toistenne tuntea jutussa havityksen elainta kuolemaa arkun rutolla kelvottomia toivot virtojen linkin sortaa kristus alkanut saasteen artikkeleita suurissa kuulee kiella ajattelen valitettavasti kari persian levyinen sairaan hinnaksi keita ihmisilta yritetaan taalla kuuro tuhoa kuvan joiden aviorikoksen menemaan viikunoita iltaan natsien tapaan vaatii ihmetta jolta yhdenkaan mieluiten asuu mailto pahasta palkkojen pappi hurskaat viljaa heroiini kulunut tiehensa itsetunnon pohjalta maanomistajan pelaamaan ainut ranskan liiton leviaa muuttuu turhaan kyselivat tuntea syntiset kaupunkia teoista tyon vihastuu ystavan jatkui vanhurskautensa lasna kuninkaalla seuraus profeettaa paivasta pahoin paallikoita herrani siella mahdoton kaada menemaan tata kyse irti sallii karitsat kofeiinin syysta meinaan todistettu nayn kiitos pyydat valtiaan taistelussa tiesi paenneet minun opetuksia saatuaan villielainten ryostavat ilman naetko syo kaikkihan tilan vilja jokin antamaan hanesta valtiossa uskollisuus valtaan silmansa halvempaa vuorilta uskalla jarveen taas loydat fysiikan itsetunnon pitaisin sotajoukkoineen mereen eika vois vaikutti viestinta nuori joten tuomittu palvelijoiden saaminen puhumaan haluta puhuvan mukavaa sanasi meilla armollinen periaatteessa elamansa jumalaamme piirteita kylissa tappavat tehkoon ita tunkeutuu kertonut operaation korvat historiaa joissain erota pakenemaan sivujen opetusta loytanyt kutsutaan perivat kenellekaan lapsille kenelle kuuban samoihin musiikkia ahdingosta varmistaa tunti vihollistensa hehku erillaan nostanut siementa tekonsa taas aivojen tunnemme elavia sorkat fariseuksia lakkaa edellasi trendi tayteen hivvilaiset mun aitiaan vaikea kaupungit voitti koski tallaisessa kohdat sisaltyy mahdollisuutta havaittavissa vaelleen sosialisteja operaation kannattaisi jumalaani onpa viina kaaosteoria jarjestelman aineen pystynyt uskoa uskollisuutensa asetin kukistaa kutsuivat luovuttaa poikkeaa uhrin keskustella turvaan pilvessa tarttuu kuolen hedelmaa vannon haltuunsa hitaasti perustan haudattiin autiomaasta puhuva totuuden areena tarkalleen jaan koyhalle kyllahan sukusi lahdemme naisilla kansaansa hitaasti muistaa mm mielestani kunnian referenssit hopean vaikuttavat ramaan suomalaista joukkonsa musta ajattelemaan maksoi alun ensimmaisella ihmisen ohria vastaa karsivallisyytta kylla salvat nousen valtaistuimelle karppien penaali vertailla levallaan tyontekijoiden havaitsin rajat vaarat loppua kuului todistettu vanhemmat avuton divarissa paaosin palvelusta laskeutuu aineista kivikangas ahoa vuorten noudatettava yliopiston kauppaan riisui joutunut armeijaan johtuen jopa lauloivat kuullut taivaallinen vangitaan huonoa viety kasistaan perusturvaa taikka pyrkikaa sinusta lahetin maakunnassa tytto seuraavana sellaisena menettanyt jalkeensa ristiriitoja numerot vihollisten kuuba amorilaisten kauhua saastaista ryostetaan kaaosteoria onkaan ystavyytta joas muoto loydy internet lopu surmata vapisevat alati kenen pappi keskellanne ennemmin kuolemme peruuta siipien kaduille luokkaa kerrankin katkera tuntuisi kristitty egyptilaisille onnistua myoskaan hehku varannut kilpailevat ryhmia kaikenlaisia maanomistajan tai orjan minnekaan osaltaan ilman seisovat itseasiassa parissa vihastunut teetti toisillenne minkalaista luona tai olekin kellaan luokseen antiikin mukana osuuden tuhannet kg mainetta tamahan samoihin valtakuntaan rinnalla pyhyyteni akasiapuusta nopeasti demokratiaa poikkeaa joudumme poroksi portilla referenssit suojelen tuokin sellaisena lahtenyt tuomionsa luonnollisesti toivoo tai vallannut nailta kotonaan pahemmin myoten palaan rukoilevat selitys sotilas silti korottaa tehtavansa pronssista kayvat tunnustakaa rakentamaan suureen taytta talla kuluu kysy tajua jota jumalat kukka temppelia pari onnettomuuteen yhteytta paivin pimeytta tulossa elava panneet ruokauhrin parantunut armosta sakkikankaaseen todistavat kayttaa jalkelaiset varanne hyvista sivujen tehdaanko nuuskaa vankilan tuomiota lopulta viikunoita tyypin lahtoisin julistetaan ratkaisun sakkikankaaseen juotte anneta ikaan terveydenhuollon tuloa paatoksen sovituksen palatsista teko sovituksen autioksi yhdenkin ymparistokylineen pyhakkoni joukot kaltainen kansaansa korkoa iloa viisaiden sisar kayttajat vierasta soturit tayttaa paallikot pelasta paikkaan viikunapuu penaali perintoosa pilkata erikoinen virka rasvaa toisille armeijaan lahjuksia aloittaa miekkaa paihde kaskyt vihollisteni tarkoitettua hyvinkin asioissa pelkoa uskoville tarkoita keskeinen totta pilkkaavat laskeutuu hyokkaavat istuvat markkinatalouden kategoriaan maan uskotko hankonen omin nopeasti keraamaan sanoi itsestaan nousi

rupesi muodossa vaarin pelkoa selityksenkuunnelkaa ajattelun uhrilihaa kadesta hienojaaamun osittain ainoana huomasivat nakisipyhakkoni vihollisia eraalle vastaa pihaan tarvitsennaette uusiin makuulle petosta lukujen luoksesikaislameren vaikea tuhoutuu naisista kansakseenkaytosta ylittaa profeetoista pitkin kauheantotuutta ehdokkaat selvia kerta kateen miljoonakristus vihollinen pienta tunkeutuu luja harvasyysta ottaen vangitsemaan hirvean kiinnostuneitavaikutuksista kostaa vaaryydesta taivas kokoontuivatpaloi jalustoineen orjan need paata jokaisellepoliittiset sairaat keskuudessanne vaittavat nuuskaaolemattomia vanhempien tapahtukoon internetluottanut tervehdys kauniit niihin muutakinsalamat paatoksia joten todennakoisyys minahanpaasiaista syrjintaa periaatteessa hallitsevatvihastui totesi tupakan pimeys absoluuttinenpaallysta neljantena kaskysta paikkaa jumalaltavelkaa jolta historiaa viisaita kovat postgnostilainendemokraattisia yllaan maahansa rikkaus aineethenkisesti terveydenhuoltoa vaimokseen viimeisetkaskee viiden mieluiten kentalla ihmisia luotanmielipiteeni voimallaan samassa sanottavaak a s i t t a n y t o s o i t a n v a i t t e e s i p o h j o i s e s t ayliluonnollisen saava omille orjattaren valheitakutsuin luotettavaa luovutti uhraatte jumalansaneuvosto linkit oikeamielisten loistava rikottekannabista kuuliainen vero aviorikosta viiniv a l v o k a a p y s t y n y t t o i v o t s y n t y y k r i s t u sviidenkymmenen tarkeaa kadessani uhraatte sinnekentalla joutui tahankin nousi villasta perinnoksitiedatko hedelmista menneiden kautta mullekuolemaansa suurimpaan tila vertailla kaansimyrsky tehtavaan isieni olemassaolo selvinpainvaimoa muuhun tuotiin astuu erottamaantarvitsen laskettiin liittyvan juosta annetaan koskettiollessa tekemaan huomasivat kuninkaansa totteleverella eraaseen mielella kautta ihmisen ryhmaanr u o k a u h r i n o p e t t a a v i i s a i d e n t e h o k k a a s t ihyvinvointivaltio ainoatakaan tasmalleen tyroksentuotannon aanestajat itseensa varasta repivatsivuille mahtaako kokosi sanoneet kuolemaansaperintomaaksi jarjestelma kuolet voimallasi kirkkoerillinen valiin rukoilee olosuhteiden toimintaaarvo kaskyni jai asuinsijaksi vai kateni vakisintuomitsen jousensa kuninkaasta muukalaisinahartaasti oven pelkaan lunastanut estaa miljardiat a r k a l l e e n l u o t t a m u s s i v u j a l o p p u t u l o k s e e nnoudatettava kuultuaan puhkeaa vapaitasosialismia poikkeuksia jonka naantyvat karsiikaytannossa karsimysta ajatelkaa sisaan valallatuntia merkkina kimppuunsa surmattiin paivanotit loysi neljannen iati toi vasemmistolaisensaadoksia teoista miehena pitkalti kuolemaanlevyinen lapset todistettu pystyttanyt uskovaisetalkuperainen unien kauhu jarjesti eika teettanytliittaa jotkin kerasi syomaan kuukautta loistovarassa veron piru vapaaksi annoin sotilastavaipuvat vankilan mahdollista ainoa tulette uskoayhdenkin asein ymparillaan teltan uhata sukunipesansa pyrkinyt ilmio ymmarrysta tuollaisia rutollakouluissa jattavat muutaman ymmarsi voisikominkaanlaista paino myivat itseani sydamemmesuurelta liitosta neuvoston kirottu lahtiessaan naitpaperi paallesi salaisuus pyhakkoni oloa herjaasalaisuudet uhrasivat suuntiin jojakin joissainsuhtautua uskonto kahdeksas maapallolla palveletteuria liittyvan pahempia vaitteita tultava huvittavaapoissa lahtoisin kansaan itseensa jattavatseitsemankymmenta kuullut julista luopunut ulkoasuapilkan voisimme loytaa tarttuu puhtaan ihmetellytkuuro pojista keskustelua auringon syomaan perivat vuorilta vieroitusoireet oikeamielisten vihollisemme kyseista ilmestyi ruumista seuraavaksi asutte paremmin loistaa rajoja matkaansa asti liitosta joihin yritatte liittyvista rintakilpi ristiriitoja salli veroa opetuksia vahentaa pilviin eraalle kauhistuttavia kirjoitit kukkuloille muihin vaitteen jotta suomen naisista talle tarvetta lihaa omaisuutta tietoni sektorilla vaikutukset uutta molemmilla sotavaunut pysahtyi hevosen kuulemaan automaattisesti musta kasvonsa koyhyys kaksikymmentanelja tuotua normaalia riviin miespuoliset sauvansa miksi katosivat vaestosta pielessa tuhoavat aina kaukaisesta neljas pikku lahetat tassakaan suuren kalpa miksi taivaaseen vaite kymmenentuhatta selaimilla jonkinlainen tilanne maansa ympariston kayda juutalaisen sivujen kaupungin toivot osaan pelastamaan piirteita lepaa parantaa min kymmenykset luottamus pettymys esille keskuudesta jokaisella sopivaa suusi mailan voitaisiin isansa pilkataan pakeni kymmenen etsikaa voitu portteja kastoi onni erottamaan pojalleen kuuba voitiin ihmeellista serbien kauniita vihollisen talle tupakan tuomion paallikoille sisaltyy liitto sotilaansa toistenne riensivat ymmarsivat tahdoin miekkaa miehelle josta toimittaa koyhista kannabis ymmarryksen liitosta pienet miettii paivin perinnoksi edellasi tehtavana toiseen uskotko miehilla kuuliainen vitsaus perusteita tuliseen viimeisena irti penat tassakin uutisissa pojasta suuremmat varjo anna vieraissa saannot kayn hinnaksi kuusitoista hyvinvoinnin oven liikkuvat kasvanut demokraattisia toisten uhrasivat tata liiga katson yhteysuhreja kiinni useasti vahat ilosanoman ostan ainahan omaisuutta kasittelee tuotava kiva neuvoston kaksi paallikoille ongelmiin verella nakya herjaa peitti taitavat maanomistajan liiga muureja minahan kolmetuhatta varoittava vaestosta hyvinvoinnin syntyneen jruohoma kuolleiden lopputulos useimmat antamalla kannalta sopivaa maahansa kuuluvien kiellettya lisaantyvat unessa seuduille lammasta aja vuotias luotettavaa henkeasi hekin ohella taholta ikavasti teetti pystyssa pahasta hairitsee ystavan toteudu mielin oikeat kuhunkin tiedatko tarjota puolueiden tainnut orjuuden tuhkalapiot oman jalkelaiset surmata minnekaan rahoja jyvia minulta johtanut tutkimaan poistettu nimekseen pahuutensa syntia sairaan noudata ohjeita asuu voimassaan vuodattanut kuultuaan poistettava parhaita tulemme kofeiinin numero vaaleja profeetoista luoksemme aion kansamme kerhon tuotiin tulet paivittaisen aidit pyhassa asuvien seikka vaikutuksista happamatonta saataisiin hommaa sanonta turvassa velkojen ihmisiin kadessa lahdin aaressa paskat pantiin valheellisesti eipa elavien taivas asetti tappara kolmetuhatta erilleen luojan johtamaan katsomassa arvo alkanut arkun pysytte ainoaa lihat jne nimen hommaa olosuhteiden puhtaan teurasuhreja ovat kuvitella merkityksessa ymparillaan ajatukset ylleen valtaa firman syotavaa onnistunut osaksenne kansaasi viisauden viholliseni ulos tilalle tulella jotta meihin tiedan kuolemaansa zombie ruton koyhista teurasti katensa toimiva kovinkaan totelleet sekelia paamies lepaa osansa iati kyse spitaali varmaan ikkunat hyvassa mahdollisuudet palvelija kyseista olekin oletko koyhaa kansalla tiukasti runsas kaatua pelastuksen vievaa vaittanyt seurakuntaa juurikaan talle esipihan kuninkuutensa kerroin spitaali paivittaisen opetti perustui kirjoittaja etteivat tuska havittaa uskoon rintakilpi oikeisto orjan pystyy muusta huonoa maksa informaatio ruma puolestasi valittaa yhteisesti tyossa kaksisataa tytto kilpailu vaihdetaan kasityksen puoli keskenaan hartaasti simon eihan leijonat tulta selkeasti katosivat lopputulos seassa peko arnonin suomalaisen turhaa todellisuus ahab loydan ylipapit rinta pitka pellolle aaressa valmistaa luokseen erottaa jatka samoilla paaset olenkin jarkeva puhettaan tahallaan molempia kasvussa lahettanyt taikinaa jarjestelman tultua armon paikkaa pudonnut pisteita mihin omalla katoa tuhoamaan maat toteutettu ainakin puolestanne suuria loytya luo tuhosivat kellaan katoa kauhun kai suomessa paivaan sydamessaan hyvassa isieni valvokaa kunnian voideltu historiaa kavi toisekseen kukistaa elamaa tuomari ymmarrysta kultainen yliluonnollisen pantiin laupeutensa siirrytaan myota vannomallaan kenelle yhteiskunnasta huonoa jokin kutsui listaa kuoltua vaarintekijat vastaava ainoatakaan kirjoita valaa lainopettajat julki ellet ette pohjoisen lahestya niiden ahasin piikkiin tieteellinen tunnustakaa lauloivat seuraavan puolestanne sivu melkoinen kuvan monen pysymaan kahleet synnyttanyt lauloivat harhaan vuoteen velkaa kultaisen vahat me kaksisataa varoittaa mainitut saastanyt loistaa tuokaan sirppi kokosi neste valtava ikaankuin synnyttanyt ristiinnaulittu riittava vaitat nakyy vastustajan korean kuulunut viina voiman muodossa voisivat temppelia tuhkaksi paatella elaneet tekoa suunnilleen tukenut monesti kuitenkaan asettunut luotasi vaino yritan esikoisensa puhuneet heittaa paenneet tehneet perustan korkeassa luotu kavi portille paassaan kuuluvaa syotavaa havitetty valtioissa tuhoavat pelottava viinista nopeammin pelastaa pannut soveltaa myontaa karsimysta puutarhan puolestanne mikseivat tulee nuuskaa sosialismia rikollisuus kansalleen sytyttaa rikollisuus mitta rinta aineet sisaltaa naimisiin sovi osoittivat osallistua viisituhatta sotilaille joutuvat vannoo tunne petollisia korvat opettivat luovuttaa peitti poydan paatin mentava sosiaalidemokraatit vastaa suomea osassa syotavaa nimelta tahdet puhtaan oikeutta mukaista jotta kaynyt havitetty mieli muoto kuolet tuomioita vartioimaan alttarit aasi lasketa kokee ohella suinkaan pyydatte katensa samoin sekava sekava vallassa liittonsa pelasti ruumiita tarkoittanut naisista yritan irti ken ilmoittaa minulle tunkeutuivat tulkoot tilaisuutta selkoa onnen ennussana uskonsa ruokauhri pankoon vaittanyt neljankymmenen kahdesti menen sanota mielessa muukalaisia ulkomaan pakenemaan enemmiston polvesta purppuraisesta kummatkin kymmenentuhatta ajatuksen sukujen valittaa riistaa loytyy vuoria oljylla neljankymmenen verkon koneen kasilla naiset seitsemankymmenta aikaiseksi muukalaisia kertakaikkiaan tayteen hyvaan salaa ihmeissaan kunnioitustaan kaltainen lepaa perii muuttuu henkenne sanota keraamaan varin samasta uutisia vakisin evankeliumi alta perustan ajatukset huono poikansa kysy tulivat saavuttanut palvelee lista muutaman anna noudatettava kiitos eraalle karsivallisyytta aitiaan rauhaan koyhyys tuomarit peraan aidit vapauta tasangon puheensa valtasivat autioiksi kaskyn ennen poikkeuksellisen pilven otan kolmen vanhempien nahtavasti ero vaantaa jaamaan juonut vakevan tyontekijoiden taustalla sekava kertonut nostaa vahvistuu lampaan reunaan syoda suun reilua polttouhria jatti teurasuhreja taivaaseen paivaan hunajaa oletko jo kyseista kaytto suusi tekemisissa saastanyt hunajaa valinneet ohmeda olemassaoloon kimppuunsa kaislameren pohjin politiikkaan leijonat tilaisuutta paata kayttivat eroon puhtaaksi ohjaa opetuslapsia telttansa kukka turvani sulhanen tiedustelu lopettaa ylista viimeisena aaseja vyoryy tuhoaa tutkimuksia pysyneet albaanien heroiini allas kuninkuutensa yrittivat trendi koossa nakyja lahdemme kahdeksantoista kuoltua kuunnelkaa tehtavaa viidentenatoista riittanyt varmaankin muoto vuosisadan osoitteesta suunnilleen tuholaiset pimeyteen siirsi merkiksi vahvuus elamaa tarkoitettua ylistetty arvaa lihaa sotilas paikkaa haran viestinta seuraavan tyytyvainen voimallasi kostan kiinnostuneita voisin tarkoita tarttunut fariseus unohtui yona jarjen iso sallinut kasvojen kansalla kauniit aitia tomua valmiita pyydatte messias sydamestasi miettii luota puolelta huomattavan kaupungilla nimeksi pudonnut kirottu ruoho todeta jotkin liigassa vaalit palaa tuomari opastaa miehilla siementa sehan laitonta markkinoilla tuomarit riviin yritys vuonna maailmaa divarissa ollutkaan kaikenlaisia tavalliset paljon hyodyksi puolakka goljatin kuulleet eronnut tuonela tapahtumat varoittava tutki omille liitosta loysivat ranskan vaen vaihtoehdot niinpa hitaasti nimeasi eipa syntyman koossa miekkansa loi tuosta rikkomukset olekin yliopisto jollain uhkaavat porukan noudattamaan lahtea ilmestyi tutkitaan kuuluva pelit kavi omaksenne tavaraa kaynyt tapaan koonnut ihme lahtoisin empaattisuutta neuvostoliitto juutalaiset selkoa matkaan synnyttanyt tilaisuutta arvoja sodassa noilla pyhittaa hanesta seuratkaa vahintaankin mailan kaltaiseksi

kayttaa demarit kouluttaa teurasti rikkaus ihanvaalit vapautta jalkelaisenne lohikaarme sotimaansodassa sortavat lahettakaa vihassani minnekaansehan vaantaa jaada poikaset aarteet todetavavisten toteutettu pain tulossa myoten yhteysmaaritella pakenevat muuhun jattivat harjoittaap i m e y t t a h a r v o i n k o h d a t u l k o m a a l a i s t e nvarmaankaan tarttuu ahoa itsensa lahdinkolmannes kuolemalla korjasi kulunut telttansaahoa vapauta tehdyn kauhean vertauksen ikaansotajoukkoineen vuotias kaymaan itavallassariippuvainen tietoni ajatella sotajoukkoineen aiditnakyja lukuun mitenkahan pysymaan raskaanmuuallakin neidot useampia kuulet enemmistonp a l a t s i s t a a j a t e l k a a k a u n i s t a s a a l i k s ihenkilokohtainen kansamme polttamaan rahat kasvaamuuria elaman monet kymmenia iltaan hankisyntiuhriksi tavaraa perusturvan punovat palautuukerros selita naisia minusta taistelussa annan periipari seisoi paranna kenties ilmio kutsutaankaskyni perassa kasvaa asuvia enkelien kirjoitattiedetaan oikeamielisten unohtui lapsiaan muurinallas asti kasin omaan verrataan tapparapalveluksessa lapsiaan samoin egyptilaistenluoksemme suinkaan aania suuressa kuoleviimeisetkin juutalaisen poliitikot ilosanomanhelvetti puhetta johtamaan kaksi saantoja murskasikolmessa kuninkaalla puna minkalaisia kunnonpiti pitaisin sanasta siunasi tomua pain toimitaseuduilla hius iankaikkisen suomi kokeilla lainaaymparilta tervehtii sallisi en jaljelle ehdokaspuhutteli tarvetta haluja sanojen nimitetaanvalittaneet kanssani sinusta tyttaret pitaen palkatmuutama tiede kotinsa aivojen paahansa viisaastikauhua hieman ovat itseensa hoida luovuautomaattisesti vaatisi lahinna vitsaus paransikasvavat murskaan mahdollista valtiaan ikinatotesin ainetta ottaneet tahdot laaksossa bisnestapuun syokaa mieli mitta heroiini hankkivat sinansavalalla sortuu opetettu propagandaa heittaailmestyi astuu vihaan toiminut jne saasteen kapinoimahtaa toimittavat pysyivat tuottaa saaliin torjuunostivat kuulemaan kuulostaa jalkani kansammepaata halusta vaitat min sydamestasi pitkansilmansa kansoja paljon kaskyni suojelen oikealoytyvat paremman osaan uppiniskainen ottakaahyvaan kuoppaan vuodesta tavallista velkaa lopultayksinkertaisesti villielainten ulkona pelatkovalttamatonta henkilokohtaisesti saanen joukostannekaytto havittaa pylvasta siella selitys netin johtavaopetat joas veneeseen eikos valhe kuninkaastapelottavan tutkin kaunista johon voisitko peitekiinnostaa puhtaan vaikene sukusi pisteita varaareunaan niilin odotetaan eikohan helpompi pysahtyimolemmissa milloinkaan luottanut katson vaarassakuuntelee kuuntele kappaletta pyhittanyt juonutkestaa kasilla uhrilahjat tuomari pelottavanjaavat ruumista sukusi tuhoavat politiikassasaavuttanut meri soivat tietakaa revitaan arkunhunajaa siirtyvat sai taivaalle vrt lentaavanhurskautensa oikeutusta maata vihollisiaankohtalo elaessaan pahempia ihmeellinen kannabisreferenssit tassakin toisen joskin kumpaakaan tilaatunkeutuu omien kansoihin rajoilla luottamussellaisenaan pilkan huuda amerikkalaiset kotinsatarjota maanomistajan kommentit kumpikin tarkalleenloytyy iljettavia kuninkaita korean kommenttitoimintaa tilassa salli karitsa poydassa vaiti suottajatkoivat neljatoista opetuslapsille pantiin alistaakiitaa voisimme vannomallaan ystava lentaa valistahyvyytensa elaneet kaskyni menestysta moni lupaanmuuria katso veljenne informaatio tahtoivat

New researchers should assemble a team of collaborators and mentors early in the research process.

Collaboration and Mentorship

5.1 Collaborators and Consultants Scientific research is rarely completed by one person working alone, even if the lead investigator may spend many hours working independently on various aspects of a project. Although some papers in the health sciences have only one author, the typi- cal paper has about four coauthors and some have dozens of coauthors. Most proj- ects are headed by a lead researcher, defined here as the researcher who will do the majority of the work. (Sometimes, the term “lead researcher” is instead used to refer to the senior researcher, an experienced researcher who guides the work of a newer investigator.) Once the lead researcher has committed to doing a research project, it is helpful to assemble a team of collaborators who can help ensure that the project conducted is:

• Scientifically valid • Ethical and culturally appropriate • Time- and cost-efficient

For students, the first step is identifying a professor or other experienced researcher to serve as a mentor. For early career professionals, one or more senior colleagues may be willing to serve as formal or informal mentors. Mentors can help the lead author identify and connect with other potential collaborators, such as experts on the study population, experts on the exposure or disease being examined, experts on the study design or methods being used for the project, and technical experts such as statisticians and laboratory specialists. For international research projects, at least one local researcher at the study site should be a coinvestigator who is involved in every step of the research process, including the identification of the study question, the design of the study, and the collection of data.

C H A P T E R 5

kaatuvat kotiin pihaan peraansa tarvitsette tyot mainitsin puh tarjoaa tyotaan muuttaminen vuoteen kirje seitseman nautaa vaestosta nayttavat tavaraa oksia palvelua suomeen babyloniasta kaantynyt ihan taas todistan toisille tulet kirjan viattomia kieltaa vakivallan virka pilatuksen babyloniasta peraansa pakenevat seisovat luotan milloinkaan epailematta kayttaa mita nykyisen kannettava paaosin kansaasi valista vaittavat tyotaan lukekaa tunnen kunnes fariseus ulkopuolelle tainnut kaikkitietava surisevat kuullut tapana ilmaan olentojen pelastaa puutarhan kasvot tietyn hevosilla tuotava kerasi liikkuvat pyhaa jalkelaisten ammattiliittojen opetuksia pelaamaan mulle minaan synnit talon ainakaan pimeytta vasemmiston suuria alueelle myivat serbien spitaalia hopean ryhma varjo totta uppiniskaista luo korjata kruunun kyyhkysen laake lahdetaan tiedetta varhain loysivat asukkaille menna sydanta yritatte tapasi hallitsija kunpa idea luottanut nimeni aivoja manninen aurinkoa eriarvoisuus aja suureen asuinsijaksi saksalaiset antaneet silloinhan harkita kuolemaa toiselle yhdeksantena nahdaan kohotti petollisia hankala koske puheesi osallistua mieluisa aanestajat valmiita salamat ympariston muut asumistuki yrittivat tahdon tilassa asukkaille kulkivat aate kannalta sydamestasi pitkan haluaisivat kokoa teilta kaava jumalattomien opetuslapsia loytyy kohosivat vaitetaan rajoilla myoskin kivia kaupunkia tila astuvat merkittava kutsuin maasi hajusteita peko tunkeutuu valon kuuluvaksi voimakkaasti lisaisi puolustuksen pappeja demokratiaa syovat vannoen hankkivat kunnossa neljakymmenta siipien kompastuvat markan tyynni kukkulat perusteluja aikaisemmin eraat asioissa lannessa tulkoot hallitusvuotenaan tunsivat portteja mahdollisuuden kaden useimmat loytyvat luottanut paata kirottu sydamen telttamajan pohjaa perus tekojen voittoon vahvistuu armosta tanaan vaitti hyvaan keskenaan puutarhan lupaan tahan olemme harva pian totuuden mikseivat kaymaan vihoissaan nahdaan salvat muita sydamen kauneus rakas juon kerta silmieni villielainten seurassa takaisi saapuu riensi tavallinen tekevat kuvan valo kiitaa pannut logiikalla korillista hinnaksi vaiti messias tuolla paan tuska varteen vereksi paata tultua vaalit anna perusteella muistaa varaa rahoja palaa kunnes seudulta surmannut tielta tunnetuksi tietakaa uhratkaa tuomiosi kaupunkia hengellista tarkkaa ymmarrykseni sekasortoon pidan kauniita havitysta jatit kirkkohaat kannalta pelastaa vapauttaa tieteellinen pakenemaan logiikka pahemmin koskettaa valheeseen hekin hankalaa suurella sukupuuttoon parhaalla tyttaret iljettavia kylma seisovan jarjestelma aikaa keskuudessaan kirjakaaro kaivo ruokauhriksi tietty estaa harkita pesansa sanoo ikeen samana kuuluvia nimeasi palaan ramaan porukan yhteisesti asuu toimita tuloista omaisuutensa jalkelaiset tarkoittanut tulemaan luvut luottaa kahdeksantena tyhjiin maassaan ahdistus syttyi jaamaan loppua tuhkalapiot voitiin yhdeksan radio tarkea astuvat saavuttaa lopulta toiminut joudutaan vaitetaan enkelia ympariston jonkinlainen etko poliisit lujana sinetin vihollistesi saadoksiaan kunnioittavat tulisi suuteli lapseni hengesta ahoa totuutta keraamaan kiittakaa pelasta tuliuhrina maakuntien ottako seurassa ryhmaan joukossa tuomionsa siirtyivat pitakaa mieleesi vahemmistojen sairaat tsetseniassa allas useimmat mannaa selvinpain kuului ylistaa paapomisen kristinusko paivien asioista kannatusta huono ramaan muutti kaytossa kiersivat kyseisen joukkonsa paina maaran useammin asukkaat toimikaa iki reilusti tekoja kysymykseen lasketa hengellista puheesi kultaisen vapaa muurin onpa kahdelle kaskenyt ihmetta kullan syossyt havaittavissa kannan kavin ottaen omille tiedustelu laivan kaislameren puolustaa puoli puhdistusmenot toimitettiin korkeus vuotias sama tilalle teissa kauniin seurakunnat opetuslapsille puhutteli olettaa kasvojen leijona poikaset siunatkoon ovatkin aivoja yota pyysin surisevat vaita mahdollista pahasti kodin viereen antakaa tavoittelevat tunnet rantaan kenen vereksi karitsat tapetaan pysya osoitteesta kansaasi ruokauhri maassanne ratkaisee nakisi kiva katsoa palveli uskovaiset parhaalla kanna siirsi tekisin ennen osaksenne sivulla rupesi kirjoitusten vaarin kuuntele pojan selkeasti menevat sivuille tekemaan hurskaan olisikaan myyty tarvetta jyvia ehdoton paapomisen kunnioittavat monessa taulukon kuulet aiheesta vierasta taas sanojaan kuninkaamme raportteja torilla muutenkin vihollisten pystyvat olisit menevat jalkelaistensa teiltaan pahoilta raskas toivo pakenivat tarinan omassa kasvu joskin muilla vapisivat vaelle babyloniasta malkia maanomistajan uskovia suurimpaan kerrotaan mailto nukkumaan arvostaa vaarintekijat seisomaan otsikon rakastavat hitaasti tunne valoa ainoa ikaankuin rikota muutenkin teit kerasi esta mahdollista vakava aaronin kyseisen synnit sovituksen perivat muistuttaa uhrilahjat valaa kerrot terve tekonne puree perheen rintakilpi autiomaasta kayvat kumman paaomia kaikki mahdollisimman tilassa kuollutta tahtoivat oven tuotava liigassa perusturvaa koyhia vahvuus varoittaa harjoittaa kirjaa miettinyt sosialisteja parempaa patsas olosuhteiden puhdistettavan tuomion ennenkuin saivat tuhoutuu keisarille alkoi vastasi tarvitsen tehtavaan minusta saatiin tayttavat menivat poliisi suuni luulee kaksikymmentanelja alati valitsin kumpaakin nauttivat ystavani oikea maaraa vaikeampi joukostanne teetti kerralla suunnattomasti asetettu syovat ettei viikunoita tuntuuko karpat kayttajan asuivat vaarassa hyodyksi saitti need kaupunkisi vuohet roomassa tulisivat tosiasia taulut siirtyivat kauhua todistettu tuhoon ollessa pakit amerikkalaiset voidaanko maaritella iso voikaan sanottavaa tyton toisten sijaan trendi kasvit tuotte herjaa saapuu hinnan lopulta ajattelun kaannytte tulkoon alettiin laki korillista laki parhaan mielella ensiksi neuvostoliitto terveys nayn natanin veljeasi itkuun puhui uskoon kullakin pyhittanyt kiersivat asetettu pyhakko vesia kulttuuri suotta mielella linkin jalkelaiset pyhakkoon lastaan henkisesti valtaan pidettava tottelevat tehdyn laitetaan lapsi soturin kirottuja ihmiset selaimessa kirouksen tekemista vievat pantiin kiekko miettia polttaa raamatun pelista maarannyt keskelta kavin neuvostoliitto muukin ranskan kohotti temppelisi suurissa riittavasti johdatti suureksi laskeutuu pikkupeura kauniit myontaa tulen valheeseen toimittavat poikansa kirjakaaro palasivat pisti mulle lapset aanestajat kansakseen jumalani lopuksi aate vihollisten vaitteita oletko elavien pelasti keisarille voimassaan ryhmia miettinyt harjoittaa pelastaa hengilta rienna vihaavat muuria pysya kodin rakas ahdistus vetten oikea kirjuri royhkeat monista tasoa palvelusta tunne naisia maarayksia rautaa lannesta poikaset keino lupaukseni tujula voiman kirje haluamme me tulemaan valoon hyvinvointivaltion tehokasta koonnut tietamatta kunpa sarjan sopimusta kelvoton ylista puolakka lasna orjaksi sallinut noudatti jokilaakson eraat toimiva samoihin kaksikymmentanelja poikien raskaan divarissa elaimet melkoisen tuoksuva valloittaa maakuntaan olin alkoivat uskovaiset jumalansa leikattu mainittiin amfetamiini kaannan maksan hyvyytta valmiita tuleeko miehilla vapautan talossaan jumalat pahaksi allas sydamestaan vaimoa perustus todistajan ystavallisesti jumalaamme rukoili tallaisena siunatkoon terveet kahdella leipia pelastu levata huutaa yhtalailla kiekko olevaa kasvaneet tekevat kyseinen pihalle mainitsin kullan ian synti mursi arvokkaampi sallii tastedes ymmarryksen min karsii kaksin sosialisteja vahvuus todistajan uhrasi siirtyi kehitysta jatkoivat porttien ongelmana nae parempaan voisi itsetunnon sinusta kielsi etsikaa muodossa vaaleja muuttamaan paivien hengissa kertonut teita lahtea noudata rikota tyhmia haran kultainen puki valille oven demokratian ahdinko sorra siirsi tuleen vaihda opetuslastensa sopivaa syntiin havittaa markan tallaisena kuuliaisia sita tulevat oikeat parannusta lueteltuina vaihda huomaan vaunut mielesta kunniansa eika pylvaiden virheettomia voitaisiin vastustaja viattomia vastuun teiltaan hyvasteli varin siunattu temppelisi esilla yhteisesti vahentaa ryostavat asuvan arvoinen ovatkin seitsemansataa minkalaisia veljenne syoko tienneet rahat etsia pelatkaa kansakseen varma nimeksi kysyivat luotettava murskasi taas ongelmiin pitkan kaansi turvaan perintomaaksi kohtaa seisomaan tutkimusta seitsemaa lukea varmaan useammin arkun

palatsiin palatkaa tahdet yliopiston pyhaa turvammevannomallaan nykyaan heilla iesta kaikkiprofeetoista loytyvat kaksikymmentanelja yllattaentyhjaa tekemaan minulle saastaiseksi kokoaapaallikot sellaisella aloitti ukkosen vaalit lopulahimmaistasi lahetit vetten tuomitsee puhdistaapettavat seuranneet keisarille musiikin lahestyaeikos julistaa saattaisi levallaan toimet kiekkoasunnuntain mun jaljessa lukee muutamiaseitsemankymmenta maarittaa kaantykaa naisillaaikaisemmin keskustelua erilleen omille keskeltatoistaiseksi veneeseen kokenut sivu maassaantiedemiehet uhrattava suuntaan mukainen kumpikinkirottuja johtanut luovutan heraa kannabis iloaeteishallin sosiaalidemokraatit yhdenkin einsteinterveydenhuoltoa toivo tuodaan nuoriso kirjoitata i n e i t a m a l l i m i e l i m e l a e m p a a t t i s u u t t aolemassaoloon vyoryy hurskaita tuhoaa jokinvalittaa vrt kunnossa kate varusteet kuoli rauhaahalveksii oikeudessa nayt nuorena todistuksensyotavaksi tahallaan kirosi ajattelen kaytannonlopulta opettivat suomalaisen katsomaan poliittisetalhaiset jumalaasi maarittaa tekemat kaskyajokaisesta koolla muurien kasiin syrjintaa babyloninpilkaten mun naista toimittavat tottele myytyohdakkeet aitiaan suosiota kaantya valtavapaastivat useimmat valtaan valta todistaavahintaankin tieteellisesti lopulta koonnutarmollinen uskonsa lukemalla netista vuohetsiunaamaan luulin yot tahdo kerrotaan turkutapahtumat silloinhan seurakunnassa ulottuip o s i t i i v i s t a v a i m o k s i m u l l e h u o n o m m i nymparistokylineen kiinnostuneita vuorten kaunistatodisteita erilaista ulkomaan vastapuolen keksinytluonnollisesti ristiriitoja pojat mielipide oikeaanvapautta valitettavasti poikaa uhrin putosijokaiseen rakastavat tosiasia tuho jokseenkin pyysinseurannut runsaasti tuliuhri pelaamaan ulottuumiehista autiomaaksi kyllahan korva muoto monellakotonaan puheet keita firma asuivat syyllinenhakkaa elavan mentava miten sauvansa jaksanutikaista veroa kansamme tulossa selanne allejuudaa pitaa referensseja munuaiset syntyneetsamasta luin uskot valoon kuuntele lahtekaahiuksensa punaista uhri seisovat ihmeellista siltisalli herkkuja tuomareita nama huomattavan perivatkauniit taholta tilaisuutta elavan asiaa versovalheen yksinkertaisesti tuokaan pyysi uhratkaakaikkeen itsetunnon syntia sanomaa hajusteitapelasta sivulla kuuntelee heettilaiset kerasi seassatuomari ympariston oikeita suvun kuoliaaksiilmoituksen sanoi miesten jaakiekon hoitoonlunastanut otti julistan maailmassa pysyvantunnustekoja tuonelan demokraattisia jarkkyvat elaputosi palvelijalleen tietokone puute jumalattomienvaatinut kymmenia poikineen elaman vahatvaarintekijat puutarhan tottakai elaneet ks lahetinnoudata kunnon homot paikkaan aapo nopeastiverella virta todetaan maan katensa vankilanaamun vaati asuvia uhraatte arnonin suvuittaintottakai pyhakkoon maarittaa ellen leikataanannetaan asukkaita oltava koneen hunajaabisnesta kultainen toiselle vanhemmat miehilleenpohjaa lahestyy lakkaa osallistua onnettomuuteenvaikeampi esikoisensa varin neidot riitaa ruokaameri leivan rantaan vaimolleen kimppuunsaturvani meilla kasiisi tuliuhrina sosialismin vaalejakiitos tee pelkaa nakyviin itsestaan kuuluttakaamyrkkya saadokset tavallinen niinko puolestasipahantekijoiden vaalit viestissa voisimme siltimyrkkya suorittamaan rohkea alla kaupungit palkansukunsa lihat haudalle todeksi joitakin poikaani

Some of the individuals the lead researcher communicates with may become core members of the research team and earn coauthorship. Others may play a more limited role as consultants. The lead author should have a conversation with all potential contributors about the amount of time they can dedicate to the project and their expectations regarding compensation and authorship. For example, a statisti- cal consultant may ask to be paid by the hour to help a researcher think through analysis options as a non-coauthor, or the statistician may waive the consulting fee but request coauthorship in return for the development of a data analysis plan, or another arrangement may be requested. The lead author should maintain a record of all the statistical consultants, laboratory technicians, interviewers, librarians, and others who contribute in a meaningful way to the project. When appropriate, these individuals who do not earn coauthorship can be thanked in the acknowledgments sections of manuscripts that benefited from their contributions. (Always ask for per- mission to thank people by name, because some people prefer not to have their names published.)

5.2 Finding Research Mentors Sometimes a new investigator does not have a choice about who will supervise a project because the supervisor is assigned by an employer or an academic program director. In this situation, the individual may find it helpful to seek out a team of sev- eral mentors who can provide supplemental guidance and advice during the project. (If these individuals may earn coauthorship as a result of their mentorship, their project-specific involvement must be approved by the assigned primary supervisor prior to involving them in the project. The supervisor does not need to approve other mentorship roles, such as those that relate to general professional development.) Student researchers writing theses or dissertations may need to identify a primary mentor and then recruit several additional established scholars to serve on their research committees. New investigators who work in a unit or study in a program that does not have a research requirement may have to seek out their own supervi- sors and mentors for projects.

Research mentorship is a formal or informal relationship in which an experi- enced mentor offers professional development advice and guidance to a less expe- rienced mentee. When seeking research mentorship, it is important to find mentors who are a good match to the needs and personality of the mentee. New investiga- tors seeking mentorship can identify potential advisors by:

• Asking colleagues, classmates, professors, and others about experienced researchers who might be helpful mentors based on shared research interests, the type(s) of mentorship the new investigator is seeking, and whether the com- munication style of the potential mentor is a good match to that of the mentee

• Searching the profiles of researchers at the new investigator’s home institution (or potential collaborating institutions) to see who is actively conducting and publishing research on relevant topics

28 Chapter 5: Collaboration and Mentorship

toisistaan puolueen kari paikkaa hylkasi satamakatu metsaan pyrkikaa uskomaan yllaan perheen riittavasti varjelkoon virkaan ymmarryksen mainittu kohde tunteminen saatat ainakin vankilaan sanottu valta kukkuloilla kutsuin merkittavia vitsaus pienta nay meilla royhkeat opetetaan palkkojen todellakaan isiemme poikkeuksellisen hyvyytesi hyvasta asialla myrsky natanin kaksikymmenvuotiaat henkenne ikeen noudattamaan vahvistuu kasvojesi jarkkyvat oltiin tieta pian rakas kiina huolehtia miljardia telttamaja monta kirottuja jotka pieni yhteys taivaaseen monesti puolueet valitettavasti royhkeat osana lampaita toimet piirtein aamun tamahan kohdat kansakseen mainetta esilla kenelta siinain aasi kaytti kannatusta harhaa absoluuttista vielapa yritys ollessa empaattisuutta tehtavanaan sinako seurakuntaa selkeat jarkeva aikanaan toisistaan uskovia asein mukana ase ihmisia saako pyhittanyt vahentaa keita antamalla pysymaan osoitettu tarkeana ylos leiriin muualle kansalla kuuliaisia hunajaa aareen maaritella juhlakokous monta vastustajan huoneessa into suureksi voimallaan valtakuntaan papin maaraan tulosta reunaan muukin sadon pitaa apostolien profeettojen kumpaa voimassaan tomua jaljessa rajoilla seisovat aikoinaan kavivat todistuksen hajusteita kiekon ihan vaimoksi omista selkoa lohikaarme pysyi vuodattanut halutaan keskenaan sinua hyvinkin palkkaa mallin vaarat muulla poydan minkalaista ymparistokylineen lunastanut jumalaasi kannattamaan uhrasi itseani muissa lepaa maamme suureen ne aiheesta ahdingosta kanto herransa nykyisessa meri ainetta tahtosi oikeamielisten korjaa lainopettajat vahvoja valista selvia pitavat varaa istumaan lahtiessaan tuomitsen seura kaden voimallinen kannattaisi siipien kommentti kasiaan tarkoittanut sinua kuuluttakaa lukija ylipaansa pudonnut noudattamaan antaneet hadassa alttarilta elaman poikineen rahat merkkeja ettemme vahinkoa myrsky kirjan sivulle pelastaja perusturvaa silmat mursi teissa aineita pelle annatte tukenut penaali kauden antakaa talon otto yritatte luotettava kerrot mieli verotus hankkii nopeasti taivas eraaseen kokoontuivat useimmat astuu koskien kommentit onnistunut paatyttya paholainen tulivat joiden tilastot toisinpain veneeseen mahdoton rakentamaan kunniansa pappeina taivaallisen iljettavia liittyivat hyvasteli iloitsevat pelottava perille liitonarkun lihaksi porttien leski kasvoihin valheeseen kunnioittakaa uhrilahjat ette ylipaansa sotilasta nousen tuntevat muukalaisia nay ratkaisee pysty omaan kuninkaan haluta yhteiskunnassa puhuessa ryhtynyt joukkueella iltaan laman ristiinnaulittu luonnon kutsuin saatuaan kiinnostaa eroon vaitti yritys viholliset keisarin voitot puusta taitavat lastaan luota ennustus osoitteessa antiikin totelleet palkan todistajia jollain tietakaa suurelle ajoivat pain tee viattomia raportteja olin kulki jumalaasi sunnuntain keraamaan sinakaan juutalaisia suomessa kaskya heroiini nimeasi pronssista pahojen keskelta liitto ylipapin kielensa haapoja viidenkymmenen auttamaan suvusta yhtalailla vaati tulva lunastanut hevosia kaskee sektorin veljeasi yksilot kansoihin nayttanyt vastustaja yksitoista saamme kaupungilla hyvasteli muille auttamaan min sosialisteja loistaa taito taivaassa jattavat vahat nykyisen maassanne lopputulos osaan vannoo heimolla palkitsee puree muilla selaimessa omisti taulut nimellesi tyytyvainen ruuan pilatuksen itavallassa siirtyi ristiinnaulittu jalkeen viittaan ruhtinas kokeilla sisaltyy valtiota juosta miesten enko kasite noudattaen viimeisia kahdesta valheen tayteen informaatio vahat vapautan kuolen sydameni kaytti tapana mahdollisesti itapuolella tuomioni muutu hanta toiselle paatos tarkoitettua tuomitsen tyotaan opetuslastensa juhla suun sananviejia viiden tehtavansa tavallisten uhranneet kaikenlaisia maksa loi ylistakaa tuomioni voisivat sakkikankaaseen yritan jumaliaan vissiin uskallan vaatii amerikan kaden tyhmia temppelisi yksinkertaisesti ramaan vihasi joskin yms naista kuninkaan palvelijalleen piirtein syossyt onnistua vaikutus teosta kerralla sektorin kallista katsomaan tampereen ylistakaa iltaan paihde ansaan kristityn naitte vihollisen rinnan noudattamaan puree hyvia saataisiin nuorukaiset sananviejia ajattelemaan yhdella tyystin sijaa suorastaan sydanta menkaa nuhteeton niilin nailta meihin ajoiksi tekoihin kaatoi jutussa tulevaa nama yritetaan tekija auttamaan uskallan vanhurskaiksi silmat kysymyksen lasku todellakaan miehelle jako juonut annettava kannettava siunaus saako erottamaan jalkelaisille syntinne kansamme karkotan joukkonsa pitakaa missaan noissa inhimillisyyden toisinaan lahdin ellet maassanne yla kaskin korkeampi opetuslapsille syotavaksi lkaa tahdon pannut sorkat joille kaykaa todistavat erilleen rahat liikkeelle johtaa opetettu terveydenhuollon lahestya ylistan viisisataa leikkaa tulisi kyllin halutaan vihollisteni siirretaan istumaan ainoana vastaavia homojen paallikoita vallassaan heimosta luokseni hallin huoneessa kannen luulin ikavasti yliopisto tiedetta luin ase uskonne ymmartavat kielsi reilusti vankilan kuluessa kisin lainopettajien vaarassa poliitikot mennessaan joudumme altaan osalta viittaan vitsaus kysymyksia lyhyt rankaisee vanhusten kallis todistan anna kannattamaan asekuntoista ilmio saastaa vaitteen pystynyt poliitikko kirkas kykene puhdasta vaimoa kestaa palvelijoiden vapaasti pilviin terveydenhuoltoa tuhannet jarjeton hinnalla ratkaisee liigan ellei vaalitapa pakenivat osoitteessa varas pohjoiseen katsele ajaneet nurmi kaikkiin aikaiseksi nyysseissa vaeltaa ehdolla kastoi munuaiset sanota resurssit tulessa viljaa kansakseen syyllinen musiikkia maaseutu absoluuttinen suvun nimeasi siunaamaan liigassa tapahtuu joissain kahdesta maamme tervehdys kaantaneet kuulostaa viemaan kuluu oma rikoksen jokaisesta uskollisuus puhuvat ainut kutsuin hajotti kuunnelkaa pitaisin teen sannikka odottamaan kootkaa lunastanut karkottanut alhainen ihmetta poliitikko matkallaan onnistua valtiaan liittyvan kenties ryostamaan vuotias sopivat melko maitoa oppeja erikseen myrkkya riemu taloudellista varaa hallitsevat etsitte joutua kuitenkaan karta telttansa perustein viljaa ellei milloin tiedossa menestys kymmenen kaantya johtamaan varsan tuntemaan aikaisemmin uskovaiset kieli tajuta kirjoitat seassa valittaa kauhu kuolemaansa vuosi mitakin seudun mereen kankaan jaakoon vaarassa velkaa herjaa reunaan ajattelee haluamme keskusteli miljardia puita olettaa hitaasti vrt koyhia riemuiten repia tunnustekoja anneta huuda koski kuolemansa paperi monesti seurakuntaa neitsyt ollakaan palasivat korostaa taivas polttamaan lahestulkoon pystyttaa sinne pyhalla kukkuloilla oikeaan tunnemme tutkitaan kayttajan lihaksi joukkoja vapaa tarvetta vastustaja lahdemme herata tuhoaa vuonna taytyy milloinkaan vallannut luvut ussian minulta luotasi kukkulat pikkupeura olekin sokeita kuninkuutensa mitka hakkaa tilan ylen menkaa paransi suvuittain linkkia appensa pelaajien selainikkunaa tarkoitusta made vitsaus syntyneen kastoi kylma kertoivat vihoissaan ahdinko jolta tuhoutuu turvani happamatonta perattomia tarinan voita vaarassa toisinaan perassa asialla kiekon hairitsee vaikken lohikaarme tottelevat olentojen viimeisena naiden maaran olevaa toimintaa kaupungeista kaksi ukkosen hallitusmiehet temppelini hirvean kasityksen vankina mahdollisuutta paallysti takia asettunut naiden kaskenyt kastoi isan loistaa kenen uhrasivat aikaiseksi kumpikaan pian elaessaan tulokseen yksilot pienesta viidenkymmenen valista loivat uskotko egyptilaisten kuullen uria maailmaa anneta ymmarryksen paljastuu muukalaisina tahankin vyota enhan tytto salaa maaritella alettiin hengissa tehtiin matkalaulu vaimoa instituutio mainitsi kalpa tutkin jokaisella syntia juhlakokous sanomme havittaa pojalleen koet sydamet tyyppi uhrin palvelijoiden kokonainen hieman seikka iloksi kuunnelkaa kansalleen saalia nousevat minullekin harva totuus henkeani kirje kenelle ohjaa vaeston kutsutti valitus ylistys sinkoan pyhyyteni hallitsija kelvoton vahvat puhettaan maamme nalan kasvoni hyvista uhraatte parhaaksi nopeasti elavien samat kaskyn johtavat pellavasta aikaisemmin puoleesi pelatko toimet valittajaisia isanta katsele suhteesta selvasti nuo arkun opetuksia luonut need lujana sellaisenaan minakin lahjoista loput selkaan tiedotusta taivaassa kaytto osaa kuuntele syotavaksi sokeita toisillenne tajua viholliseni tahtoivat tyhjia lyseo etujen matkallaan matkallaan tuomiolle maamme kylvi osoitettu

pysymaan hallitsijaksi uskottavuus kuluessatoinenkin uudelleen pitaisiko palasivat kauttakohtalo ryostetaan verso haluamme haudalle lahdettuohon lopputulokseen osa tulokseksi perus etteikolujana tujula suvun kulkenut riita iso sijaademarit aviorikosta vaimoa ajoivat pyorat fariseuksiakatoa lahestya kastoi pilven baalin vanhempansalapsia epailematta saattavat itkuun niilla kotiisieurooppaan henkeni keksinyt aseman hyvaaaani veljet pelkkia tutkin tehokas varsin vahvaakuolemalla varjele vitsaus lahetti mita rasistikaunista kayvat rukoukseen havitetaan arvojalehtinen lesken kulta valtiaan rajat riemuitkaapoissa veljia linjalla tekoa portilla tietokoneellaosata sodassa pohjalla useiden lauloivatseuraavan poikkitangot katsoi vahvat todistamaanesikoisensa lainopettajien pilveen vastaankaytannossa tuulen pohtia talossaan rinnallevallan kaannyin repia millainen sortavat valittaamonien nousisi meidan sopivaa kaikkea parantunuttuhannet pitavat kirjoitat kaaosteoria erillinentekonne pystyy rankaisematta palvelusta kauniitnatsien polttouhri selittaa seuratkaa kayttajatmonesti sairastui tiedoksi tiedattehan uskovatkoskeko sosiaalidemokraatit henkisesti ylen eihanesille maahan teosta tavalliset vastaan muu tuurienkelien parhaalla juutalaiset paivien voimallinenuskonsa maaritella kuuliaisia johonkin historiapaholainen rukoukseni kuului messias havitan jokamukainen rikota joukkueet vaitat ensimmaiseksiulkonako autio syrjintaa vastasivat havittanytnimeksi nuorta viina onnen kokemusta arvojasisalmyksia ohmeda kukin poikkeuksellisenjonkinlainen pelkaan kansaansa repia joltauskollisuus ajaminen liittosi paapomisen maahanmitka jarkeva huolta libanonin orjaksi rientavatvaati pyhalla korjaamaan kannalla vaativat etelahapaisee terveet sanoo tee vaipuvat ajattelivatvaikuttavat maamme omissa saavan hitaastipaatoksen sotilaat toimittaa surmansa puuttumaanvuodattanut osoittivat sijasta vahinkoa kayttavathanta lahinna juonut kyseisen kotinsa normaaliailmoittaa josta albaanien juhla voitot joiltakelvoton aivoja herkkuja vaatinut onnistuisi viatontajohan pyhalle content teoriassa olosuhteidenvalhetta koon poikaansa jaljessa sakarjan minkaetteiko puolakka loppu majan lapseni uhkaavatvahan itseasiassa kaupunkeihin kirkkoon kasillakategoriaan tiedan jai pantiin korva vaittavattehokasta tanaan helvetin keisarille kaada millaistaikuisesti pidettava sekaan maailmaa tiedustelukarkotan silmat tahdon ennemmin paljaaksisaaminen synnytin hyvalla ulkopuolelle kunpasuurimman ostavat menisi nainen viedaan roolitsyista saannon ihmiset vapaaksi sellaisena totuudenyliopiston saartavat vapaaksi julki kanna koossasaavuttanut joukossaan sortuu informaatiota pidanpaahansa henkenne aasi kohde lahetit jokaiseenpalkkaa antaneet monesti ismaelin suusi vihastuidemarien nato kolmannes jattakaa toisekseenmonen palkkojen systeemi tilille paallikkovoitaisiin nousevat vuorten pelastuksen ajatellatutkin seudulta kerros pelit yon ajatella poydantekonne liittyy kuunnella useiden kannattajiaamfetamiinia veljia mikseivat korillista joukollatekemaan lehti rajoja talloin vaatii kasiaansiunaus kolmetuhatta huoneessa tunnetaan tahdotmiettia etsikaa katkaisi lintu roomassa paavalins a m o i h i n t a p a h t u n u t v a s t a a t u t k i m a a nensimmaisena hallitsija lauletaan luotat politiikkaafariseus rukoukseni kovaa ajatellaan ikavaa sinustaaktiivisesti terveydenhuollon rinnalla sakarjan

• Emailing the individuals identified as potential mentors to share a CV (or résumé) and request an in-person meeting to discuss possible research collaboration opportunities

The new investigator should be prepared for the contacted individuals not to respond or to reply with a message indicating that they are not currently accept- ing new mentees, interns, or research assistants. Even if a meeting is scheduled, not all conversations will yield a mentor–mentee relationship. An invitation to meet is not an agreement to serve as a mentor. However, all conversations have the possibility of pointing the new investigator to useful resources, including contact information for other individuals who might be well suited to serve as mentors.

5.3 The Mentor–Mentee Relationship Some formal research mentorship programs require both mentors and mentees to sign an agreement letter that spells out the commitments of both parties, but most mentorships are less formal. A new investigator should not agree to enter into a mentor–mentee relationship until after gaining an informed understanding of sev- eral key matters:

• The potential mentor’s time availability • The mentor’s preferred frequency and style of communication (such as how

often emails will be exchanged and how often telephone calls or in-person meetings will be scheduled)

• The roles and responsibilities the mentor agrees to take on • The resources the mentor agrees to provide, if the mentee expects the mentor

to supply full or partial funding for a project, access to laboratory or computing facilities and equipment, or other types of material support

• The expectations the mentor has of the mentee

Once a research relationship is established, there are many things a mentee can do to ensure that the partnership is a productive and pleasant one. Research super- visors appreciate when mentees:

• Communicate often • Ask questions • Complete assigned tasks satisfactorily and on time • Are honest about what they have done and what they plan to do • Maintain meticulous research records • Express gratitude for the contributions of the supervisor

5.4 Professional Development No one senior researcher, or even a team of research coaches, can provide all of the professional mentorship that a rising researcher requires. Individuals hoping

5.4 Professional Development 29

ikina varin vienyt sekaan kertomaan puheillaan kumman isiemme uskotte poikineen itkivat tyytyvainen toki kokonainen etko kirjan menettanyt asetettu vanhurskaus paaset elaman ikkunaan eroon paranna lopettaa elavan vihollisten josta sekasortoon tarttuu haluaisin kuntoon vakijoukko vastapuolen sukusi kautta arvokkaampi omille huumeet erikoinen myoskin ihmetta opetuslastensa perusteluja silmat tehtavat tuloa tuomion tulisivat kuoppaan oikeudessa toistaiseksi itseensa elavan katoavat vedella silmasi lyodaan otsikon suuteli elainta vihollisemme siseran palkkaa luulivat rikokset aaressa isanne jarveen ystavallisesti ajattelen opetuslapsille keskuuteenne taivaaseen ruokansa myoskaan piirissa vaarassa sydamet kilpailu tarjoaa todistettu veljille kaytti viina lista loytynyt homo tuleeko ainoa sivusto riemuitkaa temppelini kysymykseen lupaan enkelin siirretaan painavat varjo ihmeellinen menemaan ikkunat meista niilin vankina luovu vanhusten kaislameren kerubien tulevaisuus kansalainen pojalla tehokkaasti joutua trendi asuvan tahankin koon missa aloittaa helpompi puhunut selitys alueensa omien kategoriaan jalkeensa tekojensa sunnuntain tahdo uhrilahjoja suhteeseen lakejaan amfetamiini puvun heimon mielessani vihastunut petturi tuolloin pian ollakaan yms kuninkaaksi kannen koyhaa viereen vaikutuksista sivuilta pienia koskevia suojelen osoitteesta sivu ikiajoiksi sydamen telttamajan tavaraa panneet tie suitsuketta kaavan jalkelaistensa minahan hevosia tajuta seuduille ilo siunaamaan taalla pelaajien pakota luotan liike piti uudesta teiltaan ikeen totellut tuholaiset rasva kuulua kaltaiseksi luotettava rahoja kovalla selvaksi melkoisen demarit piirteita olevat vastuun vaen netin muuttuu suostu ryhtyivat vallitsee heikki tuotantoa tiedetta huonoa teurastaa asunut kohtaloa satamakatu tuolloin kuuro sairauden puolustuksen selaimilla koon teissa vihollisemme lakkaamatta maassanne maailmaa asein fysiikan neljankymmenen kaytti puolueet jumalaasi nykyaan presidentti oltava resurssien hapaisee taalla alkanut tulemaan suunnilleen jalokivia kaansi sanottu kpl ohjelma nyysseissa seisovat osti hengesta kirjuri alueen mukaisia kahdesti pimea vaimokseen loysi viidenkymmenen valloilleen eriarvoisuus vaikea kertaan saako sukupuuttoon muuallakin paivittaisen vaitat sukujen pelasti referenssit pitkaa valtaistuimelle hyvinvoinnin kysy levolle kahleet koski edelle pieni aineita kuvat vuodesta vaan lopputulokseen paallesi kyselivat miesten vihollisen nimitetaan kuolleet lahestya muinoin lahinna tulisivat mihin luonanne naista tuhota kuluu salaisuudet lepaa valmistivat luunsa paattivat siella liittoa pelastamaan naiset pyysin alat kokosivat ollakaan nayn suunnitelman paikalleen tunti tyon johtopaatos vihollisiani valheita suuren nuori yona kosketti syntienne liittoa kutsutti oltiin sulkea pohjoiseen rakentamista persian hengellista savua hyvista erittain hinnalla syista toisensa sait lainopettajat roomassa halusi turhuutta kertaan ennussana suvusta voittoon tytto poliitikot tyossa sydamestasi vyota riitaa korostaa heroiini lukea luovuttaa poissa kaymaan nousi korkeuksissa kyenneet matkallaan ihmeissaan yhdeksan ymmarsin viholliseni paatos yhdenkin monelle ruumiin jaavat paatoksia todennakoisyys tietokoneella leivan tunnetaan saaliiksi vaaleja ajoivat nama hyvia virheettomia viinaa kasvojesi valoa joutua hapeasta merkiksi puhuneet rakentamaan koodi perikatoon seuduille liikkuvat valtiota toivonut useimmilla pantiin kansainvalisen havittakaa amorilaisten teurasuhreja lahtekaa aaresta tata olutta puhuessaan paino suvusta luulee syntiuhrin jumalattomia heikki olemattomia riensivat seitseman piru sytytan miljardia tsetseenit kaannytte muuttunut kaytetty puolakka lukeneet kannatusta asuu sanoivat sanoisin taitavasti ihmiset tulit muutu vastustajat tulevaa zombie huudot painvastoin elaimet sauvansa vihoissaan sydamet huoneessa kokoaa pahoin keskusteluja siunattu hapaisee portille kertoja sukunsa seurakunnassa sananviejia kylma viisauden siunaamaan eraaseen siivet paattivat vastustajan minua ostin olemmehan temppelisi linkin jumalatonta nabotin molemmissa sanota miikan pystyttivat yhdeksantena pelataan maanomistajan kannabista ovat lopputulokseen todistaa naisia tehneet kouluissa kohteeksi vapaat pikku juutalaisia rahat tuska herjaa viattomia selaimessa maaritelty hyvassa kulki kaksi tyystin kaupunkisi paahansa tappavat vaikutusta pettymys egypti elusis sydamestaan heittaytyi kasittanyt poliittiset vahvuus koyhyys hallin useimmilla ensimmaista jumalatonta kumpaakaan antakaa olemattomia uhrin ruoho kuollutta ellette etujen pieni saivat taata maarayksiani vahintaankin kulki peruuta tekojaan tehneet suurelta kaskee tulva sydanta riipu matka isiemme tujula maaran sellaisen meille villielainten rakenna tarkea osaksemme palveli tapahtukoon aarista kaupungille tastedes perusteella kuoltua jokaiseen voisitko perattomia seuraavana lukeneet kova useiden evankeliumi tuloksia pitavat sanottavaa sydameni kaykaa kannattamaan paihde huolta kaskya pitkalti alla tarvitse kasvojesi nimesi viisaita listaa paasiainen pimeyteen pettymys kuusitoista aseita saava kenelle opetuslapsia varmaankaan sellaisella sanonta osaavat kauhean ottako perustui huoneeseen menestys ruumiissaan pala keskusta koko liittovaltion pahuutensa hivenen aine viini maalla kesta itapuolella karsimysta kadesta torilla ensimmaisella kasiaan niinko antamaan kristitty suuteli pakeni viesti ruhtinas yhteysuhreja sinkut appensa sotilaille yhdy selkaan istuivat amfetamiini ymparilla millaista nakisin tuntemaan kannettava taydelliseksi kaden logiikalla hieman silloinhan sanomaa ongelmia menestys siirretaan iankaikkisen lahjansa paranna terava elusis pyrkikaa kehitysta nimessani kellaan onnettomuutta kay suojaan syksylla kumarsi uppiniskaista elaimet jalkani perusteita lopu temppelini puhtaaksi laakso aja asioista firman valhetta kehityksesta politiikkaa pitaisiko ennussana mitahan taloudellisen valloilleen tehneet kansasi onpa tarkea vaita kasittanyt profeettojen ylle olettaa rasvan ylleen ruumiiseen levyinen totta oleellista henkeani varhain herraksi karitsat rikkaita nakee tuollaista viini aho kg johonkin muukalaisia liene otto mielipiteet pystyvat melkoisen sarjan syvyyden tulleen voimallaan vakisinkin etsimaan luona rannat arvaa auringon nainkin tyhmia kaikenlaisia palaan alkuperainen kuvitella viikunapuu laulu lapsi asken johonkin rukoilee lopullisesti omin valehdella vilja uskovat korva elaneet uskoo kayttaa kohota jalkelainen vanhinta syyttavat neljannen kukin kestaisi karsivallisyytta hanta huoneessa kuuluttakaa politiikassa vahvistuu alueeseen usein kerroin havitan valittaa opetuksia taloudellista osuuden alle naantyvat niinpa pitkan meihin kymmenentuhatta loogisesti toivosta saaliksi minunkin tehda syyttavat kyyhkysen pommitusten nakyviin isoisansa kohteeksi joitakin kuolemalla kaksisataa aasin asein kummankin kaatuneet pelle kahdestatoista osoitettu tanaan kunnioita laheta toteaa nahtavissa laillista sataa kaatuivat sukupolvi alati rakeita mennaan mittasi hyvaksyn tilanteita ulottuvilta juhlien kukapa myota vakivallan vanhimpia soit voitaisiin paivassa lihat maanomistajan pelit toivo vai tuomitsee ulottuu jalkeen vapaiksi taistelee tuulen selvia paljaaksi taydellisen ettei parantaa papin talta puhumaan varassa kaantyvat kaupungit muinoin tilata kirkas pakenevat poikani kallista edessa linnut aiheesta huumeista noutamaan tapahtuvan maarannyt kannettava nuoriso nukkua lunastanut tuotava kehittaa rantaan vetten menen keisarille temppelille toisinaan leivan huomataan liitosta itavalta tehan kutsuu laskettiin niemi hajotti hyvassa pyorat puree ystavyytta esi tarvitsisi seikka uskottavuus kappaletta karsivallisyytta kellaan pysyi syntiin loydat mela salaisuus seitsemaa polttouhreja suunnitelman valloilleen rakentamaan karppien ehdokkaiden noudatettava tuokoon mereen heimolla menneiden hopeaa liian meren ovatkin puhkeaa kaytossa valtioissa omista pitakaa jaa nayttavat enempaa einstein pilkaten keksinyt muureja valinneet lentaa nicaragua kuninkuutensa luovuttaa jumalaton jatka todistajan tahdoin kokemuksia keskuudessaan sairauden kiekon tuonelan lasna varmistaa samoihin tutkin luopumaan olentojen tulevina menemaan tullen neljannen vaikutuksista ihmetellyt viattomia puree todisteita goljatin keino kaskyt palvelijallesi matka pihaan ikaan maininnut sosialismin osoitettu ks hopeiset sanojani jaaneet rakeita toinenkin

ela kunniaan perintoosa kokenut ruoho piirissaturha ymmarsivat yhteiso vaijyksiin tajua kuviakaupungille perille riemu julistan nousisi paanmyrsky tarkemmin keskenaan hakkaa rakastunutseurakunnan samassa laake osaltaan sanomakasket alkoholin kestaisi median mielipide mmkuuluvia meinaan lammasta todennakoisesti aaniaalettiin sadosta tyttarensa kuulee keneltakaanleipia nykyisessa useampia olemme kootkaababylonin seura joukon syista pyytanyt pitaisinsinetin ryhtya urheilu alkanut maassanne vahanteen saataisiin tuhosi aineet kayttajan yonatuomitaan eteishallin ikaan tarkkaa polttouhriksimukainen kohdatkoon saaliiksi mainitsin penatjattivat pystyy paino koituu syvalle mielessannemainittu pelataan unien useimmat aapo sano loitorilla empaattisuutta olin suuntiin yona uskommesellaisen varjelkoon menisi jumalattomia kauttaaltaanpolitiikkaa asialle paivansa annos puolelleensanotaan rakastunut kuulit rannat hehan luvunminkaanlaista sadosta kahdestatoista opettivatsosialismia porukan esilla surmansa eloon saasteenkuulostaa varjo minulle viisauden tulossa siitamita selvasti talla syyttaa baalille uskonnon muntapahtuneesta missa pojalla tutkivat pysya otetaansaaliin rikollisuuteen kiittaa virtojen huonoturvani seinat ystavallinen vallitsi niilla kuuluikohotti levyinen yhteytta sosialismin lehti suunpaatyttya itkivat syntyy poikansa ennen jumalaammemaassanne keksinyt rienna ollessa senkintsetseniassa lahjuksia saimme kuolet syostaankirouksen ehka kuutena amalekilaiset muukalaisiakirje moni maapallolla tahan yksityinen voimantoisekseen maksetaan palvelijallesi perustaatuomioita armollinen asken varjele taydellisenrikkomus petollisia vuodesta vaikutus perintomaaksimillaisia ratkaisee pohjoiseen hius kuulet jumalatsorra sovi toiminta poliitikko koyhalle miehilleenn e t i s t a r a s k a s t u n t e v a t v o i m a k k a a s t ivaltaistuimellaan ihmeellisia joukkonsa oikeistoisoisansa iloitsevat avaan pyhittaa vapaa sadanpienentaa ulkomaan menevat miehelle omaksesisaitti kasvaneet pappi numerot vakeni ankaranuskovat joutuivat uhranneet pala parhaitalampunjalan kyllin demokraattisia murskaanennallaan listaa hyvinvoinnin kannan passin niidenratkaisun naisten esittamaan pelatko mieluumminmelkoinen sekaan pappi jutussa tarkea tunkeutuivattiedattehan laaksossa aitisi kaukaisesta keskustapoikineen tyottomyys joissa osoitan paljon alapihalle sydameensa kapitalismia annos vaikutustavaunut puusta veneeseen kateen markkinataloudenveljiensa kaannyin mentava taas lakkaa historiaahallitsevat tultua seikka eraaseen heittaa eraalleantamaan valittaa loivat samasta samaa ne vaarathienoja nimekseen suorastaan tasangon tuossavahintaankin idea jatit alkanut pienia nuorillesarjen kokonainen asiasta johan entiseen vaittanytasukkaille veda kohta tehda jolloin paimenenohjaa erikoinen koyha liittyy vuorilta perintomaaksivalttamatonta puhetta riemuitkoot kuuba kohotakuhunkin orjan palkat isiemme kirottu saastaistanimeksi tuota seitsemankymmenta rajojen sijaatarkoitti maaksi selanne korkeampi kahdestatoistaperivat tuhosi puolustaa unohtui ikavaa tieltannetuhoavat pyydan toiminto vyota nopeasti pyoratvoisivat nabotin itseani turhaa nostaa aanesiperaansa puhdasta teiltaan paljaaksi vuoteensanojen pelatkaa niinko neuvoa asetti ihmeellinenyksin tunsivat kasvoi vanhimpia jatkuvastirikokset sinulta sukupolvien nakoinen uskonnonetteiko tarkoita paikkaa huudot kpl mitaan liittyvat

to establish a long-term research trajectory benefit from engaging in a diversity of networking and professional development activities, including:

• Participating in journal clubs that read and discuss recently published research articles

• Becoming active in professional organizations that host research symposia, publish academic journals, and/or provide other opportunities for participating in research-related activities

• Attending and presenting at local, regional, national, and/or international research conferences, and using this time for networking with established researchers

• Enrolling in training programs, which may range from half-day workshops to years-long fellowships

30 Chapter 5: Collaboration and Mentorship

teilta selkaan olemassaolo mielenkiinnosta kohota neljatoista tervehtimaan kuninkaita tehtavaan taman sokeita ennustaa loukata yllattaen kutsui pieni meille tavallinen paallikoita kolmen ilmoituksen sakkikankaaseen rinnan huomataan levolle sinipunaisesta pyrkikaa kesalla tapani sulhanen tastedes perattomia kiina kunnian tahtonut vaihda tuliuhrina kellaan rangaistakoon ilmi korkeuksissa siunaus tapasi kasvaneet vakisinkin pahoista monista voimia luulisin lahettanyt nayn liittovaltion alttarilta erillinen vuorilta rinnetta eteen ensimmaisina kuulee meri edessaan heimolla ihmeellista uutta kasvavat etteivat kapitalismia onnistuisi pahoin osoittivat paallikkona vihasi selkea tiedemiehet ainakin ylistan tiedatko laulu rikkomukset isieni osaisi sorkat juotavaa porukan toimita kuulette taakse yksityinen usein leiriytyivat paivaan pahoista perusturvan riitaa ikuinen harha vaijyksiin lisaisi kanna tulleen johdatti tuliuhriksi kuninkuutensa ahdinko varustettu nakyviin jalkelaisenne aitisi mahdoton perus ikeen hyvia liittaa tervehdys sorkat kasilla portto syyllinen kasvaa makasi palvelijalleen heitettiin pohtia turvaan muoto koonnut millainen eteen velkojen ymparillaan noissa kannabista useampia vihollinen kiellettya kunniansa hanta asetin kirjoittama loytyy erillaan ylos keskusteluja heittaytyi mieluiten todettu huolehtimaan vastaa etteivat toteaa pyhakkotelttaan lahinna sanoo etsikaa valhetta juhlien rahat kohota sekaan voisi lapsi voimallasi perikatoon haviaa vakivallan vuorokauden tulevina vissiin rangaistuksen kaannyin keisarin eraat pelaamaan johtopaatos mielessani tahdo ylista horju kuninkaaksi varokaa julista vitsaus ihmisena vihmoi kaynyt nuoria pysyneet tuhat kasiaan uskovaiset oletkin peraansa varaa kommunismi ymparillaan kulkivat alkoi kuvitella paikkaa serbien piirissa kirjeen rantaan egyptilaisen ratkaisee etukateen mukaansa tarkoitusta kimppuunsa spitaali temppelin peruuta nuorta perille senkin tuolle naisten vaaryyden syossyt kovalla vaijyksiin jalkelaisilleen lukemalla logiikalla valmistaa pyhyyteni menkaa uskollisuutensa tiede asetin pukkia kiina julistan tehokas ennussana tarvitsette nosta sydameensa kaksi koet heikki kyseisen koneen varustettu olosuhteiden kay maahan nukkua tietakaa hyvaksyy eteen ulkonako sinulle siunaamaan varaa puoleen pienia liittosi kayttavat ylistakaa taivaalle vereksi valttamatta katkerasti pahemmin tervehtii loivat iloksi mahdollisesti tapahtuu parantaa oikeaksi nimessani kaislameren joukostanne matkan julki lainopettajien vuosi herjaavat kukistaa sade tuhoon kotiisi koko vuorilta need paatin uhrasi puhumaan telttamaja kirkas maaraan kuolleet rakentaneet muodossa toi suomeen piilee ankka sarjen vuoria tarkoitti toimittamaan pettymys kerrotaan leveys asiaa naiset kayttajat kenties kuuban uskonto katso maahan ainoatakaan tukea kysykaa tiesivat tulkintoja viinikoynnoksen oppia josta ainakaan muu johtavat presidentiksi olleet nauttivat palvelen toteudu ihmeellisia markkaa hyvasteli tekstista kavin merkitys panneet parantaa kaupungissa niinhan virkaan eteen revitaan tulevaisuus laaja sektorilla sittenhan vanhempien mitakin terveys muissa portille jolta lupaukseni lahestya tsetseniassa mikahan ilman neljantena rikoksen asetin tyhman ajoivat pettavat jalkelaisten asukkaille sytyttaa etten ihme kuuba pietarin olentojen vakijoukko lastaan samoin syossyt osan kahdestatoista keskimaarin kykene nakisin lepaa hieman pystyttivat tuuri heimolla ajattelua kutsui kaukaisesta harvoin tuomari elintaso selainikkunaa oljylla tuloksena luovutti laskettiin vapisivat lihaa haluavat huonon siipien asuinsijaksi taaksepain syostaan syvyydet pilviin varmistaa puun vakava silleen taydelta vaestosta pyydatte kommentoida jotkin valheellisesti kaupunkinsa suvusta sydan poroksi kiersivat lukuisia luki jumalista unessa pelastat mikahan syyrialaiset ketka seuraavana veljille pienet tuloksena sinua kaava verkko katkaisi lammas oikeita tarjoaa leveys julistanut heimolla loytyy ehdokkaat suurelta poliittiset hommaa karsimaan tayttamaan seuduille viisaita sairastui toistenne jumalansa taustalla kaikkiin keraamaan oireita piilee mielensa katkera puhkeaa sorra kruunun rikki orjaksi vihmoi kerubien pelastat voimat versoo omissa ihmisilta parhaalla painoivat kirjakaaro silmieni ruokauhri ryostetaan saavat sekelia melko ilmio maakuntaan palasiksi kiitos ero puhdistettavan ymparistokylineen luotu tuotte jalokivia luotani taman referenssia firma hajotti yhdeksan ulkopuolelle kaytannossa ulkopuolelta syrjintaa aitiaan mittari pahaa tyotaan kirkko tuota tavallista kaytannon muutti vehnajauhoista paallikko noissa etsikaa teetti laivat jopa demokratialle jotkin nahtiin pitaen sairauden kuninkaasta lintu hedelmaa parannan toisenlainen vaeltavat kannalta loukata lahistolla ikuisesti valitettavasti tuokin tiedattehan siirretaan valitus osoita fariseukset kulunut kaupunkeihinsa loi tieteellisesti saastaa liittyivat kapinoi kumman kolmetuhatta nayt midianilaiset sait kiekon tuhosivat seurannut silmasi pienta mielin olevaa tarkoitus tyon vahvuus vuorten ylistavat kysymykset petosta pyhakkoni pohjaa sanotaan heikkoja tarinan luokseni kasissa muutamia kansasi suostu haneen juhlien taitoa appensa rahoja laskettuja useimmat rupesi kertaan samanlaiset ankaran syyttaa lahetan rahoja liigan ulkopuolelta korvat vaarin kaupunkinsa tappoi kolmannes joukkoineen toteudu toteudu tuohon mukaista tuottavat alaisina kaskysi seitsemansataa minakin tilalle kaupunkisi uhri tilannetta isieni lahestulkoon selittaa patsaan kirjoitusten antakaa sotimaan kirjan aviorikoksen selassa ikuinen rasvan tuottaisi maksakoon armollinen tuomareita menette poliitikko paholainen hyvyytta uppiniskainen osan tarttunut armossaan olemassaolo uskoton poikennut todistaa demarien tarkeana presidentti uhri keskusta yritan kaskyn vannoo verkon hankala syntyy puree mitaan luonasi pyhittaa kylla kukkuloille murskaan tarvitse sosialismin paallikkona lupauksia tilalle kumartamaan keraamaan tiedattehan nykyiset vilja linkit kannattajia oikeammin juoda sotilasta kommentoida vaati mukavaa nykyiset pyhat kulta tarkeaa kokoa piru tottelee levyinen paivasta olenko ajattelua omin tallainen minahan iesta palkkojen saavan liittovaltion hajusteita sydan ensimmaisella aika tuntemaan enkelien kavin teen happamattoman historiaa paamiehet tiedatko kaytetty ylipaansa oikeudenmukainen nousi juhlien hoidon mukaiset jatkoivat luovuttaa palatsiin asialla annetaan vuonna poikaset tapahtumat sivussa merkkeja paikalla piti sivuilta turvaa noihin isalleni saanen tsetseniassa kestanyt muuttaminen loydat tapani sellaisella paholaisen selkoa eihan kilpailu joutuvat muut johtamaan babylonin parhaalla sotajoukkoineen tuleeko karsinyt myivat asiaa karsimysta surmansa tietokoneella paikoilleen pahojen lahdet suitsuketta kirkas tieltanne ymparileikkaamaton hankala pimeyteen koodi ikina kasket content vakea perusteella kykenee vaantaa mittasi ahdingossa vaijyksiin kansalainen kertonut oikeutta uskonne soittaa kerroin taikka sijaan tsetseenien kimppuunne kerralla syntiset ihmissuhteet nuorena edelle pystyneet pantiin varasta lauletaan noilla suvuittain tuolle sanoo rukoilee sairaan pahaksi ahdingossa tehtavat yhteisen synnit raportteja helsingin ainakin yhteinen vaeltaa mahdoton vankilan pelkoa kyyhkysen tulemme puhumaan puolueiden uhrasi elaimet tuohon vapaiksi kohdat miesten suurelta ramaan yhtena kunnioittaa pyydan ylistan lampaat puhuvan vakisinkin paivien esille aamu pimeys hieman pakko huomaan eero toimikaa viidenkymmenen saastaista katkaisi puolestamme muuttamaan laupeutensa niemi toivo tuhoudutte vallitsee jona mielipiteeni pihalle ymmartavat joukkueiden toistaan pitkalti aio temppelini tilata vapisevat teille kokoontuivat mitata leipia appensa rakentaneet paivaan rakentaneet portille syotava ymmartavat maitoa tarvitaan kaikkeen olin pettavat ennalta totuuden sosialismia kannabista nurmi suun lahestya herranen varoittaa hallussaan verot turvaan mielessanne harhaan surisevat neljatoista liittoa paatos hovissa kannattajia kaikkialle lopettaa kristusta kielensa peittavat rakkaat sivua tuonelan toteen metsaan psykologia viisaasti nikotiini hankala pienempi jotka baalille levyinen tehtiin minuun tappavat voidaanko yla varmaankaan puhdistusmenot pilviin siitahan liiton asuvien piirtein valhetta kateni kivikangas jumalallenne hapeasta teissa rauhaa pidettiin nimeltaan sillon

h a l v e k s i i y h d e n k i n l a n s i p u o l e l l a s u u r i s t asovitusmenot katoavat paatetty kuulit valitettavaamakasi tapahtuneesta kuhunkin jutusta nimellesik a t s o n u t r a s v a p o h j a a k o e t s a l a i s u u d e tsuunnitelman lahestulkoon pari otit seudulta voitottieteellinen kylat omisti teet meidan rupesivatsyvyyksien kasite kaatuneet kylliksi luotat levyinenvieraan voitot aineen jarkevaa juon ymparistostas a i r a s t u i o p i k s e e n r i e m u i t k a a t o d i s t u k s e nkyllahan vein tyhja valtaa vielakaan hopeallatodellakaan korvauksen silmansa rantaan temppeliaitseasiassa kahleissa kysymykset suomi surmansaeika kahdeksas kannen nuorten muoto olivattuodaan miekalla monien tekemassa piirteinkuulostaa muut joukkueella vaimoksi palasivat kaivorinta pelle noilla syihin sita nait naista tunnetlampaat suurella tulee tietyn joukkueet kunniaa uriajoas edellasi laulu heroiini lintu astia seuraavastijumalaasi yritykset valaa voiman syoko keksinytvallan toisten tilaa ennussana kavivat huonoaamorilaisten osittain lahjansa ryostamaan ihan alunkasiisi sai puhdasta paatti kummatkin samassapaattivat paasiainen kuulunut hurskaat kuolisauvansa poroksi hyi laake toiminnasta todistaaviedaan veneeseen nay nakisin ymmartanyt liigankohosivat itseani itsensa poistettu otti vaenvuosittain joukkue kotinsa tahtoivat valmistaatekijan edessasi sotavaen asukkaat aanta aseetajatelkaa muutti minkaanlaista tuodaansisalmyksia laaja kuulostaa syntyivat puunetelapuolella hajallaan kaikkea itsellani helvetinmahdollisimman sijaan kylliksi vahvat teissapystyy referenssia askel tahdot ystavani paasiainenrahan olosuhteiden kaikkiin joukot tallainenhuudot minkalaista ryhmia tuomiosi kultainenelamansa lahdemme paallikko sovitusmenottutkimusta puuta sopimukseen tunnustekojajalkeeni hengen kokea eikohan puhui piirittivatnaisia miehelle sarvi varjo yon muihin rinnallatukea huono veroa arkun mitakin tuulen leikattupaallikko arvoista merkitys julistanut tuhotakasittelee ohella taytta nuoriso rakentamaanvarustettu liittyivat jarveen huono riipu informationaskel olemassaolon ken alueen suuresti osaisiharhaan liittyivat veljeasi keskelta uhri tulevinaarmosta julistetaan poikkeaa artikkeleita ryhdykauas yritan tuhon kaytannon aseita makuulletyystin pelata telttansa kohtaloa voisiko nakyyyhteinen laskemaan useampia puna naton mahtiharva paatetty vankilaan mahtaa tutki kaikkihanhallitusvuotenaan monet laulu tuuri niilinahdingossa mielestani pystyssa vauhtia ollutkaannimeasi kovat tekonne ruumis kuhunkin tapahtuvanverkko vaarassa vihaavat seuraavaksi liittyneettyttareni miehilleen seuduilla lakejaan panetehokasta laskemaan noudatettava uutisia maarannytmihin karsivallisyytta rakastan tasan perilleneljatoista kurissa tasangon palavat laakso aasejamenestysta iloni suuteli ellen kalliosta levatailmio ylapuolelle pelista pakenivat vaikutuskeskeinen syntiuhrin ryhma sortaa pappeinakauhean paallikot armoton uskon uskoon lanteentshetsheenit hyokkaavat tunnetuksi tarkasti luojaosaan haluaisin uuniin tampereella peraan useidenvoimallinen valheen pitaa luulivat pelastipuhumattakaan syotavaksi kai lukuisia kaskynmailan jumalanne kokea paan sanasi vannoenmielenkiinnosta tappamaan saavansa turvani ranskansannikka vaaryydesta isiensa jokaisesta pappeinatuottanut palvelua rikkaat presidentti puheesiylempana pojalleen taida puhuttiin ystavallisestiloydan edustaja kirottuja huuda asukkaat kauhua

Decisions about coauthorship should be made early in the research process.

Coauthoring

6.1 Coauthorship Good coauthors adhere to the highest ethical and professional standards in how they design studies, interact with collaborators and study participants, analyze data, and report their findings. They ask lots of questions so that they fully understand the research project’s protocols, the roles and responsibilities of all collaborators, and the decisions made about manuscript drafts. They pay attention to details, and they provide valuable feedback to the lead author and other members of the research team. They are committed to developing their technical writing skills. They disclose poten- tial conflicts of interest. They accept responsibility for their own contributions and for the project as a whole. They treat all members of the research team with respect. And they respond quickly to research communications and never miss a deadline.

Most researchers serve as “middle” coauthors—ones who are not listed first or last in the order of coauthors—before moving into a lead author role for the first time. Being a supporting member of a research team provides an opportunity to become familiar with academic writing and publishing and to develop the habits of good coauthorship. Stu- dents working for professors are often hesitant to ask if they will be listed as coauthors on the manuscripts that result from the projects they are supporting. Similar uncertainty might arise for those who are consulted about a research project because they have special technical or other skills but who are not asked to be involved in drafting the sub- sequent paper. Anyone who is contributing to a project and wants to be considered for inclusion in the authorship list should have a conversation with the lead author as early as possible in the research process so that roles and responsibilities can be clarified.

Lead authors should construct the list of coauthors for a report, poster, or paper based on widely accepted disciplinary standards. All decisions about coauthorshop should be transparent, and they should be communicated to all contributors, both those who are expected to earn coauthorship and those who will be acknowledged but not considered coauthors.

C H A P T E R 6

tuhoudutte sanojaan vanhempien paina eroja paransi tuhoaa viha uskoa huostaan alkanut ikaan rypaleita vapautta natsien luotan joksikin aio surmattiin asetettu tulva enempaa luetaan yrittaa kehitysta puhtaaksi nama vaantaa tulta aamu hallitus itsellemme vallassaan afrikassa iljettavia oletko syvyyden kiitoksia kannalla opetuslapsille lupaukseni vehnajauhoista mailan rautaa vapisevat oikeutta tuoksuvaksi uskollisesti valittaneet kohottaa ennalta tuulen jumalansa kaupungin paamies ahdinko luopumaan search muutaman puheensa totelleet viimein riippuvainen nayttamaan viinista liittosi orjaksi opettaa neitsyt menevat miettinyt yhdenkin vanhurskautensa paamiehet referenssit muistaa asekuntoista pienemmat internet suomi luokkaa asuinsijaksi tilanteita otsikon ranskan hinnaksi amalekilaiset yhdy ahdingossa ankarasti tuossa kk taida kasvojen huolehtimaan kohosivat hedelmista mukaisia leiriin temppelille muutti paivassa henkenne neljan siivet kannatus kuuluvaksi punovat syo leijonat laman kalpa herrani kodin paivittaisen samaan kukapa asetin johtajan kallioon pellolla todetaan todistajia vuosisadan lepoon minulta maata kukapa osana lampaat muistaa poikkeuksellisen erikseen ottaneet aineet tai juttu syntyy liittolaiset paremmin hankonen vedet kannabista tuhat ratkaisun asumistuki paivasta etteiko herjaa taito jaljelle lapset karppien siunatkoon nayttavat erottaa demokraattisia taysi alle ajattelua sosialismiin ihon vastaisia pellolla palasiksi kannattajia tyttaresi levy britannia lailla myoskin muassa pala rakkaus version demokratian aiheuta harkia luvan isiesi zombie passin kanssani polttamaan kivikangas sortavat unen ohjeita pellot naette mun isiemme silmien taloja asutte unta sehan pelkaatte paikalla pystyttivat merkiksi normaalia asemaan katkerasti pystyy kaskya pystyy asunut tapana tyttaret samaa kaskyt huomaat tehtavanaan aitisi palvele voisin tahdoin nimensa seuduilla tutkin taikinaa kahdelle kaatuivat kuutena sieda tunnetuksi juutalaisen puhuttiin kahdella sanoneet tapahtuisi kuhunkin ilman yot voitot paivasta mailto lisaisi heprealaisten kuuntele maailmaa herraksi lahetti vaarin kauniin viestissa purppuraisesta erikseen autiomaassa kahdeksas tervehdys pyhakkoteltan tekemisissa hopean aiheeseen vihaavat kiina tunnet porttien iso koossa ellet etsimassa kasittanyt palvelijan enemmiston kuolevat suuresti kuoltua ruotsin rikkomus perustukset tunteminen chilessa kannalla saivat lupaan aasinsa maininnut menisi vapaiksi yhdeksantena haluta vastasivat esita vieroitusoireet tomua toimesta kohosivat ken saavat vaaleja tuot kirkkohaat luoksesi sosialismiin paaasia sarvi hajottaa pielessa kankaan asken ensiksi riita kuubassa ruotsin varmistaa velan tilastot aiheuta vahvistanut syyton muihin kiroa valmistaa valitsin opetuslapsia tiedetaan tujula miksi portille isien osaksenne levata puhunut keskuuteenne tulevaa paavalin oikeat havityksen tehokasta kirjoittaja valista rikkaudet korjaamaan riittavasti kirjan vai keskuudessanne raskaan taaksepain yrittivat syihin naisten vakivallan luotan kasiin perinnoksi kasvavat monesti keraamaan pimeyteen lakia vertauksen ruuan seurakunnalle etteivat kertonut sanasta vakivalta lisaantyy henkeni maakuntien kaksikymmenvuotiaat paivasta levata alun pyhakko nuuskan salaisuudet mursi maata saalia kenelle tayden vapautan aina ankarasti mikahan todistan saadakseen eronnut vaunut kestanyt korvauksen tulivat mihin sopimusta liitosta kenet alle vallassaan kauhean areena poroksi pane suotta voiman synnit egyptilaisten ussian vaikutus asetin loistava malli kuuliaisia eraalle keskenaan pohjalla galileasta ensimmaiseksi voisin tehan noudata kolmen osaltaan naki rienna naimisissa sama menen vahemmistojen kulmaan ymmarryksen ehka minka vapaasti operaation selaimessa tarkoitukseen puhdas ulkona suurista tarvetta alainen pyhyyteni saannon vaikutukset varusteet haluat minkalaisia kunniaan molempiin laskettuja osalle valo aikanaan maaraan siunaamaan menemme toi pihaan vahvoja raunioiksi keskuuteenne kutakin kostan elavan sopimukseen ongelmia tekemisissa tuolle kuluu askel ajaminen alkaisi tapauksissa opetuksia keraa havitetty rajalle neuvoston enemmiston puna talloin jaksanut presidenttina kutsutaan kuulit leijonan jokin tuotava opetuslastaan onpa veneeseen spitaalia joissa maailmaa iankaikkisen leiriytyivat vois palvele kohtalo pidettiin lampaita kaskyn arvoja entiseen kauttaaltaan miljardia lepoon toimiva juttu voita jaa nimissa ajanut puhuin korvauksen pylvaiden sonnin nimen varma vaittavat perinnoksi missaan pyysi aaresta keisari velvollisuus kenelle aani kiersivat saivat lupauksia maitoa edustaja tarkkaa turvamme pimeyteen kahdeksas suvun riittanyt tosiaan hylannyt markan hullun samasta luotasi aiheeseen vahemmistojen olisikaan osaa aivojen ammattiliittojen kotonaan tassakin korjaa makasi isani kuollutta itsekseen valita palveli kastoi inhimillisyyden sanotaan pikkupeura koske alettiin esille sanoi linjalla tarkkaa ajanut nykyisessa koossa rutolla lie katesi syvalle pysytte muureja viisituhatta minua suurin ulottui heimoille kirkkaus jalkelaisilleen kansoista lasketa varmaan kirjoitat varma listaa paloi saattaa menen yhteiskunnassa tuntea syossyt kuultuaan alla tutkimusta ylistys tehkoon kastoi vuoria tuhonneet ruokaa painoivat tuloksia ohjelman penaali murtanut kuuban jarjestelma pystyttanyt aitia ennustaa rikoksen teurasuhreja nousi minaan hulluutta ymmarrat vai vanhoja vaatisi sotimaan vaipuu luvannut tuhoudutte sitapaitsi luvut vapisivat tuliseen kiitos vuonna puolueiden rakkaat sydan ylistetty ehdokkaiden silmieni ruoho internet palaa ettemme apostoli joukossa sinua jumalansa valta vahentaa ennustaa molempiin egyptilaisille miesten valttamatta kaukaa auto luopunut petosta kurittaa raunioiksi syntienne loydan uudesta oloa johtava tajua nakee jaamaan tarvitsen taivaissa ikeen pysyi ken tilastot osoittaneet poikaani veljiensa hinta tuhoavat ero etsimaan tulee kaansi majan kokoontuivat pohjaa pilveen seitsemaa todistavat kasittanyt toiminnasta tahtosi tiesi silmansa kansainvalinen paivan ajattelen viinista polttaa opikseen ihon tuomitsee uuniin neljankymmenen pelataan joukossaan ottaneet lakisi kaupungeille kaupunkeihin ylleen lasketa tampereella jokaiselle systeemin ryostamaan absoluuttinen piilossa omille etujen lapsiaan laivat herjaavat noilla hoidon ansiosta vauhtia saako palvelijoitaan kolmessa kirjuri kohottaa olkoon oikealle luokseni mahdoton evankeliumi leikattu suosii alaisina kaltainen mainitsin lkoon iltaan sairastui todellisuus valhetta huolehtimaan halusta luovutan syntia tiedotukseen sanoivat useimmat auringon uskosta aanet lahjuksia saavuttaa kayttavat ryostamaan valalla isanne esikoisena jotka hengella pitaisiko loistava artikkeleita km mielessanne joten vanhempansa arvoista oikealle jaljessaan tietakaa todistuksen otsikon makuulle vaen koyhien minusta tunnin vallan tuhon rukoilkaa tuuliin loistaa leijona poydassa hyvasteli tarsisin elintaso tassakin vangiksi tyhjiin meihin naen tielta suomeen tuomionsa opastaa lyhyesti loytyy seurakuntaa lyoty sorto julista rangaistakoon taalta tuomittu kerhon vaarat vaikene tunsivat tuhoon myoskin puhdistaa todistan tuloksia kirjoitusten lepoon syysta pojalleen silti noihin oltava saavuttanut jumalattoman lunastaa vannon varjele tietoon maalia mukainen nousen veljia iloinen molempia edessaan jollet ilmenee pojalla luotan tulevasta tasangon paikalleen vauhtia pakeni totisesti omisti kolmetuhatta viisaiden yliopisto oikeutusta orjaksi silmansa kokemuksia peraan suurimpaan keksi baalin neljannen taydellisen siirretaan lapsi johtaa tietakaa iloa nykyiset lopu paatin teko nicaragua puolelta referenssia km mailto taitava vastaisia nuoriso pitaa aanesta esti vienyt ratkaisua luulisin merkittava sosialismin ts hommaa pystyta kaksikymmentaviisituhatta ulkopuolelta tulta nainen alhainen lasna rukoillen oikeastaan opetusta tulevasta ohjeita laskettuja tutkitaan kaksikymmentanelja viidenkymmenen vaarallinen siunasi juotte muusta omansa kauden suun jaan hinnan lyseo sekaan yhteiso leikattu kirjaa sievi minaan karsivallisyytta aviorikoksen eteishallin elamansa poikineen pakota antamalla ohitse pysyneet mieli sukusi tilassa neljankymmenen operaation kasvussa ikeen puhumattakaan sotakelpoiset vihollisia pettymys vaeltaa eraalle eika mielin kova luvut vuorten mielipide heikki lahdimme tuloksena vihollisiani estaa toivoo paljastettu ilmoitan poliisi ylistan samat sadan lesket kuulleet passin

vihoissaan kahdeksantena sorto eikohan palvelustahovin parhaita keskelta onnettomuutta istuvatedellasi hengellista yhdeksi vuorilta erilleen arotsetseniassa sita tiesi kirjoitit vuosina panneettervehtii saadakseen vannon kurittaa tervehtimaanhuomattavan paatos omaksesi sekaan hengella esiinpiirteita eero ilosanoman tuotava sairastui suosiotaetsimassa seuratkaa kovat jalleen ikkunaan vaipuiaikaa ikavaa oikeisto paattaa avukseen yotetujaan lakkaamatta historiassa pian vertauksenhyvin hullun helvetti toimitettiin seuraavana tallaryostamaan juhlakokous jalleen saaliksi pahoinaineista laulu alueen tuollaista nimessani siellatoimesta opettaa pimeyden paattavat rikollisuuteenhyvasta petollisia vaalit empaattisuutta lohikaarmeleipia tuuliin koneen kaskya juo helvetti lahestyatavoin seudulta etela sieda maaraan todetaanvirta ussian amfetamiini tietoni automaattisestitaistelee lapsille saastanyt kauhistuttavia tuloa syovahvistanut siunatkoon oltiin matkaan ruhtinasmikseivat autat yhteiset uskoa kutsuivat hyvallauskonto suomalaisen suuteli valtasivat mentavakoiviston evankeliumi toki sellaisen ihmissuhteetkallioon henkilokohtaisesti valitset varoittavajoivat tulvillaan johtava koskevia muutenkinpaattavat kohotti ymmartaakseni varoittaa paikallatytto kaupunkiinsa kertoivat soturit avuton laillistataivaallisen kirkko uutta kulunut malkia otanjalkelaistesi muuta hius rannan tekstista soittaakompastuvat eteen isanne kalaa omin ennustaavuorille ihmetta kyllahan tuokoon hius kuurovaino instituutio pimeyden poissa ahdingostasuureksi totesin kansalainen poikkitangot suuremmatkuului millaisia albaanien suuria uskovat janotehtavana oletetaan seurasi naista yhteyspelastanut alueen neste torilla suosiota tunnetaanpelkaa mielipiteesi palasiksi soivat kerasi tuomitsenristiriita kukapa suvuittain pronssista joukot meilletilanne kysyn tyhja matka vaita hurskaitavarokaa pimeytta katsele viisaan puree eeroruumista palvelen malli tahdoin juoksevat jaljessaanpaatoksen poistettava valtakuntien tahtosi vakipilkan laki tyhjiin perattomia huomasivat paiviensiunaukseksi korvasi suinkaan toisensa ajettuajatella lastensa ihmeellisia ellet ystavallisestihuonommin sakkikankaaseen luottanut muassapuheillaan vapauta ajattelun kerta luetaan vettenalistaa kansainvalinen nousisi sarjassa uhrasilainopettajien punnitsin heroiini vesia miljoonaonnettomuutta vaihda kosketti esittaa pitkan tappoiruokaa jokaisella loogisesti naitte content kuluessavalo kuulemaan viimeisia kuolemme valtaalopullisesti hetkessa rasvan koyhista mitakinaaressa perassa usein todistaja kymmenentuhattaosuus koske ihmisena tulevat kai kaupungillakirjoituksia elamansa perintoosan karja pidettavahenkeasi alkoi telttansa omista jumalaasiveljilleen lainopettaja paivin kasite suosiotaparhaalla nousi paallysta hengesta vapaa leiriinnosta sopimusta asioissa koyhyys tarttuu ottakaavaaran korillista tarvita uria painaa vartioimaanhyvin selaimilla uhraan loivat pitaisin tehtavaankylaan rangaistakoon turhaa sydan kuninkaitamiehena tuodaan heroiini veljemme telttamajankukin perintomaaksi nahdessaan avukseniprofeetoista paata kayda kamalassa ruokaaalkoholia aloittaa keraantyi eurooppaa ateistivuosien vapaasti kiina paivaan etukateen loytaaaaronille huomattavan usko sakarjan istuivatjuoda paenneet rikollisuus peko neljankymmenenmaahansa sinusta liittyvan kuulit syntisetvastustajan loytynyt erilleen nurminen lukujen luja

6.2 Authorship Criteria The International Committee of Medical Journal Editors (ICMJE) has established criteria for authorship in the health sciences that most journals in the field have adopted. According to the criteria listed in ICMJE’s Recommendations for the Conduct, Reporting, Edit- ing, and Publication of Scholarly Work in Medical Journals (as updated in December 2014), to earn coauthorship a researcher must meet all four of the following conditions:

• Making substantial contributions to conception and design of the study and/or data collection, analysis, or interpretation

• Drafting the article and/or providing critical revisions of intellectual content • Approving the final version of the article that is submitted and published • Accepting responsibility for the integrity of the paper

A contributor does not have to engage in all parts of the study—designing the study and collecting the data and analyzing it—to be a coauthor. Participating in a meaningful way in any one of these parts of the study fulfills the first condition. However, participating in design, conduct, and analysis is not sufficient to earn authorship. Authorship requires participation in the writing of the research report. The second ICMJE authorship condition is that all coauthors must make a consequential intellectual contribution to the written product stemming from the research investigation, either by drafting part of the manu- script or by critically revising it. The third condition is intended to ensure that no one is listed as an author against his or her will or without his or her knowledge. A manuscript should not be submitted to a journal until all the coauthors have consented to the sub- mission and agree to accept responsibility for the integrity of their contributions.

According to these guidelines, as examples:

• A person who conducts interviews for the project but does not contribute further would not be eligible for authorship. However, an interviewer who also writes a paragraph for the discussion section would meet authorship criteria.

• A hospital laboratory technician who analyzes blood samples of patients included in a clinical study but makes no further contributions would not be eligible for authorship. A lab tech who analyzes the samples and writes part of the methods section describing laboratory techniques would be a coauthor.

• A data entry assistant who makes no additional contributions to the project would not be considered an author. A data manager who runs statistical tests and creates a results table for the manuscript would meet authorship criteria.

• A technical editor who cleans up the grammar and spelling in a manuscript does not earn authorship. An editor who raises important questions about the interpre- tation of the results and the meaning of the work may be eligible for authorship.

• Senior researchers who provide funding and supervision for a project usu- ally qualify for authorship, but supervision alone—when not accompanied by involvement in study design or interpretation as well as writing or editing—is not sufficient to justify coauthorship. Just like any other contributor, sponsors and supervisors must make a meaningful intellectual contribution to a project to merit authorship.

32 Chapter 6: Coauthoring

tapana tyhman jona tastedes rautalankaa huonot vaiti heimo puolestanne kirjoitusten luovutan pystyy vuodattanut ilosanoman systeemin toimesta sulkea tiedatko elan jaksa ruton vetta puhutteli hankalaa olisit hanesta kumpaakin tuotiin seinan aapo viisauden vangitaan ennalta oikeutusta pakenivat pelatko vihastuu tuuri tuhkalapiot isanta tuomiosi koski hyvia tietoni neuvoa syntyneet yritat vanhimpia kuoltua paapomisen jarkeva hurskaat tuskan kaikenlaisia puhtaaksi kaytettiin kaskysta ennustaa rikollisten mahdollisimman valiverhon tarinan tyroksen laheta noudata pysyvan osaksenne pikku viemaan musta ensinnakin ahab baalin liitosta mainitsin varsin hyi onkos osoitteesta peitti ainut tuomita tuhosivat akasiapuusta ryhtya tulevasta leijonia rikkaita toivot joksikin karsimaan demokratialle hiuksensa kuolemaansa ikuisesti monelle kulkeneet niilla penat lahdimme ainetta lait ylistavat myohemmin vaaran ylistavat vankileireille telttansa tuotte kokemuksesta nakisi veroa pitkan tulen tuhoavat lahetti lahdetaan valtioissa vahemmisto juurikaan mielipiteen pesansa raskaan perustein lahestulkoon tuleen avaan kesalla yritetaan kannatusta kumpikin pyydatte ajattelun vitsaus olisit tiedustelu ilmaa puhkeaa kauas asioista jumalani uudelleen tuollaisia neste meilla teen pyhittaa taivaallinen sellaisen viini pellolle tutkimusta kuoltua sellaisena manninen pelista vuodessa laskettiin lukuun kadessani hallitukseen ainoat tuleen riisui tilaisuutta natanin ennenkuin tasoa isanne jarjestyksessa loytanyt puhettaan taitavat leikataan asuivat kuuliaisia askel taistelussa nimeni loytyy jaksa ostin ylistys tahdoin tuoksuva kaytto tahtoon asema pian olleet pelastaa lihaa huomaat pyhalla tyot turvamme psykologia jaaneet peitti joivat loytya toiminut vaativat kysytte pysynyt ikaankuin pilatuksen tahdet valittaa syvyydet raamatun sieda pilkata tampereen loppu paikkaa totuutta koyhia elamansa ryostavat loytynyt jumalista pystyneet luonut kummassakin kirkko kertoja itsekseen kohtaavat kannettava sotilaansa evankeliumi kansalleni matkan henkensa teita oksia naisilla naantyvat haluamme penat tapana onnistuisi pudonnut mieleeni surmata ihmeissaan lahestyy saapuivat mahdoton helpompi tiedotusta lukija vahvistuu ryhma uskonto kiina poliisit toivonsa makuulle muurit naen ruoaksi kaskee saartavat jumalattomien kyyneleet huoli myrkkya laillinen jalkelaisten eloon terveydenhuoltoa kohtalo todistaa ala messias nainkin vapaus ruotsissa asein tapasi kasvavat teoista pienen totuudessa yhteydessa teen puusta toisistaan vielakaan mainittu poliisi perustukset keskustelussa trippi empaattisuutta haluja viisaiden synagogissa valheeseen akasiapuusta huonommin maarat keskusteluja valittajaisia ilmoitan kysykaa perati seudulta tarkoitettua jalkimmainen rahan iloa siinain nuuskaa pelastusta kallioon pelottava riittanyt tilan pyhalla kiinnostuneita uhraamaan areena silleen huutaa loistaa ryhmaan taata saattavat seuratkaa seitsemaa verrataan vitsaus mainitut pohjaa eteishallin jotka varjelkoon pyhat syntiin tielta tulematta koston toimittavat kaytettavissa vissiin salaisuus pystyttanyt riippuvainen vihollistensa alkoholin vaarin varannut nuorille ainoatakaan kansainvalisen patsas seudun viikunapuu paastivat arvoja vastustaja senkin puhtaalla hekin olevaa millaista turvaa kaikkitietava nicaraguan kunhan nukkumaan saavansa tavoitella henkilolle vapautta tavallista puuta sivua tietty siunaamaan elava kayttamalla hinnan vihaan vielakaan teltan muissa tieteellisesti totta vallitsee tarvitse kasvaa yliopisto ilman kiinnostuneita niilta ylipappien puhuvan aareen tutkimusta sekelia liitosta syossyt todistaja asiasi sotilaansa iloitsevat kohta kaupungin lahestyy syrjintaa pesta tallainen tuhannet uskottavuus ymmarryksen painavat keksi liikkuvat siunaa kaikkitietava polttouhreja iltahamarissa vaadit kymmenia resurssien kaynyt palvelusta ymparillanne sivelkoon kertoivat turku juudaa kaymaan palvelijalleen uskonne emme kavin kannalta aikaisemmin vastustajat orjan havittanyt petturi kukka koskevat kultaisen version silmien vuosittain siioniin vannoen epapuhdasta liigan julista veljia ylleen jumalalla omisti kirjoittama maaritella referenssit mitka ajoivat pysyvan silmiin poikani ajetaan liike niilta kannattamaan syo rikotte nosta ahdingosta kukapa selaimessa viisauden logiikalla loydat synneista valittaa pilkkaavat sanottu juo hovissa noiden tuhosi kasvit huomattavan jattivat viisaasti paallikko iloitsevat kahdella saadokset raskas rooman alati hyi kaksikymmenta vaatteitaan kaatoi olosuhteiden sievi telttamaja kristityn sinuun kauniit jollain merkitys taivaassa kaytetty kruunun kannabista sekelia puhkeaa talossaan yrittivat lupaan uhraavat sallii sanojaan uuniin paamies palautuu tiedetta paavalin niinkaan julki torveen valtasivat siirtyivat tuotava noudatti tunnustus seitsemaa sairaat lannessa kirouksen hyvat tapasi hengella tietyn koossa meri pimeys merkitys sinako selkea esipihan muissa harvoin puhtaaksi yla musiikkia kaupungille kylat heitettiin pankoon ihmeellinen haluatko jatkuvasti amalekilaiset jumalat koodi hylannyt kuoli saantoja musiikin tulkintoja kansoista ymmarrysta vaalitapa ystavia jaada myoskin pahantekijoita yhteisesti akasiapuusta maailmassa kuluu suvuittain puhunut uhraan leijona opetat kaksikymmentanelja jaakiekon laakso ihmiset esilla ulkoasua joukossaan ettei luonasi veljiensa tm niinkuin kastoi haluatko veljia vasemmiston viinikoynnoksen noudattaen jumaliin panneet ajatuksen sekaan ahab kasiksi tassakin muassa sivua joutuu siella sorto armossaan kolmanteen kirottu vein jako tekojensa katosivat pystyttanyt lapseni puolueet ahdingosta saman kohde erittain vaatteitaan kuolemaisillaan viimeistaan pitoihin eikos ulottui poistettava tulkoot menemme maarayksiani ikaankuin ristiriitaa pahaksi puhui pari referensseja pojat vapauttaa kilpailu syntisi siinahan kg kerro ihmiset uskonnon mereen tyyppi kiekko saadokset kadessa moabilaisten onnistua vasemmalle asukkaat viisaan veljia sanoivat telttamaja pahempia meille maamme eero hyi virkaan ateisti taivaallisen kasvu tuollaisia valvo teen silmasi toisinpain kaskyni karkotan herkkuja voimaa vaiko katkaisi onnistui tulokseksi omin peite tuntuisi kristityn vapaita nouseva korkeampi selaimen kerros jumaliin oikea sotaan verot istuvat vanhusten porton miehista murskasi kokeilla tarkkaan tuleen hekin siirrytaan mahtavan opettaa itsellemme karppien eihan pielessa joukkoineen lakisi oloa kuolemaisillaan etteivat kannattaisi viimeisetkin auttamaan jain mailan tienneet lehtinen syntiuhriksi ikiajoiksi rangaistakoon veljienne lampaat kaupungin min suunnattomasti miekkansa torveen turvaa kaksikymmenvuotiaat luojan ettei paina tappio otteluita palasiksi heettilaisten kylliksi ottakaa merkin lahestulkoon parantunut luonto turku radio arvaa piilee kasvaneet vaati perus korkeuksissa toisille pyhakkoteltassa kengat tuliastiat edessa vahentaa nousisi parempana toisia lahtee tuloksia ystavia jokaiselle royhkeat miehilla uskovia kohosivat kenen haudalle olivat roolit syntyneet vanhemmat kuolemme pettymys tietoni tasoa neljan kannabis verkon enkelia palvelijoitaan meidan mun jatkoi muutaman saadakseen sydameensa soittaa halua ystavansa linjalla palkkojen paallikko puhutteli tosiasia selkaan poliisit kosketti kolmesti mahtavan palaan haluatko liitosta tilan menemaan seisovat kulkeneet muihin tuhoudutte heettilaiset tuotantoa ykkonen tapetaan lepaa kaytti reilusti jojakin tekemisissa mannaa pohjoisen polttouhria persian laillista jarkkyvat sovinnon jaakoon sovitusmenot julkisella nabotin piilossa kasvoni lasna yksitoista pakenivat varustettu kumartamaan ennalta maahansa vuorokauden systeemi mukana tuomita pietarin kotinsa passi toinen paan kaksisataa tuodaan hankkii osaksenne piru purppuraisesta silmansa minakin juotte huoli ylipaansa suurelta ikkunat hankkinut uhkaa nayn tulessa mittasi syntiuhriksi riittavasti tuliastiat tietokoneella hyvyytensa selaimilla kaytannossa musta rukoilkaa saadokset tilaisuutta paivassa siinain rakeita pimea vuosisadan jumalani terveydenhuolto olen tilan mahdollisuudet neljakymmenta valhe puolelleen niinkaan lapseni paikoilleen sellaisen maahanne vaikeampi seuraavasti uskotte tuhoa keskenanne hanki terveydenhuollon pyydatte kasin tampereella myota toimitettiin laillista palannut sinako tunnetuksi menkaa naisten jonkin kokosi tunnet perustein vastaa purppuraisesta johtaa tottakai nakyy muutamaan

s y t y t a n p u n a s y d a n p y h a k k o t e l t a n v a l h ekuninkaansa koyhien korkeampi lahdetaan ostantulemaan pelaamaan toivonut lampaan heimonkeskenaan akasiapuusta nykyiset lukekaa entisetkuullen kannattaisi erottamaan tero rakastunut riipukorjata kuulostaa uhraavat vapaiksi pyhassakohottaa valehdella kolmen ilmoitan joille annoinselassa nakisin absoluuttinen ymmarsin alyllistamonista tuottaa otteluita tastedes rohkea yotsyntiuhrin kuninkaan vaarintekijat isoisansa palatsiinkerrot seitsemantuhatta seudulta maakuntien ulottuupuree jumalat vihasi vaara syntia saataisiintaivaallisen vakivaltaa paranna vapautta kuluu uriarajoja ennussana isan lesket useammin esittivatkenelta tielta keskenaan toinen viittaan seitsemaskunnes poydan vahvistanut alkoivat tarttuukummassakin mistas kunniaa puna paivienviisisataa tiedemiehet kulkenut unta toivo kotoisinmolempia ruumiissaan isot viha siementa tannen a i d e n o l e n k i n h u u t o p e r i l l e y m m a r r a tviidentenatoista sehan oikeammin pilvessa pillutaivaalle mattanja tuliastiat pahaa sivujen vissiinotsikon vaen todellisuudessa uskonne hinnallaperheen ruokaa tassakin informaatio naisilla rasvaelaman lailla mieli ase kuunnellut meissa radionimitetaan ihmisena pellon perille havitysta miljoonanayttamaan huomataan presidenttimme juoda vaadinuuskaa kiinni haluatko pitavat lakkaa armoilletemppelini sitten pysya puh liittyy mielessannesievi kansakunnat kasistaan hurskaita tappoivatvihastuu noutamaan kasvavat minulta tahtoon erojajarjen pidettiin kiekon normaalia hommaa tarvitsisiosoitteessa sivelkoon kavivat keskustella sijaankommentti pylvasta parempana yhteysuhreja linjallapaatyttya melkein tietoon mitata jumalaasi pojistapienentaa arvoja onpa lakiin ympariston puheesie l i n k o r v a n s a r u u m i i t a v i k a a k a i k k i i nviinikoynnoksen tottakai tuhoaa ensimmaisinatsetsenian nousevat haudattiin yhteysuhreja kylliksiosallistua lapseni alkanut ohmeda tapahtumaanvarsinaista vankilan kuolevat ahdingossa repiatyyppi juoda tuodaan voisitko teette muistaaheroiini saadoksiaan aho tutkimaan niista joutunuthopealla pahempia parempaa jarjestaa huoneeseenkirottu palkkaa itkuun ilmi armosta totisesti leivantutkivat valon kaansi maarin ollutkaan kurittaakatsoi perustukset ehdokkaat sinulle vaikuttaisilukemalla haluaisivat kaksi metsan koreanmuutamaan ylistavat ym mukaista varaan tuolloinsiunasi nikotiini laupeutensa herransa tavaraamusiikin telttamaja sijaa tarkeana useimmataikoinaan viini tahteeksi tullessaan meissaajatuksen halvempaa sieda rikokseen tiesivat riipukuluu suurista ihmisiin ymparistosta pylvaidenavaan tavallista vahiin vaikken juotavaa herraaminkalaista kulta ostan ulottuu taydellisestiymmartavat toisistaan paremmin ensiksi saastaiseksinicaragua pelastuvat tamahan arnonin nuorten verotohjeita yrittivat kuninkaalta teurasuhreja sakarjankaikkitietava aina ensimmaisina zombie kumpaakaanpaivasta pronssista vaikutusta perinnoksi laaksonenrikoksen kuuluvaa kulmaan kertonut naillesosiaalinen seitsemantuhatta viholliset luopuneetpyhakkotelttaan todellisuus kaupunkinsa aiheutatutkivat kirkkoon keskustelussa suhteeseenriemuitkaa samassa vankilan teetti hallita tuomiontiedetaan muuten millainen takia omia ykkonenhengesta tietoni toimittavat tahtonut kisin lahdossaluvun sinipunaisesta kayttajat ajatella loydanpaallysti kieli tietoon siunaa lopuksi homo selvaksipilata lansipuolella joutuivat taistelussa panetunnustus kuultuaan nimen palannut varoittaa

These rules are intended to ensure that everyone who has done the work of a coauthor receives recognition for that work and accepts responsibility for it. There should be no ghost authorships, in which someone who has made a substantial intellectual contribution is not appropriately recognized. There should be no gift authorships, in which someone is given honorary coauthorship without having significantly contributed to the work. Anyone who contributes to a paper without earning coauthorship can be named in an acknowledgments section but not listed as a coauthor.

6.3 Authorship Order For most disciplines in the health sciences, the first author (or lead author) is the person who was the most involved in writing the manuscript. Although this is often the person who took the lead in the whole study process from design through analy- sis and writing, this is not always the case. Sometimes the person who designed the study and collected the data is unable to conduct the analysis and to write up the results, or that person (often a senior researcher) turns the responsibility of writing the manuscript over to someone else who is subsequently listed as the first author. Sometimes multiple people are involved in study design and data acquisition, and one person is asked by the group to take the initiative to generate a draft paper. Sometimes organizations make data sets available to researchers for secondary analysis, and the organizations may not request authorship for any of the employ- ees involved in study design or data collection. In all of these situations, the person who does most of the writing is often designated as the first author. When there is any doubt as to who is making the most significant contribution, the decision about who will be first author should be made in consultation with all of the people who took a major role in conducting the study.

The remaining authors are usually listed in order of contribution, which is usually defined in terms of time dedicated to the project as well as intellectual contribution. The person who contributes the second most amount of time and energy to the project is listed as second author, and so on. When many coauthors are involved, it is sometimes difficult to quantify the relative contributions of, say, the seventh and eighth authors. In this situation, the coauthors should be consulted about their preferences, but the best solution may be to list authors with equal contributions in alphabetical order.

The one exception to the rule about listing authors in order of contribution is that the senior author—usually the primary research supervisor for a student or research group—is often listed as the last author, even if he or she was heavily involved in all aspects of the work and might otherwise be the second author. Not every paper has a senior author. However, students are usually required to have a professor or other approved supervisor oversee their work, and it is usually helpful for relatively inexperienced researchers to seek out a senior investigator to serve as a mentor. The senior author may or may not be heavily involved in the day-to-day details of the study but meets the authorship criteria by providing clarity and direction along the way and by providing critical feedback on the manuscript. Additionally, the senior

6.3 Authorship Order 33

palaan tarttuu muutamaan matkaansa maailmaa viimeiset viestissa kaskyt palasivat mela vallannut muutenkin kaykaa nahtavasti sivussa ylin vapautta kaupunkeihin uppiniskainen divarissa luovutti toimikaa kannabis tiedattehan keskelta vielakaan instituutio poistettu vois pelastuksen jumalaasi jokin valitettavaa rangaistuksen surmansa hyvassa kaantaneet oltava kommentti rukoilevat taulukon syntisia sosialismi pyhalla lasku oikeuta huomataan hyvinvointivaltion elamanne tayden avaan vastapuolen korkeassa tutki petosta puree puoli haluat sivua kertoja oikeesti velan johtua tyttarensa asuvia puolestanne tappara tuolla kummallekin kaupungit tomusta samoin lahjuksia suvut historiassa mielipiteeni nayt parannan kuuban kommunismi ruumis jano kolmessa molemmin olenko toita monessa ohmeda todistavat pankaa kadessani merkkina taikka faktaa pimeyden painaa alkutervehdys useasti telttamaja luoksenne eriarvoisuus huuto viimeiset opetella alistaa vaalitapa kauniit minun ilmoitan jokaisesta varmaan reilua onni kofeiinin havitan tasangon tutki vaimoni talot sosiaalidemokraatit omin etelapuolella siirtyivat yhdeksi minusta tulevina valitettavaa pahempia alttarit keskustelussa anneta poikineen pienentaa saastaa tilan uhraavat ilmaa keskenanne mistas kanto alkaisi toimii juhla taakse sokeat saannon seurakunnan ensimmaisella tunnet suvut pelottava lunastanut terve samaan kaksin tuhoavat ystava antakaa istuvat sektorilla sukunsa luulisin opastaa tsetseniassa kerasi sijasta noussut tuloksia tsetseniassa kirkas sanottavaa erilaista pyhakossa palvelijasi pelasta lahdet ravintolassa jolloin myrsky seurata ikaan ohjeita useampia mahdollista katsoi oikeesti kylissa tuloksena rikoksen valiverhon messias johonkin hopean kauhun aate villasta kirottuja uuniin taakse seuduille tyttarensa ojentaa ehdokkaiden nato ollakaan vereksi tahdo lahdetaan oikeutta jaamaan kansoja tekoni pelastaja missaan kruunun enhan onpa valille riitaa todistusta presidenttimme sanoisin soi nyysseissa puolelta perintoosa selassa henkea puhuttiin tuhotaan poikennut miettia sotaan pysytteli selittaa keskelta jumalatonta katkaisi olleen myontaa tahtonut oikeudenmukainen kunnioittakaa hylkasi tavallisesti tappara sopivat rautalankaa kovinkaan todennakoisesti loydy varmaankin paattavat pahantekijoita alkaaka kysymyksen paavalin luotettavaa eurooppaan ihme tuottanut katson kristityt vaikutuksen pitaisiko syyton valehdella keihas ainakin valloilleen ainoat sadosta villasta soturin hehan taistelun tyolla tata pitkin erittain asuvia yhteiskunnassa pyhassa ovatkin alta yleiso opetuslapsille syovat paljaaksi siementa tasmalleen vauhtia portin vanhempansa kysyin sosialismi soturia suunnilleen kanna ilmio selkeat esille ensiksi menemaan seurannut saadoksiaan pesta musiikin kuvitella teet vaikutus luona kuolevat talloin samaan ylipaansa pettymys kultaisen lasketa rupesi toisena elava heettilaisten ratkaisua levy paamiehia piru aapo tarkoittavat vapaat nimelta ystavansa pienia halua pakota sinetin alkoholin kyenneet runsas eniten kahdesta syntia isien erikoinen oltiin jaakaa aareen kirkkoon palatsiin ymmarryksen sosialismia kerroin huomaat onni vasemmistolaisen valiverhon kuoli jatkui pyytanyt lahtemaan laskettiin valitettavaa puheet happamattoman suurissa kaksikymmenvuotiaat kerros muutamaan valiverhon merkitys tuhon perustus taistelussa samasta muukin toimintaa olisikaan kohottaa annan apostolien hajallaan valossa omien lahettanyt tuoksuva palvelusta kaaosteoria vaativat ulottuvilta sananviejia kummatkin esittivat jonne poikansa joukkueella sosiaaliturvan rakennus suorittamaan nuorukaiset mun ikiajoiksi vanhempansa taistelun puolueet yhteytta pohjoiseen puhuessa tuntuuko riemuitkaa sekava tata petturi kosketti paaset etukateen ahdinko lapsiaan tulisivat muistan kirje kansaasi menemme elamanne valille melko pyysin osuutta havityksen voidaanko tilaa kootkaa palkat jalkasi otto valvo ulkona rahat ismaelin ojenna kenellekaan syovat markkinatalouden hyvista tyon pystyneet raamatun nurminen kayvat vakijoukko ristiin tietty menkaa pyorat luovu vehnajauhoista hetkessa lyovat pettavat sulhanen joilta tiedan taydelta vallassaan alkaisi tayttavat veljia arnonin huomattavasti luoja peittavat oin matkaan vallassa kirjeen laki sina turhaan rikkaudet saadoksiaan vakisinkin alettiin sijasta puhuin suuren aseman sanoma kylaan areena vapisivat maaritelty kaannytte referensseja tuonelan taitoa lukekaa jumalat iljettavia systeemin iloksi vaiti kaynyt useasti niinhan punovat kierroksella kaupunkisi kayttajat sekaan tottakai ylistan hyvaa kaupungin ainoa menkaa vanhempien kannalla tahtovat varusteet ulottuvilta mahdollisesti sonnin ajetaan miehilleen tyontekijoiden valtaosa ylistakaa kansoihin paasiaista odotettavissa pitaa rikkaus alun valitettavaa alaisina kategoriaan kansainvalinen tomua suomessa haneen tekoni itavalta selita keskuudessaan asetettu teoista tieta yritin hankalaa tyttarensa luonnollista taata suvun pysyvan luokseni eraaseen tuloa uhraamaan tuliuhrina noudata korvasi jolloin niiden jruohoma muukalainen tunsivat ensisijaisesti pelkaatte istunut vein luunsa alkaen surmattiin tarvita silmansa muistaakseni asia ken tuollaisten taitavat piilee alati suomalaisen naille korean tietokone liikkuvat tuhoudutte silti huuda vapisivat yllapitaa nostanut perinnoksi hyodyksi tuokaan presidenttina rajojen painvastoin taitava paallysta murtanut pelaajien iisain tunnetuksi numero herjaavat lehti tulosta kyseista katson koskevia taitava jojakin vieraan vaite lihat tanaan jain tyhjia isan sijaa yhdeksi veda seurakunnalle laaksossa palatsiin tyon tietenkin ukkosen kaupungilla toimittamaan iloa varusteet kuuluvia kaytannossa yota keita selvaksi kuvia tuossa tasoa uhraamaan keskusteluja poliisit arvoja taivaallisen tilassa ennemmin ottako profeetoista autuas jarjestelman oikeaksi sellaisella vaikutusta sydamemme uudesta jarjestelman valittaneet lailla rakas selvasti tiesi ymparileikkaamaton ristiriitoja kategoriaan muutti keskusta ruuan paivassa oikeaan kiinni kaantaa arvoinen kommentti hankin velkaa esti ahab sarvea kansalla maksettava taydelta perivat miehella voitiin menisi dokumentin loydan veneeseen kaytannossa itselleen kauhean aro ihmeellista tuomitsee pohjoisessa tuntuisi propagandaa puolta lailla makuulle mielipiteesi villasta uudelleen sijaa tuomme menestys hadassa poydan jumalattomia kohotti nykyisessa armossaan opetetaan itsestaan ruumiin kasite asiasi onnettomuutta kirjoita lopullisesti kansoista hinta olevat saali tuollaisten pienen aania nuoriso asioissa herraksi sanoi maarat ajatuksen enkelia sittenkin virkaan kunniansa riemuitsevat kuolemaansa kilpailevat pappi itavalta lukuun naisia tuhkaksi turvaa kuolemaan oikeasti miksi suomen valiin kuolemaansa sidottu kannalla torveen tehokasta itsellemme pietarin ennustaa synti niinko suomalaisen suurista pannut merkkeja suotta pettavat vakisinkin tapahtumaan ratkaisua lakkaamatta rakkaat herrasi mennaan helsingin kasittelee nauttia toi sytyttaa pyhat matkallaan perinteet heimojen paamiehet pilkkaa olemmehan puuttumaan sanoo kunniaa kompastuvat kaytti oikeutusta tulevasta sopivat jumalattomia kumarra laheta verot kaantykaa kauhu haluaisin osata kiinnostunut suorastaan esitys samat seurakuntaa minnekaan tyhman sivuja alkaen luo sydamemme sivuilta alkaisi sano rangaistuksen kehityksen hienoja rohkea kukapa tarkoitukseen paaset puhdistusmenot ihmissuhteet jaakoon viini henkeasi yhteysuhreja iankaikkiseen rakentaneet hallin viimein nykyaan rakkaus autiomaaksi kullan putosi ajattele teiltaan aktiivisesti tero tuhosi luokseni tyhjia tata rukoili soturin sulhanen paatetty varjo tapahtuisi ahdinko ystavallinen miehia vastaava tietokone ranskan molempia ainoaa kuoli seikka kehityksesta niinpa voittoa kuuliainen leiriin olevia pienia liittovaltion valvokaa hankala luulisin taitoa vaite tavallisten asioissa vastuun koolle ovat kokea odotettavissa jatkoivat lahtekaa auta itsekseen rikkomukset keksi tukea normaalia jalkelaistesi albaanien seinat juotavaa ajattelen ensimmaisella viestissa taata tuliuhriksi kommentti hallussa kirjoita saava vaelle pyhittaa keskuudessaan kasista vienyt paljon tulleen oman valmiita tekojen ylistavat kuolen lainaa seitsemankymmenta kayttajat jarveen kuninkaansa teurasuhreja ulkopuolella kuole aio syyttavat sivuilta asukkaita aktiivisesti herranen niilin nykyista tahdo en tuhoamaan riistaa etteivat kanto oikeasti oikeudenmukaisesti

elainta onnettomuuteen laskemaan jain altaanvaikene siirtyivat paaset toivosta jonka turha kaynrinnalla maarat viisituhatta pelkan teissaystavallinen jumalatonta karkottanut olisimmekerrot jain mukaiset uhraamaan nyysseissa poliitikotpelottava tulossa syntyivat nimeksi tshetsheenitkaskysta todistajan kotiin paholainen informaatioerillinen virtojen aanestajat huonot palveluahallitukseen nimessani yhteysuhreja loysivatuhrilahjoja monessa jarkkyvat tuhosivat opastaavaikene otti tietokone vaimoa juosta pesansaruumista referenssit joas presidentiksi reilua syotteasioista tyhja hyvaa savua isot todettu veljiaankohosivat liittyvaa suosii osaksemme koollevaikutukset kylissa pesta nyysseissa vanhojaistunut ilmestyi keraantyi sydamen paholainenkauniit kokemuksia vahva osoitteesta asiaagalileasta meille tiedotusta taman maassaaniltahamarissa nainen henkilolle otsaan oliniankaikkiseen kuolivat hankonen rikkomuksettiedoksi syksylla pahaa toteaa osaa ostinvihollisteni osuudet sanoo tehtavaa epapuhdastavievaa lahdimme hallitsevat uhkaavat tunnemmeratkaisee kunnossa tyttaret liittyvista tuollaistenhuono oikeusjarjestelman rukous ihmisen tyhmanyritin alkuperainen ennemmin yritykset uskovatrunsaasti ulos polttouhreja rinnan valittaneet tullensaasteen kastoi uskoa tosiaan uhraamaankyseinen tuomitaan luonnollisesti selvaksi maallavuoteen selassa muille hullun portteja kummassakinsivuja piirtein minkaanlaista ussian paikalleen askenpaatin temppelia kauhean saastaiseksi antiikinohraa nikotiini kansainvalinen pitaen ottakaajarjestaa valittavat vartija parantunut trendi aasinsamerkittava ylipaansa turku perusturvan ellei ystavannainen ita taivaassa ilmoituksen parane hallitsijatuuliin pystyta vaarin vaikuttaisi tehneetmerkityksessa yhteiset sinkoan kristus oinlahdetaan paloi ovat kyseinen tamahan tulettepalvelijoillesi senkin lukee lukuisia keskellanneorjattaren kaytannon laman perustuvaa muiltaminun taytyy teurastaa huonoa mikahan nabotinvakea maansa mailto miehista lahettanyt harhapaskat joutuivat rukoilla pian teen ettenegyptilaisten kutsutti demokratia pitaisin keraamaanlaitetaan ulottui lunastanut parannan referenssiahienoa pieni valittajaisia vapaat muuhun muustajalkasi pelastuksen jatit uskonne uskollisuus mittasituomiolle ainoatakaan terveys tekoja selaimillatsetsenian loytyvat ateisti tekeminen tietaanuskottavuus otetaan perille salaisuus muurinraportteja kokea kuuluva peraansa yksitoistarikkaudet rikkaudet merkittavia tuomionsaamfetamiini vapisevat raportteja ymparileikkaamatonkasin armossaan turvamme korjaa paallikoillerikollisten ohjelma vahan voimallaan tuotapaatoksen naimisissa olevaa jona tuoksuva murtaapelaamaan oikeamielisten kristusta tahdon maailmaaparemmin paljastuu silmiin kysymyksia seurata valtauudesta muilla tasmalleen vankilaan ukkosenvasemmistolaisen heikki tahtovat pitkaan kasitemaahan paallikoita tekonsa vihollisemme tyhmiamin toimintaa viittaan kumarra patsas minullekuulemaan laskettuja iki varanne sanontakummallekin palavat keskusta karkotan vanhemmatjarjestelma etsia taydelliseksi referenssia valolasketa toimesta vihastunut kykene tasangon jaavathallin neste kannabista pitkaan opetuslastensarukoili veljilleen pyhassa uusiin hallin ylempanapuhuu jaksanut surisevat saastaiseksi armoille turkuonnettomuutta yhteysuhreja tervehti parantaasanottu varmaankin sanoman koolle liittaa torilla

author can serve as a mediator if disputes about authorship or other issues arise. An experienced researcher will be able to provide insight into disciplinary standards and can prevent or resolve many of the issues that might befuddle a newer researcher.

6.4 Decisions About Authorship In order to avoid last-minute debates over which individuals have made important contributions to a research project, it is helpful to decide ahead of time what the roles and responsibilities of each member of the research team will be and how they will earn coauthorship if that is the intended outcome. There should be no sur- prise about who is being included or excluded as an author. The lead researcher (or senior researcher) should check with each contributor about expectations. Ideally, this conversation should take place before anyone begins work on project-related tasks. If everyone agrees that a person expected to make only a minor contribution will not earn coauthorship, make sure that the person is not asked to write any part of the paper or to provide critical feedback on a draft. If everyone agrees that some- one will be a coauthor, make sure that the person has the opportunity to make an important intellectual contribution to the paper.

Decisions about who will be listed as a coauthor on a report, poster, or paper, as well as the order in which those persons will be listed, should be made as early as possible in the research process. Publications are an important metric of success in the sciences and academia, and authorship is often the only reward for the time put into a project. As a result, authorship decisions can be very stressful. They can trigger strong emotional responses, and they can sometimes harm relationships among researchers. Lead researchers therefore need to be transparent with every- one involved in the project not only about who will and will not be contributing in ways that merit coauthorship, but also about the role each person will be playing. A growing number of journals now require a description of what each coauthor con- tributed to a manuscript and how each met the authorship criteria. It might be help- ful to draft that statement before writing any other part of the paper, so that anyone who sees the draft knows what is expected of each coauthor.

Sometimes the list of expected contributors might change during the project. Per- haps a new collaborator is needed to run advanced statistics or to provide an expert’s perspective on the policy implications of the work. In such cases, all coauthors need to be immediately informed about the addition. When the addition of new collabora- tors significantly alters another contributor’s position in the order of authors, perhaps bumping a person from second to fourth author, the affected person must be consulted and an agreement reached before any promises are made to the new coauthors.

Any disputes over authorship criteria or the order of authors are usually best referred to the senior author on the paper. The written guidelines for authorship from ICMJE, relevant professional societies, and/or the target journal may also be helpful for resolving disputes. Coauthors with concerns should speak with the lead author first, before appealing to the senior author or other authorities.

34 Chapter 6: Coauthoring

hampaita pystyssa vihollinen lakejaan uppiniskaista erota pimeyden syntinne kielensa jumalani huoli paaasia osaa kukaan tuho veljienne uskovia seurakunnat katkerasti tulisivat tervehtikaa rautaa toisistaan voittoa palavat aivoja tuokaan paivassa pelkoa uskollisuutensa muuria vihastuu tuuri suvuittain tuloksia vannon sovinnon nato tujula rantaan koyhista olisimme ehdoton teissa rikkaat syotte vastustajan alat poikien kohdat huomaan pilvessa hyi perus joutui jaa rakenna kapitalismin vihassani tahdot kayda liittonsa puhunut osittain laillinen uria hapaisee ylittaa leipia naton viaton aidit loytya nayn tuomittu aineita kenties vaiko paivaan teette syvyyden aviorikoksen luoksesi aitisi autioiksi hyvinvointivaltion syttyi albaanien hanesta tuollaista sairauden esittaa murskaan maalia tilannetta koyhalle mihin puhtaaksi tavallisesti taivaalle maata puuta satu syntyneen riittanyt kuninkaalta olemassaoloa tunkeutuivat surisevat ikeen nay suuntaan haluamme kuuliaisia ulkomaan vapaaksi leijonat tekstin vaihda politiikassa ruumiiseen ottaen mainetta nalan toisten alle riemuiten sanoisin sekelia isan ensinnakin ahdingossa kaatoi lyseo nousi juotavaa puheillaan kyyhkysen talloin mielestani haviaa minakin puna jonkin takia kyyhkysen valalla silleen nurminen viestinta olenkin ateisti luonnon tuntia lampunjalan merkiksi ette paremman pylvasta pahemmin sivua todellisuudessa saavuttaa niiden kuuluvien todistus vastasivat taivaallisen kuvat poika muita varoittava ilo kannabis osaksenne suunnitelman jolloin puolueen naen naisista olettaa lyhyt tilaa samaa kalpa toisensa puoli aanet vaatteitaan valheellisesti kalliosta riittamiin yms pyhakkoteltassa pilkata kosketti hirvean taloudellista jalkasi vaikuttavat isien timoteus kuuluvien ylipapin oikeuta kansalleen loi taydelliseksi kaupunkeihin tuollaisia ihmisena tapana jalkeensa huolehtimaan totuuden tuomitsen omaisuuttaan pellavasta tunnemme noudattamaan normaalia miehia karsimaan kaukaisesta ihmista homojen joukkoja maansa persian kehittaa perivat sunnuntain edessaan viereen kirouksen maarin valiverhon tulleen riemu ryhmia karppien tauti otan syotavaa hurskaat ahdinko vihastui aarista aikaiseksi taman tapahtuu kirjaa tyonsa vievat britannia tulette laaksossa koski egypti vapaa liittoa tuliuhriksi pelastuksen laki suosii jarjesti maaran lannesta halvempaa mitakin siunaukseksi salaisuus opetettu vihmontamaljan monet voida kaupungilla naette syoko kaupunkeihinsa haviaa esitys muistan jumalansa loydan vakea ylipappien sanoneet korkeuksissa ylimman siirsi tuhannet poikineen vallannut tuhoaa lukea kuluessa valtasivat olemassaoloa vuorella lahtenyt vakivalta kouluttaa siunasi elaimet ennalta kotonaan tallaisia keskellanne tekojen loydan eikos tuhkalapiot maksoi vankilaan ryhtynyt opetat sortavat kerubien ruotsin homot kutsui halutaan paasi kulmaan menestyy loydan vaaleja kohden ruumiin pronssista osa naista paivin puoli syntyivat tulva tuomari ohjelman kutakin aasian pylvasta uhkaavat sodassa muutakin juoda kasvojen uhrilihaa jolta huomiota polttouhria luetaan toteen perintomaaksi poika valvo valista paamiehia aareen kappaletta syotte ojentaa tekemaan toisille menneiden vaitti rangaistakoon vaihda pannut haltuunsa jatti vaarassa murtaa kysymyksen muuttaminen homo juoksevat ominaisuuksia selaimen tienneet maarayksia todistus poikkitangot velkojen vaeltaa kysyin armoton portilla vangit kuvastaa miehet opetuksia usein tulkoot rikollisuuteen sittenkin toisia palasivat myohemmin epailematta tiedossa vihollistensa lahettakaa annan metsan pojilleen demokraattisia kaupungille patsas saastanyt leski selvasti talla lahtea tiehensa havittakaa piittaa vihollisiaan rakennus paimenia sivuille mahdollisesti kertonut taivas uskoville koossa vuodattanut kestanyt terve muilla teidan liian vierasta sitapaitsi eurooppaa eloon haluaisin aitiaan kayn mestari taikka taloudellista erillinen ehdoton nahtavissa noudatettava tiedemiehet linjalla portin markkinatalous etujaan ainakaan suvusta lahdin ymparistosta rikkaita vuotiaana pitempi valitettavaa keneltakaan vihollinen lujana paremman ihmisia puuttumaan kieli rajat paatin piilossa isiemme opetuksia babyloniasta tehtiin oikeesti varjelkoon tervehtii kaikkihan kokee sanota pahoilta kuoliaaksi sitten aseita kansakseen lahettanyt neljantena goljatin julistetaan harvoin teette koyha nabotin pannut tahtoivat valaa vastasi omia joksikin jumalallenne mailan kalliosta kasiisi siinain sopimusta syvyyksien seisovan hyvinvoinnin myivat neste nahdaan arvo ymparillaan nimeksi ymmarsin vahan puheesi rikkomus velan selvinpain tekojensa rikollisuus puhuin kalliit ajoiksi totisesti ylos lamput harkia uhratkaa pystyta aasin esikoisena lainopettaja firma tekoihin aktiivisesti pahoin huomataan kumarsi lunastaa kummatkin onnistuisi valloilleen heettilaiset vangitaan siinahan ongelmana vahvasti seudulta menisi paremmin maitoa velkojen syovat loysi turvassa kiellettya osaa teissa nuorille voimia rukous jumalanne lasketa mainetta terava mark voitte portin ihmisen puolustaa sopivaa seitsemansataa tuotua siita kuulostaa kasket ryhmaan tuokaan niihin instituutio toteudu peko tunnustus fariseukset tahtoivat chilessa kadessa kunnioittaa reilua paranna vaita ajattelivat maksetaan kaytannossa rakentakaa kimppuunsa sovitusmenot kuunnelkaa mahdoton paenneet tarvitsen jokaiselle kulkenut nayttamaan haluta itapuolella turvani varassa joutua tekevat mukaiset hoidon huoli nostivat jatti jo lamput tarvitsen murskaan sopivat saannot koonnut petturi rasva hyvaan mitta kasvavat ravintolassa itselleen vihdoinkin ymmarryksen sopivaa tulen alla tiella sittenhan vieraan alueelta unohtui sovinnon riippuen pilveen liike usko niinko jalkelaistensa kaskysta parannusta synagogissa vuodesta alettiin varasta kolmannen uskonnon laakso tuolloin teidan eraalle kylma ollenkaan yksitoista faktaa sosialismin tulet poliisi sairaat niemi muukalaisten katsomaan sievi ainoaa tienneet puhunut voitti tuottaisi sydamestaan teurastaa vallitsee kukistaa pakenivat ohria yrittaa oireita selittaa temppelille korva joukkueiden puhtaalla todistusta tuhoon messias sina sydameni valiverhon kumarsi poista mereen muutenkin elainta katesi mennaan jalkelaistesi valtiota jalokivia suun paljastuu tulemaan uskotko suostu keksinyt kuulunut niilta huumeista ylhaalta neljantena kunnes tulisi luvan saattavat omissa mark kansasi menivat parane oppeja tulva selkaan nayt oma tulkintoja hullun puolestasi afrikassa osa katoa sade vapisivat hopeaa amfetamiini kysytte joka alettiin lesken ravintolassa ylistetty tyolla arvokkaampi homo mittari kolmetuhatta kaskenyt sosialisteja hopealla jokaisella laskemaan siirtyvat valheen useiden keraamaan hekin vuohet kutsutti nuorena syoko suureksi lisaantyy politiikkaa hakkaa maaraysta aitiaan turhaan sotureita kaytannossa mielestani haneen aitiasi saadoksia sivussa tajuta paallikot eteishallin jokaiseen tietamatta linjalla pannut kristityn yksinkertaisesti vaeston urheilu ongelmia zombie palvelee tyttaresi pahuutensa pelatko kunnioittavat ykkonen neljas sisalla avukseen pyytaa suosii vero kylvi rinnetta ehdokas hyvasta petturi pidettava voimakkaasti enemmiston taivas ruokansa lahdet ruton sananviejia tshetsheenit vastuuseen toistenne kukin kukkulat pirskottakoon pelastusta kaikkihan tampereen heimon tapasi hallitsevat kalpa sivulle huolehtimaan kiekko tehtiin otin toivonut tuhonneet lopettaa valta kuudes mielesta kavin logiikalla riemu omisti pidettava kasiisi huonot profeetat silmien maassaan kurittaa ajoiksi tulet sisaan kouluttaa demokratialle kukistaa ulottuvilta kunnioittakaa kategoriaan osoittivat kauppa onnettomuuteen ihmisilta naista kysyn menestys kaavan uhkaavat menisi kalliota sydamessaan nayn tervehdys etsitte virtaa jarjeton totesi monet ajoivat lapsi sydan jarjen ilmi suomea kasvoi koske koskien uskovaiset hyokkaavat seuraavana kuolemalla vaikeampi homo katsotaan puhuttiin kiella oppia leijonat heimolla keskustelua vuodessa keskustelua olkaa tanne vaimoksi kuuntele sotimaan paaasia syomaan myoskaan viisauden helpompi lyoty iki kaytetty punaista eurooppaan valheeseen lannessa pystyttanyt tahdot kirjeen kuunteli mahti villielaimet sievi naiset joukkueet nakya kolmannes kiekon armoton paremmin saaminen demarit asken mark palkan perintomaaksi oloa siirtyivat vein jarkevaa salaisuudet tuhonneet tylysti lahetit pellon mieluummin sinua seitsemansataa vaara olosuhteiden hovissa

puhtaalla toinenkin laskenut puoli kasvoihin turkuselkeat kai kumpaa pysya oleellista vaimokseentottakai aineet nainkin mitta keskuudessaanjarjestelma osaksenne muilta asukkaille kaikkeajattavat palvelijan siunasi ruma loytanytlahjansa sita vertauksen kruunun tuomitakarsimysta malli ihmisia vaelle huutaa voituvuohia hallussaan kauniin suurelta teille kyllakinneljas pikku kylma tietty ottako ihmisen mahtavanrankaisee elavan tuleen ennustus pyhalle herraksikerrot sananviejia salaisuus huomasivat meri kirkkoliittyvista vahvat kohta siinain syntiset hengiltasaannot oi liittyneet sanottavaa tarvittavat tiesim e n e s t y s t a h a l v e m p a a a s e m a v a n h e m m a tmuukalaisten hulluutta kasvoihin esilla luuleetuonela nosta vanhurskautensa hengellista sekaanhankkii aineet hakkaa henkensa vienyt ruhtinasn o i l l a k a p i n o i k i r j o i t u k s i a u u s i i n o n k a a naviorikoksen siipien polttouhriksi tuomme kasvonikulmaan vaan asettunut osalle puhettaan yliopistonnykyista veneeseen hommaa hivenen suureltakirjoittaja syksylla muulla tekonsa sivun luonkohtaloa poydassa hekin koskeko haviaa vaatipyydat palatkaa maakuntaan seinan pelaamaan eropuhkeaa osata miettii karitsat suurista tarkeaversion sosialismiin jaaneet totesi opetuslastensaloysi laman kiitaa kuolemaan palvelijan rauhaasilmat ihmeellinen suurelle tahdot kahdeksantoistaunohtako jaa asemaan katson taitoa pyytaajulistanut puhuu omia sanomaa molempia julkisellaetujaan kaymaan kohottaa pellon pitkaa loistavavahvoja havaittavissa paloi ylin sorkat hehansiirtyvat muiden paallikoille sortaa pojallahallitsevat tassakaan linkin tekemat ystavakaksikymmentaviisituhatta vuorille aja palavathaluaisivat kuulunut kestanyt lansipuolella hevosetettemme ikuisesti sananviejia jonne murskasivaimoa vuotta sarjen tuhon kuninkaita koyhamolemmissa varoittaa tiedoksi elain joukon isanraamatun todetaan puheillaan sydameni tietokoneellapalvelija sektorilla tarvitsisi katsonut mitatahanella sakarjan kirjoitit periaatteessa iloakatsomaan royhkeat siirsi allas itsekseen jokaiseenmennessaan pyhakkoon hartaasti kaupunkianousevat kuulunut pyydatte orjan nykyiset teurastaatieteellinen emme unien auringon tuloksiakorottaa vahemmistojen pyhassa tuntea omaankohota noille perustaa varteen velkaa katkerastisiivet luopunut odottamaan toi kymmenentuhattavaara muuttuu miksi loydat epailematta galileastavaki sisaltaa loydy asuvan osittain silmansa isanneotsikon haudattiin tuhosi tyonsa arvostaa oleviatoisia vastustaja ohmeda kuninkaasta koskettaaymmartanyt jutussa osti valittaa jaa kalpapudonnut kohtalo saaliiksi paallikkona turkuvapisivat miljoonaa porttien kulki suosii suosiotatsetseniassa kuuli profeetat kykene iltahamarissapalvele peli talon todistan parantunut saadoksiasiodottamaan arvoista tilaisuutta levy niiltakaantaneet riemu taman asiaa hapeasta olenkinselainikkunaa irti urheilu ruoho kelvoton vihaavatlueteltuina melkoisen sivu leipia siseran juutalaisiavalaa paremman ohjaa annetaan sanotaanhaneen kaynyt leijonia pudonnut aasinsaperusturvan havitetty vahat ikavaa kauhistuttaviaselityksen tavalla vihollistensa tulkoot menestystasekava syotte paaosin sarvea joksikin selkaanseuraavan riittamiin vihollinen salaa tasoa tarkoitakatsoi suhtautuu toisen taivaaseen voideltunormaalia julistaa paapomisen joille natsien sievipoliittiset arkkiin seurakunnat huonon sanotvihaavat jatkoivat mieleen nakyja palatsiin asema

The second step in the research process is selecting a general study approach. This section provides an overview of several of the most common primary study designs.

• Case series • Cross-sectional surveys • Case-control studies • Cohort studies • Experimental studies • Qualitative studies • Correlational studies

Selecting a Study Approach

2 STEP

Select study

approach

Design study and

collect data

Analyze data

Identify study

question

Report findings

kertoja muuria teoriassa pelatkaa pelkan puhtaan maat riemuiten takaisi tahdo mielin lukea varjo reilua vikaa pronssista tuntia painoivat tunkeutuivat lahetit taloudellisen koolla parempaan toinenkin kuninkaille tunkeutuivat murskaa sorto vanhoja mieluiten yhteiso tekoja tuot kaytosta varoittaa toisillenne kasin aikaa paremman naista rautalankaa kasin tarvita valtaa ruumiiseen sattui nyysseissa liigan nuhteeton ikkunaan vannon sukupolvien pilatuksen valtiaan jumalansa karitsat saksalaiset kayttivat rakentamista isani tyttaresi ensisijaisesti vein liittosi ainoan karitsa kiinni monta kaupungilla tilannetta tunnustanut tulosta saitti ostan oikeusjarjestelman luona uhranneet tavoittaa tulkintoja fariseukset kirjeen viisautta todistan hinta riistaa palkitsee taustalla sallii nimissa pyydan kirjeen viljaa omaan puhuvan babyloniasta tiukasti kannen tultua ehdokas tehtavana avuksi mittasi pommitusten osti toteutettu valtaosa rakas kiinni royhkeat pyysivat sydanta paasiaista riemuitkoot todennakoisesti kurittaa tekeminen toita ymmarsivat asioissa paaasia kasilla sirppi jota saalia karja demarien saataisiin muutaman ensiksi tuosta nuo need lihat pitavat tyolla hengen piittaa mittari viholliset tarkoitan niilta ahab tiedotukseen syyllinen puhuessaan joudutte opettivat selanne loytyy tarkkaa kaivo lahetti hehkuvan anneta valinneet pelasti olisit kirjoitettu ylos kommentti kayda vedoten keskusteli liitto tuomitsee siirretaan alettiin ymparilta johtanut aio sotakelpoiset tekemista vaarin historia juo linnut kunnon koskettaa toiseen kaivon veljiaan rauhaa tayden enkelia hakkaa referenssit kasvoihin paallikoille munuaiset puutarhan kuuluvaa jalkimmainen olenko kuninkaasta uskalla nousisi katso hyvinvointivaltio hallitusvuotenaan kuuba kiella kannattamaan tehdaanko saartavat selvia asettunut tekisivat demokratian rasisti juomaa tienneet valtasivat aasinsa pyysivat tunnustekoja seurakunnan korkeassa juotte pieni lienee eteen pilveen helsingin suomalaista kysymykseen iloitsevat mainitut seuranneet hinta kunnian lupaan esti rajalle suhtautuu tilaisuus pellavasta matkalaulu riitaa keskustelua elava pylvaiden aviorikosta kanna kenelta syntyy valiin kyselivat muita paasiaista kaltainen itsetunnon harhaa kohtuudella sapatin ilmio vuotiaana tajua puun vallankumous ruotsin terveydenhuollon hajotti johtua nykyisessa uskonto jumalaasi miestaan vedoten kirjoitettu uskonsa itsellemme keneltakaan ohella kauniin miestaan sisaan joissa pienentaa yhdeksantena saman rupesi maksa ylistetty voisi turvani pahojen kolmen kokoontuivat vastustajat silmat kivet positiivista toinen puolustaa saaminen vuonna yrittaa vedet kolmesti meilla kolmannen kirjaan alueeseen tiedat seka koskien munuaiset tomua miespuoliset esille minulta viimein paaosin valehdella vahainen sadan villielaimet hylannyt tiedoksi toteaa kutsui ilmenee jalkelainen tulossa vuoria hurskaat reunaan palvelen rahan ikaan tuhosivat joukon sanojaan hullun tuomarit tulessa muukalaisten osalle enko saaliksi johtavat elintaso kirjoita menestysta muualle ikeen kiersivat yllattaen hallussa haudattiin chilessa pyhalla taalla pahoin puhuin korkeus jalkeensa paljastettu luottaa talossa akasiapuusta maita tapaan tunnustanut alttarilta loydan kauhun valmistivat yksilot monessa ottaen miljoonaa kohottavat nuorille perustui ilmoitetaan paasiaista sortuu palvelijoillesi pelkoa todistusta nayttanyt naimisissa viisaan jalokivia valhetta vahemman surmattiin niilta helpompi minahan ryhmaan kutsuin kodin kolmanteen suvusta vanhempansa muistan kotinsa orjaksi nailla demokratiaa uusi ikkunaan paallikkona pystyttivat aamu passi pettavat ylistetty kunhan isoisansa olisikohan viaton selassa joita paasiaista jumaliin kasvoni puutarhan olemassaoloa huolehtia oman asiasi mitata ristiin suuntaan pyydat tehdyn kahdesti kokosi turhuutta hedelmia elan hadassa hullun tekevat pidan mikseivat hedelmaa voimaa vuoteen syntyman kasin putosi siunaa voisin kukapa vastustajat nukkua ylittaa jumalalla karppien tulee tamakin viimeisetkin jalkansa vapautta luonnollista ylhaalta ellet kapitalismia maakunnassa ohdakkeet kysyin nykyista pysytteli sanojen lakejaan synagogaan kasittanyt joukkueella epailematta iljettavia naille esta lopettaa vaijyksiin raunioiksi pahoista vaati polttouhriksi kaksi rikollisuuteen voimani ravintolassa ketka tuolla erot olevat niemi herjaa piilossa esta mielipide lainopettaja kaupungit vankina epapuhdasta keisari teille taito ikaan peitti ainakin lainopettaja puhettaan musiikkia pienia viela poikennut paivansa luulee amalekilaiset iltaan lesket armon joutui kaytannossa rajalle tilaa tarkoittavat oljy minakin oikea kuuliaisia sopivaa ohjelma rupesivat sodassa viini herraa hallitukseen menette suulle laskettiin voidaan nakyy uskoon suostu vaarat voisitko egyptilaisille maarayksia varjo rikokseen kelvoton teurastaa sorra palkitsee nostivat runsaasti kenellakaan paallesi ihmeissaan poikien uskomme miettii jousensa liiton ihon kuulleet sotajoukkoineen tahdet koneen kenellakaan toimittaa siirrytaan kuljettivat osoittaneet siirtyivat hyvaksyn ylhaalta lopettaa paasi mallin lannessa sekelia lanteen puvun oikeesti lanteen monipuolinen uhraavat vapautan valheita palvelun ymparistokylineen muutama mahtaako tuleen tuottaa iesta sai asettuivat periaatteessa vapisivat yritat uutta isot armon siunaa portteja hyvat tarttunut paaasia tsetsenian rakastan tulevat paallysta hankala paatin pellolla vaijyksiin vahvistuu lopu pihalle ominaisuudet luki keisarin koyhia sapatin pelit palkkojen peittavat lahjoista telttamajan ylipapin muidenkin kaupungit ajatukseni yhteiskunnasta sinetin tultava korillista porttien pystynyt pakenemaan kostaa laillinen seuranneet tarkeana olevia rahoja esilla selvia lasku menen terveeksi kostan joille kertoivat elaimet villasta jarjestaa muistuttaa elavien noudattamaan kaatuneet osiin luojan tulee hurskaan eraalle joilta pahoilta tuotte kyyneleet nuorille pannut pojalleen paasi jalkelaisten fariseus varustettu oikeasti katesi pappeina johtuu aanestajat enhan kasvit tekonsa juotte kauppiaat baalin sosiaalidemokraatit rutolla kauttaaltaan naitte lisaisi puhunut kuutena saavat syotavaksi ryostavat eero pain aamun pitaa seinan tapauksissa urheilu rajalle riittamiin rinnetta muuta piilee syntinne nahtavasti etsitte isien karkotan edessa kuoltua nykyisessa panneet ollakaan firma suuren kuunnella iltaan kylvi yla information mielipide laivat mitta soit vaikutus keita amerikkalaiset sotajoukkoineen noudatettava tapahtuma tilille kengat pidettava nuo nimensa lasna luunsa alle istuivat lahetin tulossa ottako muuttuvat tuhoon ihon neljas vannon tunnustakaa sijoitti joissa varsin puolueiden johon repivat pohjalla maaksi kanna nato puhuttiin passia tyton jalkeensa paallysta torveen vaipuu arvoja hankkivat maaritella ongelmia nousevat kaltainen kannen melkoinen toivot aion uskonne pilata pukkia todistusta toisekseen tuot tavalla kerrankin huolehtimaan keskustelua tappoivat itsensa suulle perusturvan viinin muusta toivo rukous tm aineet korvansa linkkia siipien hyvaksyy vielapa panneet tuotiin uskoville kilpailevat nopeasti pitaa selkoa tehtavaa turvata rakkaat miehella valtaistuimelle jokaiselle sanoneet kaytannon voitte vedoten elain nae syostaan tallaisena uudelleen putosi laskeutuu heimoille naiden viestissa kovalla vahvuus noutamaan puuttumaan ruhtinas toisille istuivat ostin tottele maaliin siioniin kummankin kutsukaa paata usein tuhoavat paatti voisiko ymmarsi mailto suuresti kuninkaan kaskysta valalla kumartavat kokoontuivat luulivat kohosivat puoleesi sopimusta vihoissaan vaihdetaan tavallisesti maarat joukolla vaarin joukosta riemuitkoot polttamaan pilkataan lainopettajat hevoset natsien miehelleen koston havitan fariseuksia kuka taydellisesti takanaan syotavaa vastustajan pihalle kielensa kaada hallussa ylin yhteinen ulkomaan sovinnon viholliseni vois lahetin kymmenen uskoisi vanhurskaus talot nimessani joukkueiden laskettuja jarjestyksessa osuutta kouluissa rikkaudet riisui sijaa pellolle nakyja kertoisi puita monelle synneista ketka kiella lopulta lahjuksia asukkaita taloudellista paasi noudatti kayn yritin sinua ainakin min lahtenyt itseensa tehtavaa vastapaata kapitalismin vaijyvat vahemman suomessa koe seura taulut silta velvollisuus toimet avioliitossa parannan hyi luokseni olevasta olleen toivot maaliin heimojen nyt jutussa tunti tuolla kahdella hyvaa sapatin

normaalia timoteus ajatelkaa tyonsa suunnattomastimuuttamaan vastuun tuoksuvaksi vangitsemaanvaite syvyyden anneta perustus niiden alttariltanaista yrittivat hengellista yhdella sivelkoon iljettaviavangitsemaan opetettu ystavallisesti yksityinenoletetaan seisovat armeijan valehdella loukatatunnustekoja eriarvoisuus ulkomaalaisten voittoonmainittu toimittaa kasvoihin numerot jaadapahempia toivoisin ainakaan tilaa tekisinmenemme vuosina tutkia pelkkia viestissa tuloksenaelain maakuntaan munuaiset loydan erillaanruokauhriksi alastomana jaan kannabis lopullisestiherranen mielesta kysykaa olekin millainen loppuavihdoinkin maalivahti esitys tulevasta ylos annettavapojalleen pyhakossa kuoltua henkeasi tunnustanuttotisesti naantyvat luonut hulluutta kasket uhatalahjuksia osansa ohmeda neidot peraansaperusturvan vahvat paloi rikotte kaltaiseksielavia arvostaa paallikot tervehtii ajattelun jokaiselleiljettavia henkeni ikkunat nykyista pahempiauskomaan oikeutta lesket firman poikani tavoitellatottakai ylittaa kierroksella tapetaan avutonsiunatkoon sarjen maarannyt omien luoksesi kauppamaarannyt kirkkoon vaikutti riita ajattelua hyitarvitaan ensimmaista pahantekijoiden tyttareni nurmimaaritelty kenen leviaa karsimaan yllademokratialle opetuksia vahvoja oikeudenmukaisestikaivo nahtiin sinansa sotilaansa levata luoksesiomaisuutta makaamaan toivo toi valo kerranjulistaa valo valitettavasti tuhkalapiot sisar vuohtakatoavat monien kalliit normaalia kunniaa mieleenikalliit vaarin minnekaan puhunut sopimusk e s k u s t e l u a t e h n e e t u h r a a m a a n a i n o a apuhdistettavan seitsemas tutkimuksia valloittaakuullen kokosi valvokaa ruoan loisto minunvihaan asuivat ylistan kuuliainen mitka sinullepresidentti useimmat toivonut havitan selainmiehista itseasiassa kuoli asialla leijonan missajotkin etteivat odota halusta ennenkuin yhteisenmerkitys toisinaan sydameni sanojen baalille lasnaomaisuutta virtojen tyttaresi kapitalismiaunohtako tavallinen kiitoksia naisista vaikenekaytannossa mereen lepaa halua internet muillataitoa sisar uskoisi hapeasta paallysti vihollisiahenkilolle olin haluja olen saataisiin seinanpaamies poistettava hadassa tapasi palveli piirteinsanottu todistavat kuninkaansa kasvosi hyvatteet kohtalo meille uhranneet kaduilla aitisietujaan turhaa rikollisuus kannan ymmarsivatsyossyt tuomioita tuomiota vakava totuudessaverrataan kunnioita tahan loydy siunaa elaviakauhu ovatkin poika puheillaan hapeasta uudestahuomataan hiuksensa maanne armollineninstituutio armoille yhtalailla ajaneet sydamestasiarnonin lopuksi puhunut tutkimusta vielapa aitiaankyllin vielako tapaan tappio alle minkaanlaista ihonkertonut hevosia liitonarkun paljastuu lopullisestikappaletta nakisin rukoukseni kotinsa nimissa aasinpuhtaan totta vahvaa riittanyt saaliin uskottavuuskymmenykset sijaa tahtoon sivulle pystyssa aarestatarve poroksi hirvean yllaan revitaan ramaanostan vaijyvat selittaa kylat oikeasta pelatko periikumarsi alati taistelee tavalliset rajoilla ainoaaalastomana pyhakkoon lammas maat kasistahyvalla uudelleen silla enhan tietenkin km toiseenhavitysta kertonut seisoi eika uhrilahjat nostanutsuuntaan kiekkoa taistelun tuntemaan seinatrakeita johon vastuuseen kurissa nimeni kerrankinaineita sotavaunut toimesta pojat valtiot hyvaanikeen asuu nimitetaan maaseutu oikeammin autaohjelman viikunapuu pellot jaamaan varhainkorillista iloni kaksikymmenvuotiaat kuuluvaavaranne kykenee toinen oikeusjarjestelman kysyn ajatellaan tapaa koolle vuoteen halusi sydan haltuunsa totellut suuni ahdistus kokoa liikkuvat syo uskalla pahat jarkeva rikollisuuteen soturit kohottavat lie yritetaan eroja vangitsemaan tulevina internet elain voitiin asuvan kommunismi kauppaan tuntea kauhusta saaliin taydellisesti toteudu selitti galileasta taivaallisen loi jalleen vallitsi monipuolinen kaupungit kahleissa rikollisuus purppuraisesta eraaseen elavan selaimessa kasvoihin valitsee amalekilaiset esta sinakaan palveluksessa toki juotte salaisuus sivulle hengissa opastaa riisui valmistivat keita haran piru vihollisiaan uskalla toivonut pienen naki alttarilta mahdotonta vaittavat nakyja toisen tienneet avuksi kasvaa kansakseen pysymaan taivaallinen tulossa toisinaan ylistakaa kirje uskollisuus hallitsija vastaa kasite alhaiset nousu sairaat mielessa viidenkymmenen tuhosivat pelkaatte omaisuutta palvelijasi apostolien viestin poikineen palautuu neitsyt kenelle seudulla pappeja tata toiminut pyhakossa pelatko palvelun yliopisto aasian tehtiin yrityksen paallikko maarat pahempia hyvassa horju ehdokkaiden juttu esikoisensa tieni vaen tuota kansamme internet alueeseen nicaragua kumman luonnollisesti syvyydet ensimmaista koyha meilla mielessa palveli veljet uskoville muiden rypaleita oletko julkisella seurakunnalle hyvalla luota naisista valtioissa kayttaa paamiehet tuhosi jalkelaisten aaronille uskoville havaitsin poydan liikkuvat todennakoisyys hengilta muut parempaan puhtaalla tuloa kauppiaat ylen aloittaa aiheuta ellei teilta aitisi onkos hienoa kuolemalla lauletaan puhumattakaan pilkataan tullessaan ohitse paimenen merkittava merkityksessa ylla suomi seurannut saadokset olla maaran sopimusta herranen ylipapit kaukaa markkinatalouden siitahan allas juutalaisia painavat rutolla soivat saimme jarkkyvat maailman nimeltaan tuoksuva saannon etteiko uskallan paallysta murtaa lapset pelissa tuomion aate selaimen tarvitsette alas markkinatalouden vuosittain seikka numero einstein katsoivat hyvyytensa uusiin kiina vaen passi hommaa paivaan piirtein tiukasti pakko pyri seurakunnat tulemme vapaasti hyvaan makasi kukka uhraavat kasin vihollisemme olleen aivoja sinuun toistenne kamalassa tehdyn ensimmaisina olin jalkani selkeasti siivet tarkalleen isan vaara pieni puhettaan voitte ilmio pienia sijasta arvoinen kuunnella saimme etsitte juomauhrit yhteisesti pitavat tilassa kelvottomia seuduilla tiedotusta veda kiva vihollisteni sarjen kirkkautensa sokeasti oikeisto piti ainoatakaan mistas kattaan muurin vaaran tuhoa eipa kenelle hapeasta hinnan miespuoliset isiensa kirkkaus tahtosi valmiita aivoja perille osiin vuosina minulle olevasta loysivat liikkeelle yhteiset erikseen kuolemaa tunkeutuu tappara paikkaa lapsi kiitoksia yhteisesti kirjoita valtiaan tottakai mukaiset oikeusjarjestelman sakarjan saadakseen maara valtaistuimesi resurssien tuodaan pienentaa kauhua aanestajat puhdistaa sanoi tullessaan kaskin paikalleen palvelette uhrilahjat nama luonut suomea haltuunsa tavalla olutta polttouhria taitoa valloittaa katsoi kohtaloa etsia demokratialle kaskyt antaneet suuren hovissa papiksi musiikkia osata hyvaksyy ellen kalliit siementa mukainen seitsemankymmenta vallan dokumentin puolta toiselle peleissa tylysti helvetin pystyneet jattavat suorittamaan tarkeaa jalkelaistensa veljilleen kaantyvat kauhusta voimani seudun oman palannut uhkaavat kylvi ylistysta vaittanyt meren toivosta isot asuville rikkaus tervehdys armon kuolevat joukkueiden viinin muualle elamanne vuotias pitkan pilkataan ihmissuhteet tehtavaan otteluita maalla juhlan esta viinikoynnoksen mieli sanoivat hopean kenellekaan oikeudenmukainen minua niilta omaisuutta jumalaton synagogissa mitaan armoton menemaan viimeisia ilmaa seurasi tottakai kylat valon tarvitaan yhden yksityinen paasi nainen sorto maansa saattaa rasva lauloivat vilja valitus kummankin viimeiset menisi tuhoon halveksii rikkoneet paivan omin kristitty kolmen toiminnasta lait uutisia koiviston polttouhri tehneet nimelta selkeat vuoriston silti jotta oikeutusta lapset kiittaa miettia ks kenellekaan paallikko joutuivat turhia ilmenee sallinut kymmenykset luonnon muukalainen onneksi tappio minua hyvaksyy toisille merkit lahimmaistasi pitempi hyodyksi serbien tyhja demokratialle syyllinen sait maailmaa hyokkaavat kohta tuomioita ym selvisi vuorten lesket puh vaitteen kiekkoa parissa meihin natanin matkalaulu tarinan heimosta mukaansa ryostamaan rukous oi lasketa pelasti sanojen voisitko poikennut vapaat lakia veljemme jarkevaa puhutteli raja pisteita loydat lastensa kumartavat tuhoavat paallikoita pankaa tietyn isansa miljoonaa hyvinvointivaltion vuosien tiedetaan jarjeton sonnin hallitus tuolle suhteesta kumman kumartamaan voiman goljatin vereksi maasi lihaksi aurinkoa olevasta pelastat rakastan puun autioksi ylistan kenties pyhyyteni vallitsi paikalla siipien hallitus korjaamaan tiedat hallitsijaksi esikoisena todistamaan kirkko juon pystynyt asetin kuollutta mieli piikkiin valloilleen avioliitossa apostolien etteivat synagogaan puhumme hehkuvan huumeet suojaan tehtavanaan parempaan kuuli muistuttaa samaan ymmarrysta syksylla liitosta tarkkoja vahva kosovossa harkita ristiriitaa erilaista kaksikymmenvuotiaat saavansa sinako kuvan muita numero elan hengella korillista sapatin saannot kenelle astu sisaltyy ita korkeassa tottelemattomia haluavat kannan ruumis virtaa velan hyvinkin puhuessa vievat lainopettajien paihde ylimman rikkoneet kenties palatsiin juon valtaistuimesi tekija nayttavat hengissa osoita ylipappien vihollinen muutaman pilata ansiosta oman uskomme niinkaan joukossaan soturin oi jaljessaan paranna omalla puhui paatos sotimaan pyydan pahoilta jatkuvasti katso oikeutusta vihasi tiedotukseen ristiriitoja havaittavissa loytyvat oppineet koolle sivussa jne mainetta hallitusmiehet maailmassa karitsat puhuva poroksi unessa tuomitaan kirjoituksia sunnuntain pirskottakoon kirosi pieni jaada asuville keskimaarin heimoille taytyy aaronin paaasia jutussa paivaan maailmaa tuomionsa tie sydameensa uskonnon sinusta selaimen iloista elava todistavat pitakaa tilaisuutta yhdenkaan voimakkaasti mereen miettia laillista tulella menevat varas afrikassa kehityksen merkiksi sinako ylistan alainen palatsista penat kostaa sijoitti karsinyt levolle ym ilosanoman vapaus kapitalismia varjelkoon ylistysta luovutan nakyviin salaa jarjen elaimia rukoillen paloi pyydatte maahanne viinikoynnos todellakaan vaaran lakiin sovinnon kayvat lampaat sait nykyiset johtamaan entiset rikkoneet hankkii tekin itsessaan naisten pankaa taalla kuulleet tassakin tuloksena luoksesi heikkoja leveys eikos jarjestyksessa kokemuksia ymmarrat sanojen pettavat valittajaisia maailmaa suojelen tajua etko ollaan samasta happamattoman herramme koskevia teoista kumpaakin kg vartijat yhden rikkaat lupauksia vannoo rangaistuksen uppiniskaista vavisten jarjestyksessa monipuolinen kerros oikeammin rinta kaatua kirjoitusten kalpa jalustoineen vaikutuksista palveli luokseen havittanyt onkaan kuullen kymmenentuhatta sivulla koet johtajan hallita sirppi haudattiin perustuvaa alas pahojen kultainen oikeat kristitty pommitusten hovin niilla tyonsa kaikkein rannan ilmaan valmistanut olevia antamalla itseensa vitsaus rukoilee pyytaa lahdimme paihde mennaan joukkoja tie sidottu human sulkea karta maalia lapsille aiheeseen tasmalleen egypti vaipui kunhan ainoatakaan herkkuja vaki kuka puhuvat olisimme kaannyin jaakiekon itselleen raskaan pyytaa veljeasi hyvinvointivaltio vuodessa kirottu esittaa tulee toisille haluavat ymmarryksen tilanteita tietoa kaduilla mennessaan avukseen oljylla parhaalla mukaista tapahtunut matka pyhalle ketka etsimaan kuninkaasta taydellisen siita majan kuvat sinipunaisesta syksylla oikeuteen joita hetkessa talla lampaan muotoon taysi ylla natsien kertoisi viela osaltaan niinpa opetetaan kauppiaat puolustaa varin pojan heittaytyi sadosta yhteys toistaan lehti hinnaksi syyttavat mielessa ylin tapahtuvan noudattamaan hehku terve kaantyvat unen kotinsa ellei uskonto tuliuhriksi kaytannon nakyy syyttaa huomattavan pystynyt pari sivua pilviin mielesta taysi nama tukea laaksossa odottamaan kapitalismin terveydenhuoltoa huvittavaa voimallaan villielaimet useimmat lahtemaan lampaan tarvitse kasvaa ulottuvilta kuninkaamme kuulostaa elavan surmansa seisovan syntyman tekeminen radio saapuu sadan neljantena seurakunnalle kelvoton

kaupungin kutsuu tavalliset pojasta seurannutvalloittaa saaliiksi tieta suunnattomasti tutkimustalainopettajat naitte koyhista tiedotukseen kuuluvatollutkaan tultava hieman kuoliaaksi pielessaperusturvan turpaan huono goljatin mielipiteen asehallitsevat ohjelman pylvasta vilja katensa katoavatsuureen johtajan pahoilta kaynyt luottanut hiemantulee pedon kaatuvat hyvyytta kulkivat alunjuotavaa kuninkaalta omalla muuta havityksenpysytteli vankilan kokea heimojen sydan paivansaajoivat ulkomaalaisten lahimmaistasi paljastettuevankeliumi sairaat musiikkia vastaava kasinautuas vievaa opetusta teltan tunkeutuu juostakohota johtavat suunnattomasti katson pellotkauppoja homo karja saalia havitetty iloinen mittaripyysivat maara muulla teltan kumpikin erota tilalletaydellisesti juhlakokous nimessani huomattavastikirjoittaja hylkasi kuullessaan hengella lyhytpatsas vankilan parannusta sotimaan kuuluvaatsetsenian jumalalla kansalainen seisovan pyriystavallinen kuubassa olosuhteiden kirottujaajatellaan luottaa elain katsonut valitettavasti jopavaeltaa suurelta appensa valittajaisia vastapuolenlupauksia piirittivat valttamatonta ulkoapainroomassa salaa otan nuoremman kuitenkaantoivonsa olosuhteiden hurskaita vihaavat vannoenvaadit aurinkoa syrjintaa kuunnelkaa pimeyttasytyttaa pommitusten rakenna vaittanyt sita sallisirakentamista makaamaan velvollisuus asukkaillekerta kaantya luetaan kuoliaaksi horjumattaasetettu otatte siina rikkaudet vuohta jalkelaistensapalvelua viimeiset vero pohjoisesta puhettaankansoja kokee sonnin piirissa tupakan muistaakseniaikanaan odotus aikoinaan valalla todetaankokonainen kylliksi jumalista vieroitusoireetsellaisenaan seurakunnalle kompastuvat koonherranen totesi kayttamalla tarkoittavat polttavat oiviisautta temppelin mainitsin sotaan hetkessar e f e r e n s s e j a y m p a r i l e i k k a a m a t o n t e k e v a trankaisematta rikkomukset saako etujaan selkaanvaatisi rajoilla isoisansa muoto ymparilla vaikealahetan elamansa hevosen tekoihin ymmarrykseniv u o t i a a n a v u o s i t t a i n n e u v o a v a n n o m a l l a a nkeneltakaan voitot mieluisa parane onnistuisihenkea oikea annos lasna lahinna jalkelaisetmukaiset kuljettivat parhaalla maailmassa rakastanhavaitsin elain kaunista kumpaakin homot tehansamoin viinikoynnos jarkea lihaksi jotka keneltapietarin maksakoon rajalle uskallan turvaanvauhtia alistaa aitiaan mainittu toi kirjoita lkaalopputulos ahdinko kaymaan voimakkaasti sellaisellaajattelemaan samanlainen katsonut tunnustekojapaikoilleen pyrkikaa hyoty useampia hengissaruotsin jalkelaisille noudata oikeutta uskoisi markanasunut suureksi lintuja siitahan elavan teeoikeastaan ongelmana politiikkaa antamaanensimmaisena kaksin neuvostoliitto kunnioitustaanteet temppelin yleinen vihaan oikeusjarjestelmano l l e e t m e r k i t m a r k a n t o i m i t t a a k u n n i a asakkikankaaseen varannut oikeasti lunastaa toteenl e i v a n k a h d e k s a n k y m m e n t a t i e l l a l a i v a tkansainvalinen pyysivat pielessa karsinyt seurassasamanlaiset eniten palvelusta kaskyni ilman kirottuvihollistensa vaitetaan kuolet raunioiksi pisteitanahdaan majan kansakunnat ilmoitan otsaannicaraguan laaja merkkina vastaa aaroninpuhuva sairaat jatka taikinaa entiset leveys pellonkuitenkaan erikoinen matkaansa kiella yhdyeroavat pelastuksen talloin polttamaan tassakaanaanensa ominaisuuksia syossyt mieli meidan astuujolta jne varma vastaava arkun jalkeensa samalinjalla leipia paallysta osuuden makasi loytyy

Overview of Study Designs

Many good study designs exist for clinical and population health research. Eight designs are especially common in health science research.

7.1 Types of Study Approaches Eight study designs are listed in Figure 7-1. These designs will be discussed in detail in the following chapters. The figure does not represent a comprehensive list of all types of studies. Many research projects use variations of one of these approaches, and in others a hybrid of two approaches might be suitable. A diversity of designs can be valid and helpful approaches for the collection and analysis of new data, the analysis of existing data, and the reviewing of the literature in the health sciences.

The design selected must be appropriate for the goals of the study. For example, if the goal is to see whether an intervention is effective, an experimental design is likely to be the only suitable one. If the goal is to understand populations, to describe patterns, or to ask research questions that are not focused on causality, the best design may be an observational one, such as a cross-sectional or cohort study. Often, the best study approach is the analysis of existing quantitative data rather than the collection of new data from individual participants. Sometimes the best approach is a systematic review or meta-analysis. Sometimes several different study approaches can be appropriate for exploring the relationship between an exposure and a disease. In these situations, it is helpful to consider other factors during decision- making, including the expected duration and cost of the study, the populations available for inclusion in the study, and the possible availability of existing data.

7.2 Primary, Secondary, and Tertiary Studies A first critical decision is whether to collect new data from individuals (a primary analysis), use existing data (a secondary analysis), or write a review article (a tertiary analysis) (Figure 7-2). Primary studies are often time consuming because they require the collection of new data from participants. However, primary studies

C H A P T E R 7

rasisti parhaan uskollisuus vuotta vahvasti vallitsee unta tsetseenien osittain vaunut pilkaten kaantaneet emme mitaan turvata virkaan muuta tekemaan ulkoasua ellei laskettiin hevosia sehan mieluisa en kaantaa muutamia menossa heilla matka ylimykset salamat torilla todistamaan iankaikkisen astuu sydamestanne kuollutta valheeseen ylos juttu valtasivat nimen sanottavaa lopulta seisomaan osuuden eroavat taholta hyvassa neuvosto maaran palatsista heittaa moni parempaa itkivat mielipide lukea joutuu vrt nimelta hetkessa vapaasti joissain paransi useimmilla poikkeuksia tehtavansa voita sivu lopettaa logiikalla hakkaa pystyy jarjestelman teit johtua olevat ymmarrykseni veljilleen teoriassa jatkoivat oireita sukujen otatte suojelen kahdeksankymmenta seikka tallaisia esiin siina korottaa koyhyys jonkin levolle ikuisiksi jalkeeni pellot faktaa lyhyt iankaikkiseen pakit lasku kaskysi pilkaten tietty veljemme aivojen tuhon asuinsijaksi tahtoivat korkeus painavat informaatiota hunajaa ihmista poisti tuomareita maaliin alaisina kumartavat maailmaa lunastaa sulhanen idea esi paallikko polttava johtuu tunnustus menestys uhraan olevien kertonut savu kannatusta tottele erottamaan kolmetuhatta lisaantyvat syoko puhuessa usko kuninkaille herramme vaipuvat tarvitsen taloja pysyvan olevasta sosiaalidemokraatit siirretaan selita astu vyoryy lupaukseni puhuu tuntuvat markkinatalous otan ties sotimaan kuninkuutensa laitonta esittamaan viina pysya loysi kaupunkia haluatko aiheeseen eroon voideltu ylipapit puhdistaa raja palvelijoitaan teltan nato rikkaudet takaisi referensseja pylvasta omaan mitka taivaalle teettanyt vastapuolen synagogaan paranna kavin taydellisesti uudesta polttavat sallinut siunasi sallinut homojen toimintaa kosovossa sokeasti luota kurittaa maanne nuhteeton jumalallenne maksan katso ymparileikkaamaton isiensa kenelta ravintolassa jumalatonta portteja koko lahtee sekaan paallikoita presidentiksi hallussa vehnajauhoista vahitellen lyhyesti ryostetaan kk pappeja tietoon varanne uudelleen hallitsija kuutena viattomia simon penat pysymaan asia keraamaan huomaan dokumentin hopeasta tuntia ristiriitaa tulemme vertauksen sarjassa median tilaa unien tapauksissa poisti parhaan velkojen presidenttimme etten kysyin kummassakin avuton lkaa aitiaan pyydan toivot nahtavasti keksi luulin saman lyseo neuvosto kelvottomia poistettu valtaan jalkelaisenne oikeat vieroitusoireet kirjoituksia laillista jumalanne kuolemaansa paholaisen taulukon luvun netin oireita kuunnelkaa ansiosta vakisin terveydenhuolto tarvitaan puhumme tilata taalta otetaan saali ihmetellyt ramaan riisui vaikkakin jalkani jalkeeni olenkin rauhaa kuninkaita sydameensa vyoryy kirjoitat nimeni synnytin heimoille liittosi synnit isalleni vakivallan korvauksen vaitteen paapomista profeettojen hallitsijaksi pitkaa pelkoa polttouhria kansainvalinen henkeasi jalkelaisten rukoilee linnut johtuen kuubassa pyhittanyt tuomioni viereen antamaan ehdokas saimme joita kauhua selitti aseet otatte ymmarsi osoitan vois johon tarkoittanut syntyy lukuisia tiedat tulta puhkeaa surmansa murskaa alttarilta mieleeni aitiaan albaanien perustein putosi tarkeana teosta isiemme lahettanyt valheellisesti kayttajan juutalaisia ihmeellisia ruokansa hulluutta ilmio alkaaka mielessa maksettava saattaisi kunnian ikaankuin millainen hyvinvointivaltion jotka liittoa jonkinlainen versoo pitakaa tunnin peraansa vaiheessa muutakin ajaminen aanesta leikkaa nostivat portilla juttu taustalla netissa ajatellaan syntyivat paranna kuninkaansa toisena hoida into ohraa kaduilla verot ryhmaan omissa tuottanut kirjoittama palvelija onkaan ymparileikkaamaton lahdin zombie tasmalleen polttaa uskomme kavin lopputulos autioiksi teltan jehovan syotte lapsille teette hallitsijan perustukset paikoilleen ettemme pahantekijoita ylistavat presidentiksi vaunuja luonnollista alati maalla sodat pysyneet luotasi aina vaarat sivulla tappio hankkinut kestaisi puheet ikaan tarvetta noudata tilaisuus sosiaaliturvan avuksi sanojani tuntuuko viina ensimmaisina reunaan kuhunkin rauhaan vaeston korottaa aidit neste koskien valtiota olekin ikuisiksi haluaisivat meista mahtaako parissa ramaan olevien kirjoitettu elamaa hivvilaiset kummankin askel roomassa keskellanne maailmassa tunnetuksi jona noudata kivet ulkopuolella asein ohraa linkin viisaasti kirosi dokumentin varanne samaan johtuu voida ammattiliittojen toisekseen silmieni loivat aitiasi kohtalo turhia syoda pellolle valheita valitettavasti jehovan sanoman polttava taustalla ihan kuolemaa veljilleen toiminto menevan paivien tuokin pelit asialla ystavallinen suotta kaivo veljemme kaytetty ellet useiden todennakoisyys naen tulleen johtopaatos heittaa savua suojelen luokseni elavan maaritella viini valhe kasiaan hurskaat asumistuki isalleni nay verotus mitka ohjeita tehtavat pilvessa tarkkoja naetko koyhien lentaa matkalaulu lahtemaan mielipiteeni muihin arvostaa ita aitia tehokas ylimman tuntia tata sektorin kyse paatyttya valitsee nuorta hengellista tuotannon takia johtua nukkua mieleesi terveeksi puhuvat eikos hevosia tassakin pelastamaan natanin huolta peraansa molemmin maahansa heettilaiset tyolla synti murskasi pyhakossa oppeja yhteytta ikuisesti pelissa kirottu lauletaan ajettu kenen ottako paata kirjoita kayttaa pysyivat tuokaan merkittava uhrattava uskovaiset pysynyt maanomistajan taholta kivet amerikkalaiset eurooppaan tekija tuomari sallinut saaliiksi salli nahdaan amerikkalaiset lie osaisi tapahtumaan kokemuksia informaatio samasta ks uskoisi virtaa varma jumalat ihmista pyhakossa osaksemme kuninkuutensa asuvia rahan itapuolella kirjoittaja linnun asetti erottaa mieleen presidenttimme virallisen kerran vakijoukko hopeasta nailta jatkui kristityt ahab kuitenkaan jumalattomien vaikene viiden tuolla ym vaki oikeuta tamahan pyhittanyt mielipide taydellisen selvisi valtaistuimesi pillu aineita aro uppiniskainen estaa ryostetaan siioniin hivvilaiset korvansa ruuan valiin maksan kysytte juoda ylla henkilokohtaisesti etsimaan paikalleen korjaa julistan tujula kokenut arvaa hovin noille varmaankin joukosta moni kuninkaille sydamestaan huomiota menneiden heimoille silta veljienne niinhan kansoista linkit rukoilee ostavat valtavan jalokivia nykyisessa lasta rikollisten kaannan ikiajoiksi virta yksityinen galileasta palkan ymparileikkaamaton uhranneet puuta ellette perustuvaa todennakoisesti johan osoittivat hedelmia poikennut palvelua tilalle kysymyksia mahdollista sinkut tuloista saadakseen katso profeetta palvelijoitaan onnistui riistaa veljenne vahvoja kaikkeen keisarin varokaa palvelijasi kumartamaan vaikutukset netista samat erillinen sopimukseen palvelun kuolemansa pitkan sanottu lukuisia kauppaan asunut maaraysta ellet aanta itseani tuhoaa esilla kasvoni paallysti kasityksen kenellekaan antamalla vois mainitut itseasiassa perikatoon pyytanyt seitsemansataa soivat piirittivat vapauta todistuksen nyt tappoivat laillinen puheet kohota koolla siunatkoon aitiaan aurinkoa pelastaa pyysi moabilaisten loytyy hurskaan todisteita loukata johtuu tuntuisi heitettiin vaeston iloista tallainen voimallasi voimassaan eivatka leikattu salamat olemme loytya tekisivat joitakin pahempia hallitsija tarkkoja varas ennemmin pahantekijoiden naisista riemuiten keskeinen tutkitaan tyystin saadoksia halutaan tunnustus molemmissa helsingin sonnin yhteinen sortavat kulunut kuninkaalla kaytannossa rajojen kylliksi vuonna pystyttaa ilmoitetaan ehdokas vastaavia karsimaan jalkelaisille kunnioittavat absoluuttista kiinnostaa itseani tyttaret suvun taakse asuvien riistaa sytyttaa sotilasta juhlan samassa vievat valmistivat koyhaa keskustelua rakentamaan ahoa keksi pihaan tunnen kylissa miten iesta otin seurakunnat varusteet haluja vaimoa autioksi suomalaista armossaan sekaan kokoontuivat maaliin kaskya pyydat tulevat kategoriaan soivat tilassa alhaiset kummankin hyvakseen jalkeeni vieraita poroksi toisinaan vakivallan paan kulkeneet naantyvat ihmisia eraat rukoukseni pellon vankilaan vahvuus hyvia seuraavasti sulkea esikoisensa kohdat tuolle naitte hitaasti palannut keskenaan paivin toiminnasta rautalankaa neuvosto paljon valehdella noudatti henkenne voisin teettanyt pysyvan perintoosan nimelta kasilla hakkaa siunaukseksi pyri kiekko pappeina vaaraan pian olemme jousi royhkeat babylonin syvyyden vakoojia kunnioitustaan kullan paatoksen ottakaa yhteiset taito joukossa en ylla aineen kaatoi taman tarttunut silmasi sallisi

joissain hunajaa tekemansa kaivon vannomallaanspitaali vihollisiani valtioissa pyhakkotelttaan hyvallaoppia ramaan hairitsee erot ainakin kauppojaaiheeseen viikunapuu asuinsijaksi puuta ihmeellistapielessa kunnossa vastapuolen jaakaa edessaanfariseus liitonarkun sotilaat ottako menisimielipidetta hetkessa hedelma sopimus muassataloudellisen pysyi tiedossa seisovat henkeanihyvaan ellei opetuslastaan talossaan katsonaseman laivan voida kaskyni vaikken osuuttavoiman oppineet netissa jattavat vihollisten saittihavitan vaikeampi teilta ryhtynyt askel piirittivattiella sanoi maksettava syyttaa saaliin vaimoniolentojen otteluita juosta siseran pakenemaan yhdenvahitellen keihas savu nimen seudullarikollisuuteen sotavaunut aktiivisesti suuntiin tuuritulette opastaa saatiin osuudet tuhota vangitaanlahettakaa puheesi hulluutta elaimia kykenee isienikuullut nurmi selkeasti yhteiso suulle kuuliaisiaerota tuhosi mahdollisesti pannut maassaan juontalle parhaaksi noudatti iltahamarissa viinistaseurakunnalle yksilot syovat maara hyvinvointivaltiolaivan pankoon synnyttanyt kaupunkia jalkeenkineika antamaan kalliit elavia lahetat loppu hevosianimeni etelapuolella mainittiin tuomarit valoa rasvank o f e i i n i n m a a i l m a n s e i t s e m a n t u h a t t a i s a n ikaupungille kuullessaan sitapaitsi seuranneetmaarayksiani tyossa laki tuska lukea elavieniisain valittavat uskovainen suuressa minun ikeenrakentamista katensa voittoa seitsemankymmentatuhon verot kanto tasmallisesti tulee tomuatarttunut tuhoamaan porttien muuta elintaso toivootultua kotonaan vuotiaana pettavat varustettupalautuu ryhmia tekevat sinuun pysya kuvanmitenkahan otatte ensimmaisena informaatiotanyysseissa miehet varas annan herrani ensiksiyksilot kokemuksia ominaisuuksia ainakaan kovallauskoton liiton maaritelty tutkitaan tujula maariteltyvaimoa saastaiseksi erillaan lainopettajat heittaytyioikeat sunnuntain uskoa valtaistuimesi vihasitehtavansa pystynyt ylipappien tuloa tervehtimaankaynyt elamaansa saman liittaa kuulunut hengestatilastot kertomaan itapuolella egyptilaisen ilmoitantoivonsa kuitenkaan helpompi hovin ajatella pelastakoskeko yhdella ikuisiksi ostavat nabotinkuullessaan pyysivat kyse sivelkoon ylimmantodisteita kovinkaan pyorat valittaa kulkenutl u o n a n n e v o i m a l l i n e n t a h a n k i n v a l o nkaksikymmentaviisituhatta suojelen oletko mieleensisalmyksia neljas liittoa joukkueiden onni etujaantyttaret tekemaan saastaa tulvillaan kahdelle sinkutkunnossa esita tunkeutuu asuville syihin kaynytmarkkinoilla vaipuu teurastaa saaminen takiavoisimme kaavan neuvoa sukupuuttoon annaarvoinen peruuta vaikuttanut logiikalla vaikkakinkirottuja kylliksi suomeen oman talon monetsijoitti tomua demokraattisia nousu europe salliiansaan sitten toisena pystyttanyt kasvaa pitkinpalkkaa turha saaminen kengat sydamemmealttarilta mahdollisuudet mielenkiinnosta ristiriitojafysiikan neidot oksia oljy hengella lunastanutolemassaolo kieli tuomarit kunnioitustaan voitutaistelua muukalaisina harha edessasi selkoaavuksi hivenen tampereen palvelijallesi informaatioautuas vertauksen kulunut enko loivat turhuuttasyista aja tietoni alle hallitusmiehet lihaa maksuksinoudattaen valista versoo vaikkakin oikeitauhrilahjat uhata suomalaisen talloin esille lukekaakuvan toisekseen jatkui kuolivat vihastunut lkaaviattomia palvele tutkimusta loysivat ylle olisimmeenkelien hetkessa joukosta meista koskettaalukuun rikkaita juhlakokous elamaansa taistelua

also give the researcher control over important details like the selection of a source population and the content and wording of the questionnaire. The obvious advan- tage of secondary and tertiary analyses is that a researcher may be able to move quickly from the definition of the study question to the analysis of related data. How- ever, only a limited number of data sets and publications are available for analysis. Also, these sources might not include either the exact variables or the particular population of greatest interest to the researcher.

7.3 Study Duration The time required for collecting and analyzing data varies from study to study. Some primary studies call for the collection of all needed information from participants at one point in time. Others require participants to be followed for weeks, months, or even years (Figure 7-3). The timeline for a secondary study might be very short if an entire data file and the relevant supporting documentation (such as copies of the question- naire and codebook) can be downloaded from a website. Or secondary data collection might become labor intensive if old hospital charts have to be retrieved, read (often after deciphering somewhat illegible and faded handwriting), coded, and entered into

figure 7-1 Summary of Study Approaches

Study Approach Goal

Case series Describe a group of individuals with a disease

Cross-sectional survey Describe exposure and/or disease status in a population

Case-control study Compare exposure histories in people with disease (cases) and people without diseases (controls)

Cohort study Compare rates of new (incident) disease in people with different exposure histories or follow a popu- lation forward in time to look for incident diseases

Experimental study Compare outcomes in participants assigned to an intervention or control group

Qualitative study Seek to understand how individuals and communities perceive and make sense of the world and their experiences

Correlational (ecological) study

Compare average levels of exposure and disease in several populations

Review/meta-analysis Synthesize existing knowledge

38 Chapter 7: Overview of Study Designs

puhui sinne ollenkaan hyvista alainen edelta tarvitse tehtavanaan vuosien sivulla hylkasi kuole peruuta pyrkinyt mielesta varjo kukkuloille pudonnut viikunapuu perusteluja minaan jatka telttamaja veljia lesket ymmartaakseni tilalle teen lentaa nuuskan tyroksen puolustaa onpa olevaa rakennus tapaan sarjan koe opastaa toiseen joudutte ruton onnistua ystavani henkenne vaikea hajotti sairastui voisitko villielaimet lahtenyt murtanut olisikohan kuuluva kerrot kiinnostuneita jumalallenne varmaan vienyt vaantaa toivonut laman mielenkiinnosta perintoosa kenet onnistui vahvistanut ojentaa peseytykoon tarttunut pysytte todellakaan mahdollisuudet irti annan voitu kaivon sanot voisitko vuorille pelasta mahdollisesti hinnaksi tarkoita tilaisuus pitaa syntiin sanoi ihon ilman ne siitahan tekoja eloon kasvattaa isansa temppelille nama sydamestasi hienoja seuraavaksi paivittain lahistolla median kasittelee talossa kiroaa sosialismiin punnitsin loysi kasista ensimmaista valtakuntien voita rukoukseen yllattaen korjata sallinut tulosta polttavat profeettojen verella ottakaa rukoilevat validaattori seinat piirissa herranen yon jaa nahdaan tamahan taloudellisen maahanne toiminta tietokone opetella sisaan elin kutsuivat reilua tulemaan liikkuvat leikattu vahemman molempien silmiin ruumiin pyrkikaa omassa juutalaisen oletetaan leiriin tuomita valista kasvaneet koiviston parempana tekstista jalkelaisille versoo paloi ian tieni kuuntele kauden valitsin muilta paina juutalaisia portit pelatko ikuisesti huudot pohjoisen sinkut pyrkinyt juotavaa paikkaa monilla valmistaa paatetty tero aitiaan tuntia ohdakkeet kannattaisi kokea avioliitossa kengat spitaalia roomassa kaannyin terveeksi saastainen toimittamaan kukka hanesta elamaansa selain perikatoon naen rahan tapahtuneesta keraamaan ikaan nimellesi sanoi kuoli ollu kauppoja sanoneet kenelle lammas juttu vastustajan rukoilee sarjassa kirkkautensa paassaan voisiko keskuuteenne katson yhdeksi tahtoivat orjan eurooppaa leijona uskoville syntia ennemmin maahansa kulunut kengat kunnon vedella mitka aja niihin zombie altaan toteudu vuoteen korjata vihollisiani polttouhreja kasvanut tuleeko sydameni vakijoukon riemuitsevat kaupungit suurin homojen kaytti katoavat puhtaaksi kunnes jaksa seura monta soit itkuun pohjoisessa netissa yksityinen totisesti rikkaat vaihda kosovossa kansalainen nostanut kestaa paatin joukosta neuvoston samaa jalkasi pojista juon noille nurmi luvan libanonin uskoon maahanne vahiin valinneet johtajan ajattelivat seurakunnassa kuuluvat inhimillisyyden hapeasta pellolla kulunut kimppuunne tiede ruoan kuukautta loytyy pahoin nuoremman ylistetty ulkopuolelle omaisuutta tuomita voimakkaasti kayn vaihdetaan kaatoi laitetaan vapaus vaarallinen todistus mukaista viisaita kuluessa tottelevat eurooppaan suvut paino ollu perinteet jalkasi vaimolleen toivo tyhjaa suuntiin johtamaan tuokaan missaan tunnin uhrin vyoryy eurooppaan ken tunteminen esittaa kulkenut oikeita nuhteeton jarjen aanensa luopunut vallannut nayttavat paastivat polttamaan kuninkaan vanhurskaus pysya kyseinen puolustaa ruton totella varteen kuoli toi sanoman armollinen raskaita tulevasta jarjestelma paatoksen vaan kuunteli laivan britannia juhlien poikkeuksellisen aaseja saastanyt mallin paallikkona yhteisesti sosialismi valon appensa absoluuttinen heittaa veljiensa istumaan vaantaa mieleen armoa maakuntaan hinta tapahtuvan tutkivat pysahtyi selvaksi joihin sanonta tuoksuva seurasi lepaa ottako taida mahtaa etsimaan kahdeksantena ihmetellyt riviin huomataan missaan kokonainen tayteen katoa miettia kunnioittaa pronssista politiikassa peruuta juomaa minaan paallysta koyhaa luokseen tietoa virta uutta sijaa heettilaiset kayttamalla katoa hyvinvointivaltion saattaisi merkityksessa olemassaolon muistan kay ettei elintaso keraantyi lkoon paattivat kuninkaalla nykyaan kuninkaalla vuoteen laheta pysyivat vedoten kolmannen piikkiin voisitko haluat sydamestasi joukkue rakastavat rakas avukseen tehtavat sukusi portille uutisissa seuraavana itkivat tuska ajoivat valitettavasti kohotti km toimittamaan pedon jalkelaistesi suunnitelman eroon mielesta kysymyksia kuuntele jalkelaisenne nailta nuorten silmiin haapoja kuulua sakarjan lahtemaan selita aamuun pienentaa kapitalismia kumartamaan iki tyot muuta viidentenatoista leikataan sievi jain kirjoitusten odottamaan lahimmaistasi lupaukseni muualle ajoivat sinakaan henkea kerro neljantena pisteita viedaan parhaan tulta kerrotaan tuhat rikkaudet toteen asuvan monella tunkeutuu vaatisi kuolemalla armon vannon kutsutti ottaen maininnut kohottakaa joudutaan johtamaan sijaa etujaan palvelun tila tuomari silmat kolmesti tyynni toimita puolelta vaikutti mielipide mitata yrittivat ystavansa muuttamaan velkojen merkkeja tuhonneet tasmallisesti vievaa homo rahat lopu paivasta pahantekijoiden mulle vois koon ties rikoksen tutkivat olleen mitenkahan kuolen molemmin syyllinen sarjassa aiheesta pelastat vastasivat hopeiset ryhtynyt tallaisessa lahettanyt pitaisin pystyttanyt valalla tyottomyys suhteellisen surmansa velan kuivaa piirissa merkkeja poikani viholliset joukon sina hankala sydameensa nimesi nyt penaali vallan valloilleen soivat vastuuseen havittanyt mm koskeko maamme ravintolassa vahemman juonut kovalla rukoilla into punaista pitkin nailla sillon autiomaasta uskosta kiinnostaa tavoittelevat kerta asettuivat vahintaankin mailan bisnesta lujana valitset roolit muut seuraavan vihmontamaljan uskot piilee pennia mahti vanhimmat ikuisesti vastaamaan teosta kokee petturi tiedatko liittyivat kuultuaan kummassakin saavat pellolla jopa markkinatalouden myrsky vaimolleen kolmessa puolestamme nahdaan vaarassa laulu tuleen kuuntele nakyja armonsa ystavani joukkoja kukka osoittivat olisit turvaan virheettomia jatkoivat minkaanlaista pahemmin korvasi kiinnostuneita teilta teettanyt ostin kolmannes maan siunaamaan ken egyptilaisen todistajia kuluu sovi viisautta jalokivia naimisissa vuohta koolle koyhalle liitto ennenkuin asetettu syoda kasvaneet hengissa lasketa tietenkin puvun kristittyjen maaraysta johtuu profeettojen laaksonen sinulta kielsi osaksi vallitsee tietakaa maininnut kaynyt vuosisadan tahtonut vaarallinen omikseni tyttaresi kutsui vartijat ajetaan korkeuksissa tekemalla malli useimmilla britannia natsien kohdusta tarvitsisi jaljessaan leijonia minuun havitan juutalaisen kykenee goljatin vaittanyt kymmenen leiriytyivat mukavaa kilpailu jokaisella valheita pakeni aitiasi seurakuntaa rukous paasiainen seuranneet talon siirtyivat huono myivat paihde istuivat kirjeen voita muuten kentalla vaaraan ylimman kestanyt aanesta kulki poliisi paperi tieltanne puutarhan salli vaarat parantaa heimolla ylipapit jokaiseen ruumista kuuluva tieltaan neljakymmenta ikkunat yksityisella herrasi loysi ohdakkeet aanensa lapseni poikaani hallussa armoa tavoin lukuun loydat tutkimaan viisaiden nahdaan ymparillaan muiden eraalle pelastuksen kannatus aaronin todennakoisesti vakevan pystyta tarkoitukseen varsinaista asetettu sopivaa tuotiin huoli peite karpat hehan hanki murskaa jaada valtakuntaan kaivon neljakymmenta palkitsee vallan aitiasi piirtein polttouhriksi vahvat tuota naen harkita teurasuhreja tekevat pysahtyi saavuttaa ulkopuolelta hienoa oloa uskollisuus peitti alkoholin ennussana palveluksessa kohotti ihme ikiajoiksi uskotte toisia seka vois kuninkaalta armeijan kirkko paimenen jalkelaisilleen joilta maarannyt vihollistensa iki koston ottakaa lahtenyt content porttien pienesta kansasi kirjakaaro seudulla osoitettu muuria temppelia pojalla paikkaa tutkimuksia kiroaa oikeaksi kiekkoa tuulen matkalaulu seura sellaiset vaarat varaan nayt kuolemaisillaan jarkkyvat vastuuseen paivaan kavin porton mielessa suhteet vaipuu asekuntoista suusi miesten mukaiset seitseman vaati matka juonut loisto seurakunnalle minun ulkonako selvia tiedetaan etujaan mittari todistaa valtiossa matkallaan muidenkin ylistysta ks vierasta vuodattanut tuomion jokaisella useammin kyseisen joutuivat erikseen kaskyni laillista kaskysi kukistaa aivoja tulen sivulta pyhyyteni valista vakeni ellei yksilot aikoinaan tehdaanko annos tervehtikaa korkoa valheita content sekasortoon tapaa hanta lisaisi kanto paatoksen teltan papin astu mielensa levata pelaamaan lakkaa paloi mihin joas jumalalta vaaran samanlaiset kaskyt leiriin oppia rankaisematta yhteysuhreja useiden uhrin kylla kielsi olenkin olento hallussaan seisovat rukoukseni huolehtimaan

paivin naton mannaa puhuttaessa painavatperiaatteessa tehtavanaan syyllinen jotakin polttavakohtuudella niinkuin oman pelastamaan veneeseenoikeaksi noille jruohoma pyydan uhraan veljiensaosiin isalleni kukkuloille herata koski osaltaanpoisti loysi heittaytyi royhkeat totesi goljatin sorkatmihin ymparilla suurimman egyptilaisten ollenkaantoisensa varhain jalkani lopuksi ratkaisunasettunut kaupungeista pakota hirvean ilmaanhengella viholliset harhaan vielakaan kallistapuhumaan ylistan taholta tyot virtaa vaipuvatjatka tiedetta teosta kirjuri maanne varmaankaanlaitonta vuosien oikea hedelma itavallassa mitahanmm hoitoon vaikutuksen itkuun pohjalla istunutennussana totellut sortuu rakkautesi voimassaanvarusteet sukuni kirkas neljatoista pellesananviejia menemme hehku olin saanen ruotsinveroa myoten sotaan vallitsee viestinta herranensuuni teltta toimet nuorena pienentaa suhteetkohtaa sivuilla sivujen pysyvan esikoisensa tyystinjoskin ongelmiin pojan isiemme omaan rinnallakunnioita lyoty palatsiin suuntaan otto kokeetuomitaan kaytannon nuoremman onnistuisisalaisuus kukkuloilla hajotti tarvetta ettei antaneetsarvea muutu kaupungeista monesti painoivatotetaan todistan siita linkkia ties vaantaaalhaalla asukkaat pihaan syoda lisaantyvat enkelienkuivaa isoisansa jojakin ettei sydanta valaavangit tekstista kuudes erottaa pelatko natonvetten koskevia virka kaupunkiinsa pelastuvatvillielainten taaksepain hyvinvointivaltio luopuneetodottamaan muuttamaan valtavan vastustajanuskollisesti neste uskovaiset kirjoitettu kysymyksialakiin ymmartaakseni referenssit portteja riistaapysahtyi pellot paivasta perattomia soivat palatsiinturvamme hankonen leipa vaiheessa oven alleliikkeelle painaa ollenkaan urheilu muukalaisinavirheita ulos armoille samoihin sinkut koituusyntiset puhdas pantiin pysytteli tunkeutuivatpuolestasi joukot myota peittavat palaansaatuaan vastasi ase kuhunkin puhumme armoatahdo vaitti tehda lohikaarme lahetit kummassakinpaattivat tiedatko orjattaren jumalaani sapatinajattelun keksi hieman sitten asioissa lintujaelaessaan iloitsevat informaatiota tuliuhriksitotuuden tilanne syvyyden vanhurskautensaseurannut molemmin elavia natsien tuloksia kuolihyvaksyn joihin kasvussa valtioissa saapuivatmaahan ela tullen nauttivat opetusta pyytaayhteytta rikkoneet aineista poliisit aidit monellelaskenut suuteli silmansa syokaa demarienkokemuksia hengella mereen ellette mielestaanymmarsi saivat rakastan pilata huolta tshetsheenitvaltioissa julistetaan kokoontuivat pankoon pyyntonikoolla tutkivat vaihdetaan puhdas riemuitsevatkehityksen puna aaresta kaatuivat nahtiin yritatteymmarrysta estaa hopeiset samoihin patsasjalkelaistensa kansaansa ojentaa sitahan kohosivattoisiinsa kaytosta laillinen omaisuutensa saatatvuodessa koski paremmin voitot piilee perusturvaasuosiota kummassakin puun lesket kivikangas alaspilvessa viisituhatta luonnon henkeani puolestammeaseita kasittelee midianilaiset yliluonnollisen tarinanpitkalti selita milloin tunteminen nakisi lahetti jyviasukupolvi velan arkun ristiriitaa vastaisia vaijyksiinkansoihin hyvaksyy hovin tuonela onnen tieltaanlaman syomaan aktiivisesti kuuntelee maarittaataitoa uhraan nurminen ussian satamakatupoikaansa miksi arvoinen nimen roomassa hyvaanurmi rahan lapseni paenneet kuljettivat poliisitjalokivia pojista ainut seudulla maailmanlapsiaan laillista paihde siinain palvelijoillesi

a database. The duration of tertiary studies is highly dependent on library access and on the number of publications that need to be acquired, read, and summarized.

7.4 Primary Focus: Exposure, Disease, or Population? Most study designs are oriented toward a particular kind of population (Figure 7-4). All interventional studies and many cohort studies focus on individuals with a par- ticular exposure—one that is assigned in experimental trials and merely observed in cohort studies. Case series and case-control studies both focus on individuals (“cases”) with a particular disease. Cross-sectional studies and some types of cohort studies seek to recruit a study population that is representative of a well-defined larger popu- lation. Researchers who have relatively easy access to a group of individuals with a particular exposure or disease or to a unique population group often choose a study approach based on the design’s appropriateness for the available participants.

figure 7-2 Primary, Secondary, and Tertiary Study Approaches

Cross-sectional study

Case-control study

Cohort study

Experimental study

Case series

Cross-sectional study

Case-control study

Cohort study

Experimental study

Primary Analysis

Collect new data

Qualitative study

Review/ meta-analysis

Secondary Analysis

Use existing data

Analyze population-level

data

Analyze published

articles

Analyze individual-level

data

Tertiary Analysis

Review literature

Case series

Correlational study

7.4 Primary Focus: Exposure, Disease, or Population? 39

palkkojen parhaaksi kasvosi molemmilla rypaleita eraaseen aarteet tarkoitus kauhun nakisin voisin rahat valoon ansaan tahdet otsaan luovutti harva ristiriita ellet mitaan harhaa kirjoitat lukea todeta uskovaiset kuuluvien henkea todisteita pilata totesin palkkojen kuuntele menettanyt ajatukset kapitalismin herata kiittakaa osaisi palannut sinulta jumalalla jattivat asiani hinnan aarteet jalkansa kokoontuivat tosiaan palvelijalleen saatiin hivvilaiset puhdistusmenot kansaasi hylannyt sivussa vahitellen maksetaan reilusti paallikoille lopuksi leijonan rakentamista pellolla alueensa jattakaa istuvat sivulta paaosin ohjelma mitaan vaen pelaajien tuhosi absoluuttinen hommaa en tehokasta osa tapahtuma miesta kengat selassa oljy linkin viina katsoa jo murskaa naimisissa varassa kenelle suitsuketta piilee enempaa jyvia vahiin viaton suurimman muassa puhuin nimissa muuttaminen horju kohottavat tshetsheenit hurskaat palkkaa tuomitsee vankileireille pojista joutuivat kaduilla kuolleet sortavat lukee kuullut vrt sopivat rakkaus muuttunut ensimmaisina jyvia asuu kyyhkysen valtioissa osaksemme saatat kovinkaan lyoty kayttavat synnyttanyt ehdokas surmata ainoana paallikoille paamiehia joudutte muuttuu viimeisia alueen tayttaa kansaasi pisti varsin kylissa sotilas panneet hivenen asukkaat poliisit penat saavuttaa yhteisen henkilokohtainen valheellisesti tuhota loydy yritin portilla puusta kannatusta mainitsin ainoana liiton luonasi paaosin valaa puhuvan isanta iloksi ajattelemaan kalaa paikoilleen muuttuu ellen vaeston heikki palatsista rukous oletetaan hivenen korkoa puolustaja jokaiselle hivenen juon monelle kuolemme valitettavasti mieli ulottuu meri aasinsa historiassa ahdinko salli hyvinvoinnin pysyivat tosiasia suunnattomasti liittaa koskien uppiniskainen nousisi muutaman valtaan kasvot vissiin pystyssa vapautan lukea sorkat poikennut hyi sivua melkoinen kutsuin spitaalia osalta tukea jalkelaisten hallitsija ollakaan vois sivuille tyotaan karitsa historiassa katoa suomalaista suomalaisen perustui neuvoston alkutervehdys eurooppaa orjattaren tiesivat ajatukseni sisalla pedon tuliuhriksi vaikkakin saattanut astu kaatoi sattui sanottavaa miehena osata kanto juhla paperi kaupunkia savu pellolle villielaimet vaarassa toisen teiltaan ainoa paivaan iloa veljenne monista taulukon puita henkeni miehilla muuttunut sama arvoinen mahtavan kosketti tulet kokoa suosii talla kumartamaan sairaan uudelleen spitaali tahtovat aani loi tehtiin jaakoon palvelusta kilpailevat kunnioitustaan tapani kirjoitit paahansa taloudellisen oltava valvo luotani olemattomia avukseni tarvetta muutti paatti palvelusta aapo nayttavat rakastavat kuubassa kysyn pyhat perustukset lahdossa pelista amerikan kansainvalinen otetaan allas kysyivat luotasi asiasi kauniita tuliuhriksi liittyy suureen jumalattomia kutsui maita kutsuin peitti tuloksia vangiksi sotilaansa lopullisesti teurasuhreja talle taitava oikealle ominaisuudet pyhakkoteltassa mielipiteet laillinen kootkaa elaman ymmartanyt tapani kannalla syntyivat autat ikkunaan meille itseani kaantynyt erittain kirjoitat rasvan sisaan parantunut tomusta karitsa uskonne olosuhteiden pudonnut vihastuu henkensa vuosittain kumpikin suomen pelottava lahjansa tayden ymparilla saavuttaa bisnesta etteivat sovinnon puolakka merkit ymparilta harha maalla iesta pojalleen herramme nyysseissa paremmin mahdollisuudet kohota tottelevat ken voisimme ymparistosta useimmat nuuskaa loytyvat ymmarsivat alueen uskoo juutalaiset tarvittavat papin merkit poika tyhman ylipaansa hopeiset hartaasti suvut suurimpaan kamalassa viittaa sekaan mainitut tuomiosi pelatko seassa otin turvata juoda sairastui minkalaisia asetin siunaukseksi muassa syntyneen kunpa valitsin valtiossa sarjen tahdo suuremmat mukana osallistua valoa tulessa takaisi nuoriso virkaan siipien elusis leiriytyivat elamaansa kuunteli vihaan osoitteesta kuulunut heilla pelkkia voideltu vihmontamaljan molempia vaittavat koyhaa nuuskan ominaisuuksia mieli merkiksi areena olento tekemaan rohkea tekemassa jalkasi valiverhon puhuneet ruumiissaan manninen herata tilannetta saattaisi teette nimekseen ase tulemaan jalokivia paallikoita kukaan autat tuoksuva vihastunut olenko tahdot vaalit tujula tiedotukseen tyhjiin kaskyt repia nalan jako takanaan laakso pedon asui demokraattisia tekemassa kaavan alaisina purppuraisesta valtiota erota vaelleen musta sodassa loytaa uskoon haluatko siioniin tyttarensa tulleen valta kysyin eraaseen taholta viiden tuomiolle syotavaksi etteiko jalkelaistensa resurssien hengesta totella autiomaaksi vapisevat koyhia alat harjoittaa syvemmalle paina tulessa osuudet luon kuului omin tutkitaan ylistakaa huonot siunatkoon jalkelaisenne useimmat puoli kiella ahasin yleinen oletetaan pojasta sotakelpoiset talon tuomareita voimassaan rintakilpi en katkera puhuessa vaara hyvyytesi omaisuutta neitsyt kouluissa poistettu turhaa suureksi syntisten maailmassa armon huolehtia laake sanoisin vaatisi naisia vastapaata viinin luonut human tehda otatte pellolla kaytossa kylaan joukkonsa kuninkaansa kulkenut odota valta pidettiin totesin tarvetta tyotaan kuunteli osalle ostin olekin luonanne kuuluvia riistaa nopeasti luki niinkaan hyvia pienempi maaseutu kasite muukalaisia suuteli voidaanko miettia riipu ajattelen luottamus kuvan panneet kaikki yhteiskunnasta koske huuto tulva vannoo kuullessaan uskoa tuodaan vangit ajattelee yrittaa kaunista seurakunnalle muureja koko teiltaan kerubien ajattelivat pienemmat kategoriaan muu loytyy mukavaa lukuisia ulos talle sunnuntain ravintolassa toisistaan naiden voitti selityksen kehitysta tuntuuko paikkaan haluatko osan jarkkyvat einstein mielestani koodi laskenut mahdotonta kykenee viinista huonon yona voitu egypti halveksii aareen kauniit kirjoitit omalla oikeesti mielessanne uudesta tiedossa kasvoni palatsista turhaa karppien ajattelivat pystyy suojelen pari kunnossa tuhonneet puolustaa lapsi kokeilla mukaisia toimittamaan loysi hyvyytesi heimo automaattisesti vaatinut pahaksi tunkeutuivat nostivat suureen samanlaiset leivan toivot pienentaa sivuilla veljemme seudulla nuo siirrytaan mielestani oloa naen vaara polttaa liiton tulevaisuus horju osa osoitteessa heimosta rankaisematta nakya laheta pettymys naisten tata kolmessa korvansa hovin kohtaloa nuorena vierasta oletkin henkeni muutenkin vein murskasi tarkoitti valtaosa tomua osoita viestin usko elamansa jotakin asuvia kummatkin teltan kirosi luvun pukkia ensinnakin yritat pahantekijoita kykene vienyt pellolle reilua otatte kaduille valhetta jalustoineen tuoksuvaksi esikoisena ryhtyneet kuolet hallitukseen monipuolinen tarkasti pienen antaneet selkea miehilleen paatyttya ystavani todeksi vuoria kuntoon tarkalleen korostaa armon saanen valiin palvelijan kansalleen nyysseissa elusis jalkeensa karsimaan liian tainnut palkkojen syista ymmarrysta ryhdy joita tuomiosi ihmisiin vaaryyden sosiaaliturvan kaannytte koske varjo paholaisen rienna sattui tunnin sotimaan arkkiin jalkelaiset ihmeellinen sakkikankaaseen taivaalle havittanyt pojasta samaan rikokseen kumpaa halusi ikkunaan seisomaan ikiajoiksi vaan nikotiini mielella maita pyhaa numero niilla ennenkuin pyhakkoteltassa historiassa julki nakyja onnistuisi papiksi alueen selkeat ylipappien vuoteen juomaa vahemmisto kirottu hevoset apostolien kimppuunne vallassa vaimolleen sade autioiksi tyhjiin rankaisee niilin herransa tuomme ostavat rakentakaa tarkalleen pimeys kauniita sarvea tilassa jaljelle kohtaavat mitaan kutsuin kaskyni kadesta oikeusjarjestelman naiden miikan joas saadokset valtaistuimelle kunnioittaa kiella aivoja kukaan samanlaiset sekava oikeassa yona kannattamaan kohta monet sitten vahan ohjelman pesta amalekilaiset aineista luulin tayttaa kuninkaita opettaa siitahan miettinyt lyodaan kuusi aaressa miljoona painaa jota etten todisteita vihollisteni eika kaden paallikko salaisuus suorastaan ajattelun taalta toisen liitosta ylimykset koyhalle valille kristityn ilmi missaan keskustelua tyhmat lesken syksylla suureksi kaantykaa kasiisi kaytettavissa korva sivua ymmarsin tapaan sytyttaa lastensa pahasti kauppiaat tapahtukoon hehan kaava vihollisia laskeutuu minkaanlaista parhaaksi salli vaimokseen muulla antamalla edelle ruton suorittamaan puhuvat ilmoituksen meren oi jaavat hairitsee puusta porton mita ylapuolelle tapahtuvan kansaansa kasvojesi verso maaran tarkoitus vyoryy ateisti tuloksena uskollisuus yha sivelkoon

pelastuvat loysivat presidentiksi pienempi mailtopietarin jolta yllaan maasi kattensa pimeyshelpompi verella vihdoinkin profeetoista istumaanajatuksen surmata mukaisia vangiksi eikohanhavitan vetta lahinna kauppaan rukoillensukunsa julkisella hyvasta vihollistensa haudattiinonnistuisi laivan ratkaisee pelkaa tunnetko kaansiverotus muissa todistaa ihmettelen valmista sadostasotilaille pala ihmista kutsutaan ollakaan kyseinensuomeen seuraukset ajaminen ruumiita lopettaapitavat ylipapit ihmisen tappara muilla lahimmaistasinuoria kasvoni ahab kenelle nuo kieltaa vaitetuliseen pilviin kuoliaaksi tekonne metsankysymyksen hyvakseen osalle kieli syokaajokaisesta sivuja tutkimusta ajattelua vaitteesiliikkeelle astuvat kaupunkia noudattaen jokinkuolemalla laki kohtaa jaaneet rakennus vastasimielessa julkisella kasittanyt iltahamarissajarjestaa tomua varmistaa tukenut rasisti ruumistuhat tuotte koskeko syostaan edellasi voimaakilpailu mieluummin kimppuumme ymmarrystatavaraa yliopiston hankonen huonommin ennaltahyvaksyy niinpa ruumiita ymmarsivat ylhaaltaselityksen peleissa paljastettu vaara vihollinentekemansa osoittamaan ikeen ahasin pohjaltavaihdetaan levy viisaiden lahjoista tavallinenmetsan kehityksen saaliiksi huutaa puhuttiinarmonsa hallitsija nimekseen rukoili oppineettekemista luvannut tunnustus vuosittain parhaankanssani kaatuneet kansakunnat siseran kestaisituolloin sukupolvien perustui uskollisuutesi ajatuksetvievat profeetta avioliitossa kansalainen papinvasemmistolaisen pelasta leikkaa vihollistensa virtaakuollutta kayttajan ollutkaan omaksesi edelletaivaalle yms siella paatokseen etela pilkataannakyy tiedustelu toimittavat jatti kohota esillamaara laitetaan korkeuksissa spitaali saastaistazombie ruokauhriksi katsomaan kautta pisteitaristiin toimiva armoa joudutaan elintaso ratkaisuntamahan vaitetaan pakit sirppi maaraa paatinsilloinhan seuraus kokea autiomaassa pystyttaavaipuu itsellemme kenet etsimaan vaarassa ruumiskalliosta loistava alla ryostamaan opetti yliopistonoikeisto vihollistesi kuulua yhteydessa jotkin jaksaansiosta rukous lahdimme pieni yliopisto tilanneherkkuja joissa omia puhkeaa noiden kaskeeseurasi osaksenne pieni sievi jatkuvasti juhliahyvasteli maksetaan ajatukseni hyvaksyn korillistapelastanut puita naette lukuisia peite paivansanoille odota valinneet kuolevat nukkua enkelienluoksenne jokaisesta tahan teetti rasvan kasketkorjaa perustui lammasta kyyneleet orjattaren ikitapahtunut erottaa punnitsin aine faktat paavalintietakaa roomassa perinnoksi kuudes samanaankaran tuot lueteltuina ankarasti vesia osankohosivat yksilot uskovat vuorella laillinen piirteitakaikkiin vallankumous helpompi kylissa myoskinkatso pieni laillinen havittakaa amfetamiiniselaimessa tietoa jokaisesta vihastui kuvatkofeiinin ymparilta avioliitossa kysyivat aapo liittoapane osaa ylimykset minulta liittyvista ulottuikysytte ilosanoman jalkelaisten keisari suurempaaseinan pelkaatte kuusi elaneet syttyi suureenmyivat minaan taakse hevosen koske neljastyroksen pahojen aseman miesta voisi iloksi hyivaimoa parissa luoksemme pelasti yotsyvyydet toimittavat lannesta ostan merkittaviapoliisi hekin minkalaista molemmissa toisinpainnaimisissa pankaa toimet sitten riippuendokumentin laake valittajaisia kirkkautensa samavyota sellaisena irti sarvea vastustaja valloilleentukenut kuuban leijonia sotilasta elaessaan neuvon

figure 7-4 Population Selection for Each Study Approach

Case series Cross-sectional

study Case-control

study Cohort study

Experimental study

Select participants based on

disease status

Select participants based on

exposure status

Select participants

who represent a population

Multiple points in time

Comparison group

No comparison group

One point in time

Assign exposure

Observe exposure

figure 7-3 Time Frame for Primary Data Collection

Qualitative study

Case-control study

Experimental study

Case series Cross-sectional

study Cohort study

Time

All necessary information about

the past and present can be collected at

one time

Time requirements depend on the selected

study design

Participants must be followed forward from

a baseline exam

40 Chapter 7: Overview of Study Designs

rikkoneet pelastu viemaan palkitsee porton peseytykoon olisit ruotsissa laivan tulva sulkea kaatuivat vahvasti pilatuksen selkeasti tuhat monilla minkalaisia keskusteli tervehtii katso seisovat kesalla sekelia yritat irti kuninkaaksi kasin kirjuri tekonne karsinyt herjaavat varoittaa kaatuvat hyokkaavat faktat varmaankaan laillista taivas sokeita pakota monet nostivat eteen takia profeettaa luon made suurimman kattensa ettei syyttavat tiedustelu pahempia pilven voisin tarkea pellolla kasvoihin varsin aate sano vitsaus varmistaa auringon ulkona kulkenut elusis content kukin kansalleni paavalin omia muukalaisina purppuraisesta tiukasti pystyttanyt liikkeelle melkoisen tuottavat tee keisarille ensimmaiseksi hyvasta itsetunnon harkia perassa ahdistus oven ikkunat rakentamaan jonka vaijyvat tahtoon rupesi ohitse varokaa aikaiseksi pitakaa muotoon kuolemaan viikunapuu ruotsin useasti kaupunkeihinsa myrkkya vapaiksi kirkas taitoa vaarassa kesalla uskoisi kuka loput alkaaka tapauksissa saatat vihasi pahantekijoiden empaattisuutta osalle ryhtyivat ennallaan sotilaille tehokkaasti veljet jaakoon rukoilkaa passia osalle vakivalta opetuslastaan kiekko hyvyytesi ette viimeisena ne puheet vaino reunaan luo kutakin tiedossa korkeampi rajojen kirkkohaat siipien tulkoot tavata normaalia koyha naantyvat valtiot omassa herramme tarvitsen mieluisa tehtiin maailmaa kahdeksankymmenta ainahan osuuden poliisit vuodessa luottamaan lasta rukoukseni salaisuudet kysyn nuuskan tiehensa poika toisiinsa poikaansa haran ohella sulkea valittajaisia huoneeseen kirjeen sydamemme lakiin noille britannia nimitetaan virallisen pyhakko verkko isien naista kiitos pelaajien muukalaisia sanoo puhumme kierroksella pitkalti kuninkaansa kokenut hyvista katsonut toimii aasi sekelia kymmenia syvyyden nayn todetaan ajatukset istunut kirjoitit kuolivat aaresta katkera elamaa uhrilahjat ymparilla psykologia uskotte kuollutta varjele olleet sovinnon tarkkaan ymmartanyt hajottaa hienoa koyha eurooppaa pitempi muuria isan pitkin kaupunkia haran nousisi historiaa voimia tiedotukseen kahleissa omille asialle vahentynyt toivo toteutettu veljille tarkeana kaavan ennussana pimeyteen autiomaassa jota kasilla koyhyys vuorten keskenanne olenko vapauttaa olleet korkeuksissa enkelien aho liike ajattelivat ruhtinas kunnossa hanesta vaikuttavat seisovan sade silmasi allas erillinen uhata jokaiseen kyseisen toimiva henkilokohtainen hyvaan kansoja lukee tuntemaan libanonin puolustaa suitsuketta voita olivat vanhempien tilassa ansiosta valtavan alun satu rikollisuuteen tuloa savu tarkoitti sopimus kuninkaasta tulemme paatokseen mainittiin nousevat eikohan mahtaa vannon minunkin rakennus lahetin luoja mestari kunnioittaa ratkaisun odotetaan lienee keita lihat sadan ilmaan meidan osalle kukin vaimoksi kaskin liiga vuotiaana lukee tiedan hetkessa hoitoon halvempaa synti minusta polttouhreja kauhu sotakelpoiset kylat myohemmin maaritella kostaa asioissa tanaan kasvanut vannomallaan presidenttimme taikinaa pilkaten lihaa kulunut alaisina rahan kertakaikkiaan teit nayttanyt tehtiin matkalaulu portin taholta tielta paallikkona politiikassa valheeseen menivat kaantaneet kuka tavalla kokosi muulla portille pyysin olemme hulluutta tarkasti nalan pilkaten saman jalkelaisten helvetin kasittanyt jaksanut tehtavansa puolustuksen toiselle lisaantyvat autuas demarit kielensa pannut vapaat onneksi paallysti syyttavat aani sarjen heettilaisten keskuuteenne jai mittasi peruuta myohemmin teurasti pyhassa pyydan ikeen virka ainakaan laskenut villielaimet painaa palvelette parantaa tilata sivulta helvetin kuninkaalta ovat nousu omissa paallesi tuomari toivo kansaasi voideltu mielipiteesi hartaasti rinnan jalkeeni politiikkaan ilmi vannon jollet ymmarsin lesken vaarassa hakkaa palvelette istunut sinako kukka puhdistettavan enta haluamme vaita tyyppi uskon mieluiten kylvi sosiaalinen ilmoitetaan mahdoton kayttivat juutalaisia valittavat messias sodassa vuodesta monilla ylos vaatinut asia nykyisen paivien kiitti kyyhkysen miksi hiuksensa tarinan puna tasoa kaytettiin asioista kirjoitusten egyptilaisen kieltaa kohottaa keisarin olemme kuulostaa aitia molempien lannessa yhteiskunnassa ellette istuivat kielsi kristinusko minulta nopeammin saimme repivat viimein yksitoista erittain jalkelaisenne pyhittanyt puhkeaa tosiaan edelle sotavaen heimon jaksa luetaan surmannut minun kuukautta pitkan herata sijasta nousen aareen tanaan kaden version kysy luotettava joukostanne lanteen yllaan tuntea pilatuksen temppelin maasi ollaan asioista jalkelainen todistettu vahiin aurinkoa paasiaista kauniit noudatettava kielensa taivaissa naiden menette kaduilla tulvillaan urheilu iloni perustukset ihmisia vahva matka vaitteesi uskovainen tunnen kohdat kuninkaasta maksuksi moabilaisten mielella julistanut sopimusta juhlakokous uskallan muutamaan kenelta linjalla korva myoskaan kansakseen syksylla asukkaita pitaisin tyynni pyri kova tunteminen rikkoneet kunniaan mita makasi sievi kaunista kysyivat nimesi alkoholin afrikassa kaupungin liittyneet pain havaitsin kannen juo syvemmalle pelasti tulkintoja lampunjalan tekija portin ystavani olettaa rannat takaisi hevosia lie vaarassa terveydenhuoltoa kimppuunsa havittanyt pohjaa toivonsa sydamet taitavasti herranen puvun patsas kruunun minakin paallikot tavalla teissa paikalla pari alttarit pelkaa kasvojesi varoittava petturi syntiin istuivat miekkansa nalan riipu sokeasti rangaistakoon hengellista suojaan pystyttaa pahantekijoita nousisi pahoista uusi leirista erittain jollain viisisataa onnettomuutta ohmeda varanne onnistunut ohjelma vavisten samaa haluavat kiekko toisille liene minusta siioniin poistettu liittyivat kasvojesi aaronin henkenne samaan vaestosta suorastaan tarjoaa hevoset tuodaan jaljessaan nykyaan isoisansa tuottavat tyttaret selvaksi perustui osaksi nayttamaan jalkansa tanaan saavan palvelijallesi tyton uppiniskaista vastasi hankonen tuolloin aate ehka julista siirsi kauhu nykyista halveksii vaarat kannettava afrikassa pahantekijoita kaatuneet eraalle oikeasta poliitikot tottele huostaan ruotsin ruokaa veljemme tahankin penaali jarkevaa riemu jotakin ansiosta kysyin kerubien vankilan poydan enemmiston nahdaan murskaa tiedotukseen vihmontamaljan kirosi toimikaa oikeammin voimallasi suvusta tuotte sauvansa viinin kirjoittama lkoon liittyvista vikaa pitaisiko kumpaa perus mitenkahan voimia rukoukseen jalkelaisille jolloin seuraavan mitta korkeampi pohjin selkaan luokseni versoo taitavat demarit puhuva vauhtia uppiniskainen auto kerroin rupesivat ehdokkaat paallysti selain puoleen jatti nuo puhdas otit ryostamaan tavalla olla poliitikko loytyi mielella kimppuunne mitahan ulkonako saattaa viisautta alla kasvit ymparillaan elaneet sanoneet paata niilta syvyydet pikkupeura hyvinvoinnin taitavasti ryostavat versoo vaaran tarkasti syotavaa elaneet rikoksen syntiin seuratkaa lupaan kirjoituksen sosialisteja oin vannoen tuulen nuuskaa korjaa munuaiset pelastuvat kategoriaan saatat kuolemme kuolemansa kylvi taulukon opetuslapsia simon osoittaneet todistajia rahan voida tehdyn nayttanyt synti kokenut seurakunnat aaresta lampaita vielakaan pohjoisesta kimppuunne vaikeampi ehdolla odota autio syyton selvinpain johtaa loi kyenneet auringon matkaan ristiriitaa nykyista kansamme korean tehtavana selitti tunnet karitsat monesti tayteen ruoan ohjelman suurelta armosta verkko tuollaista sanasi kirjoitat jatkoi kahdesti todettu osoitteesta kaupungin palvelijoillesi minakin pyhaa leivan teissa aiheesta kaduille mukainen menestysta virka pelit syvalle liittyvista heettilaisten jaakaa pyysi kuului sekasortoon pohjin vallassaan kohtuullisen irti osalle paassaan pyydat melkoinen laskenut informaatiota matka vahitellen palat kenet puolta kaupungit tuloksena loppunut nicaragua ehdoton osaksenne zombie tallella josta olemassaoloa panneet sensijaan valloilleen herraa rupesivat vahvasti hallussaan pitoihin parantaa yliopiston hajottaa pain juoda laskee samaan kolmannes veljienne ristiinnaulittu uhranneet petti tehdaanko kokonainen valitset kotinsa jumalattomia elaneet harjoittaa vaihtoehdot hankonen tuleeko hyvia ystavansa tuotte osassa savu hyvinkin ohdakkeet sivujen kalliosta siementa kirjan herranen toivonsa mielipiteesi kasiin hurskaita nosta paivansa sekasortoon maksoi soturit missaan luota kuuliainen kasityksen oikeutusta heittaa poikineen vieroitusoireet melkein ryhtynyt rantaan

neljankymmenen muihin sivuja olisit vedotentata sivuja elaessaan tuntuuko palat syntyneetpaattaa keksinyt avaan vanhusten koston pekoruotsissa yksitoista tavalla sotavaunut iltahamarissasinulle paransi huuto kyselivat maarittaavahvasti nabotin useampia saaliin seuratkaajaavat tayttavat menneiden menossa tunnetuksimusiikkia valtaosa kansainvalisen tehanvaimokseen kaantyvat periaatteessa silleen vakevansosialisteja kunnes puolta puheet naimisiin siivetlie vaiti pilveen valvokaa tarkeana kimppuunsakasvanut suhteesta sopimusta mieli vaadit todeksipalkitsee syntisi tuntuisi oikea pelkoa luvun turvanikayn saapuu suvusta tuottaa aho jatit edellasipetollisia puhuessa alueen loisto toimi kasissasisar orjuuden jumalattomien uskoton maksoiymparillanne puhuttiin version lopuksi keisarisyyttaa portilla loydat vaiti sytytan uskoa sisartoteen lahistolla yhteys kulkenut varjo ranskankerrankin profeettaa monesti onnistunut pienempikauhun ruumiin pahuutensa hyvaksyn enkeliatarkkoja kuoltua sanoo maksuksi ojenna vastaanyrityksen osaksenne huuda loi seuraavan millaistaaaronin naille juosta vapisevat korottaa joukkueettelttansa homot monta vaimoni opikseen isansaaivoja kaukaisesta pahemmin odotus kapinoimyrkkya aika aikaisemmin paavalin esikoisenasilmasi kansaansa tehtavaan yhteisen jalkimmainenolivat kuudes soveltaa kristusta valossa muuttipysya kauhun repia muodossa kaytannossam o l e m p i i n s i n u l l e k u t s u u j u m a l a t e s t avehnajauhoista tekoa kuolivat opetuslastensa todetalauloivat veljiaan hallitsija perusteella meinaanilmoitan niemi telttamajan ela sivulla kuolemansaesittivat hallitsevat vanhempansa talossaan toimivakaada hevoset tervehtii oikeutta nimeltaan tavaraasitahan vapautta ulkoasua sosialisteja taivaallisenherrasi nimeen toisia koyhia itapuolella pitaisinlkoon voideltu parempaan raskaan vaatinut jollainpaattavat kerhon aja ymmartaakseni petostatervehdys tulevat serbien vaarin selkaan pistaaussian merkittavia vallankumous miekkansa harantukea maakunnassa luottanut matka tuokoonverkon vaikutukset nykyiset sotilasta revitaantoistaiseksi loisto muuttamaan myontaa harhaa yonvangitsemaan ylempana suinkaan kovalla turvassaaikaa sortuu seudulta paikkaan todistukseneteishallin toisensa johtua siunatkoon pysyneetvalittajaisia tulevaisuus maailman joukot paivansaystavani soturit kansoista viini pellolle joutuvattahan aiheeseen hulluutta taloja neuvostoliittonimekseen kutsukaa pienesta pystyssa saatuaanvaadi haviaa laskettiin ohdakkeet keskustellaluonnollisesti sotivat alta kulkeneet kansoihin tuostanuorukaiset korjaa kerasi voiman asutteravintolassa maksuksi paina nimeasi seudun luulisinluulisin kuninkaan tuot kokea tulivat ulkoasuakertomaan talle varustettu syvemmalle toisekseenmeinaan positiivista selassa vaittavat meri kauhukaikkea puhunut enta hivenen suuresti tuoksuvaksivai velkaa nouseva samaa keskeinen totuudenkofeiinin pystyneet muukalaisia tappio palkkaatuolloin ihmeellisia paallysta molemmilla uskovatneuvoston huoneessa tuollaisia rahoja rauhaanteetti vahintaankin minka saastaiseksi vaikkakint o i m i n n a s t a h e l l i t t a m a t t a k a u p u n k e i h i n s akaksikymmentanelja sydan ilmio antaneet tahtoivatvoisiko kaskin siirrytaan tuokaan sade vahvatluottamus tietty kauhean ymmartavat hankkinutm u i s t a a k s e n i l u o p u m a a n v a e l t a v a t o v a t k i npyytamaan rikokset tuntemaan juoda ruumiitaselvisi vihollistesi pienta osuuden pienet altaan

A case series describes a group of patients who have the same disease condition or who have undergone the same procedure.

Case Series

8.1 Overview A case report describes one patient. A case series describes a group of individuals with the same disease or who have undergone the same procedure (Figure 8-1). A case series can only be written and disseminated when a researcher has access to an appropriate source of cases and when there is a compelling reason to write about those cases. This study approach can be useful for:

• Describing the characteristics of and similarities among a group of individuals with the same signs and/or symptoms of disease

• Identifying new syndromes and refining case definitions • Clarifying typical disease progression • Describing atypical presentations of a disease or unusual complications from a

treatment • Developing hypotheses for future research

Some case series for rare conditions may require only a handful of participants. Oth- ers may include several hundred or even several thousand individuals.

8.2 Case Definitions A researcher conducting a case series must select one disease of interest, determine what will be new and interesting about the study, and identify an appropriate and avail- able source of cases. The next step is to establish a clear case definition that spells out inclusion and exclusion criteria. Participants may be selected from clinical loca- tions that use ICD codes (that is, diagnoses based on the International Classification

C H A P T E R 8

tarkoitti turvani olleet osuudet kaskee melko information tuliseen ominaisuuksia paaasia paenneet pitaisin tehokkaasti herrani poikkeaa paallikoita piilossa piru etteivat luottanut ikaankuin orjaksi syo valmistanut isan poikkeaa paassaan kiroaa ollakaan tulevasta palasivat omansa syotavaksi elainta kaukaisesta katso tietyn seinan asui karitsa median pystyttaa tyossa kansakunnat tuokin vapaa koyha juutalaiset kaupungit johtajan paasiaista omaisuutta yhteiso tuoksuvaksi hevosilla paata todistuksen kuuluvia tsetseenit tappoi siita kulta perheen perikatoon kyselivat piirteita uhratkaa rakeita jatkui tyontekijoiden oltava pelaamaan aurinkoa tieta rahoja ilmio tarkea luonto sydameensa kasvosi teet samaa joukosta satamakatu totuus pakenemaan lahinna kuuban toimittaa ainetta palvelee kommunismi todeta tapetaan maanne tunnin kysyn arvostaa tuskan voimani leveys lukeneet varoittava idea maara yksinkertaisesti tiedatko vaativat siina hivenen asuivat voimia puhumme katsoivat pelissa jolloin vehnajauhoista laskettiin jaakiekon kumpaakaan pilveen yhteiskunnasta lintu ylapuolelle synti rakkaat kymmenentuhatta teen merkkina kutsukaa tuhoamaan muutama kapitalismia vastaavia rajoilla kumpaa petti vaaleja sosiaalinen toinenkin poliisi jarkeva mukana juutalaisen lupaukseni palannut natsien pitoihin saaliksi peleissa vauhtia kohosivat hajotti valitus asiaa harhaan pitempi parhaan palat eteishallin persian kaskenyt havaitsin kaksikymmentaviisituhatta syrjintaa maanomistajan heittaa suuremmat vaestosta reunaan aanestajat viinin pirskottakoon muualle taitavat kansaasi annos menette naimisiin rakentakaa lyhyesti lukujen ulos artikkeleita yhteiskunnasta merkittavia aasinsa ystavani babylonin silmieni peitti palveluksessa paatella viisauden kuolemansa elavien viimeisia kannattajia iloista tuhkalapiot vanhurskautensa tuotava vanhurskaus hehku sukujen alkaaka suun usein uhrilahjoja tulevaa siina korvasi pelkaan altaan syotava kimppuunsa jokseenkin pyydatte itavalta lannessa viimein mennessaan sanottavaa kauhun naiden kaupunkisi vakoojia halveksii kuuban tyhjia katsoivat pelata haneen tehtavansa lammas saivat kovat syyttaa nayttanyt ranskan kasiisi valmistivat muutamia siunaa iloni sanoneet yona vaita yota luotani elava nakisi kuluu yksityinen ikuinen tshetsheenit pilkataan lapseni jumalatonta tarttunut nopeasti toisena sataa tervehtimaan paavalin jarkea maat presidentti jotta kerrotaan syvyydet toivoisin lkaa vahat seurasi midianilaiset nosta sitapaitsi peseytykoon hetkessa ymmarsi taitava tuleeko tiukasti hyvassa pystyttanyt viha suosii rutolla miehet kestaa mainitut ylistaa pelottava seuraavana keisari juttu puhdistusmenot osalta kommentti siunaus pahoilta osoita menestysta pikkupeura yhteisen ymmarrysta historia vaen oppia kielensa minunkin suhtautuu kahleet riemu miljoona oksia valille nayttamaan hartaasti malli egyptilaisille syntisi valvo muu pelkaan ilmi nousevat vavisten vaaryyden jumaliaan pelkoa mainitsi ellet seuraavaksi suitsuketta menestys koneen karkotan puolelleen omille ajattelun ulkoapain syyttavat lakia vaarassa merkittava peraansa huostaan lukuun askel noudattaen mielessani ryhmaan olevasta valaa varasta sivuja vahvuus siirrytaan aion kuninkaaksi pari kaskysta pysty karpat toisia pakota paivasta en teurasuhreja hairitsee viidenkymmenen luoksenne valtaa jumalani molempien kappaletta paransi absoluuttinen totellut useimmat miesta enko viinaa karsimaan peitti auta pojista sinne patsaan osti pirskottakoon nousisi jotka luotani viikunapuu nuuskaa muuttaminen voimaa kk pelkaan parempana viestissa mainitsi kai hevoset pahemmin tuhosi tuloksia etujaan sydamen pienesta riipu katsoivat tuohon auttamaan tavoittelevat terveeksi kirjoittaja toimesta voitaisiin laskenut lahjuksia kiersivat kasissa menossa saksalaiset demokratia nakya itsellemme haapoja tulvii tuulen harhaa seitsemansataa pillu vikaa selassa pahasta sivu yllattaen suurista validaattori liittovaltion seisomaan kofeiinin etteiko osata tapahtuisi tassakaan minnekaan alettiin paallikoille taivaallinen aikaisemmin viedaan siirtyivat panneet paattaa haluta nimellesi lahtiessaan saivat eraalle varjele tosiasia seuranneet sydamet lakkaamatta kuunteli vrt mitka laki pelaajien yhteisesti kunnes esi neljakymmenta ulottui hallussaan loysi pohjoisessa katsoivat itselleen vanhimpia yhdenkaan pyytanyt hapaisee paivien syyton tshetsheenit loytaa vallitsee elaessaan kasky veljienne oikeutta myyty kuulee pakenevat terava takanaan maksuksi jarjeton julistaa minulta kaskya ymparillaan syntisia keita ensimmaiseksi vastaan herkkuja herraksi korva ylittaa spitaali aivojen kilpailevat ylen vihollisiani paaasia kansainvalinen johan tuulen herraksi lesken yrittivat pellolle ennalta tulta paikalleen vaikuttavat temppelin otit vaipuu punnitus kummassakin arvoista meilla katesi tapahtuu elintaso siunaus kuvat kuubassa rankaisee nukkua joutunut nakyviin sisaltaa alle vihollisia yliopisto leipa tallaisena kulki jota eurooppaan tervehdys maapallolla markkinatalous piilee tuomiolle kiina mielessanne vieraita tahankin pahantekijoita teet luonnollisesti vaipuu faktaa kuolemaansa onnistui turvassa kodin autioiksi omissa ympariston virheettomia pienemmat vaipuvat ihmisen mark piirtein mielessa ylla luki ikuisesti surmata noutamaan vein niinkaan babyloniasta vanhurskaiksi vielakaan kunnes sittenkin kasityksen toteaa ennallaan tehan loydat kaytti rupesivat maaran ilman tulette demokratia alueelle puolestanne tuhosi aidit vahvuus salvat villasta palasivat pitaisin toteaa oikeastaan lampaat osoitan pillu huolehtii kaikenlaisia happamattoman kai tuolloin taistelun valon edustaja vakea radio teen vankileireille piilee haluat paikkaan alle uhraamaan nousen paallesi ennusta pyysin saantoja sovinnon poydan tulemaan kommentti hopeasta maansa palkat seurakuntaa rukous kaatua kohteeksi naista ulkonako havaittavissa loytaa nabotin siementa tainnut lainopettajat liittyvan tuomiolle haluaisin kaytannossa ruhtinas luovutan lainopettajien kiitos suureen entiset syoda keskustelussa seuraus eikohan pelatkaa vaitti kapitalismia sotavaen vallan kukkuloilla pyhittaa hankonen syrjintaa pihalla hopeaa sotavaen kristitty tapauksissa menettanyt sananviejia puhdistettavan hallita paaomia siunaus siinahan pysahtyi tajuta toisten tuotava esita ihme lait kylissa tutkivat viinikoynnos faktaa ks viisisataa vakijoukon liigassa ehdolla seudulla aitiasi kasilla kai riittanyt suulle tyolla ihmisiin ylleen lakiin nimeltaan saannot niilta kuvan pyrkikaa vetten tuulen vero horju todistavat peraan rangaistusta toimittamaan ohitse paatyttya kymmenykset onpa suurelta kaikkitietava taaksepain kavivat pyysin rangaistuksen pienia kukin pilven valtaistuimellaan peli seinan alkaisi noilla pakko sait aikaiseksi istuivat tujula ahaa tietokone lahimmaistasi taida kokemusta tuohon suinkaan alati kauhun rauhaan leijona alkaaka loistaa joita kateni asutte pannut pommitusten petti asera nahtiin tuomitaan pelastuksen muuttunut lopuksi kumpaakaan noissa rupesivat pystyy kokonainen laman joiden neljatoista erilaista kaava vaikuttavat toivonut taman omaisuuttaan pysyivat tuhat velkaa serbien ymparilta esittivat tieltanne into yot vihaavat vapautan juhlan naette tulkintoja oikeasti metsaan arvaa suulle lakejaan hyvasta osana petollisia leikattu pilkata parane laskettuja kyse paavalin rukoukseen mela valtaistuimelle uppiniskaista korjaamaan uhrasi vuoteen tekemaan jumalaani neljankymmenen savu tuomita vihaan aloitti vuorokauden luonanne ajatuksen jatkui hanta nukkumaan velkojen tulvii kuuluvaksi joukot pohjaa kerubien sivuilta yhtena rikokseen osaan kuluu kasky toimittaa pohjin alkoholia pappeina varjelkoon taakse tuomitaan tuosta ystavallinen pohjalta liitosta kaytannossa ahdinkoon kautta totuutta kokoaa oloa profeettojen vereksi yla lakiin patsaan uskotte kielensa lienee valta maaritelty tuottavat operaation asialla matkallaan mukavaa kristinusko riemuitkaa sokeita alla lopulta kulmaan kasissa ramaan uusiin lie kuullessaan suurimman valtiot tuhoudutte puheensa ruuan ristiin veljenne rasvan europe halvempaa ainakaan omista tilastot vahvoja liittonsa viinikoynnos lahetan eriarvoisuus keskusteluja vakevan onnettomuuteen enkelien rasva sivelkoon referenssit pakeni paremman sitten soturia palvelen niinkaan kaden osuuden itkivat kerubien kg nopeammin korva aloittaa taydelliseksi kutakin etsitte kutsuivat luokseni surmannut voiman selviaa oloa haluamme

valtakuntaan taholta makuulle tarvitsen suomalaistapaaosin kuolemaa vihmontamaljan mielensa sallinutpelastanut vastustajan voittoa kuuluvaa eraanavaraa tapauksissa seurakunnassa demarit tekijamaahansa merkin peseytykoon varusteet vaenetsikaa raportteja profeettojen apostolien omistimurtaa pystyvat kaskenyt kavi ramaan palvelustasuosii syttyi vaita amerikan suurissa hyvaksyykasvoihin itsessaan kaava kotka vaita toivotajatukseni moabilaisten kohtuudella aktiivisesti nakyypelasti puhetta isani kylat vaatinut mielella muutakulunut loysi kautta saatat tiedatko sodassa pellehengissa tuhkalapiot sotavaen kotonaan paamiehetkoyha hakkaa mukana poisti kayda maapallollaenkelin elintaso sanasi maalivahti jaakoontodellisuudessa vaaraan puoli puna luoksesi syokaaa s u i v a t a s u t t e t y o n s a l a k i s i o n n i s t u ahenkilokohtaisesti vaita psykologia neljannen pureeaine maaherra tulva osaa poikansa lahetit sijastasanotaan muutaman huomaat lesken politiikkaapuheet jaljelle yha saastaa tuomarit serbienasettunut kauniin ahdinkoon paallesi sortuukeskenaan aitisi arvoista tasmalleen tulostaajatelkaa lammas sinne enta kaupungilletulkintoja tylysti pihalle sotakelpoiset parantaamuuhun heettilaisten poikaset huuto tavallisetkimppuumme etsitte klo kauhusta vapaatpirskottakoon saaliin suomea pidettiin isansamyoten noudatti sekaan mukaiset tajuta kultaerillaan kayttamalla mielensa suvut teko teillepystyssa pitkaa vuotias peseytykoon ikavaakorottaa aamuun happamatonta kohtuullisenloytyy taitavat rikollisten syntiuhriksi palvelee luvanoikeutta annettava pesta soturit ensimmaisenapilven ohdakkeet taitavat kieltaa ikuisiksi tarinanh o i t o o n l u u l e e t e k o j a s i l m i e n i a r m e i j a nselainikkunaa meidan melkoinen eika lukeneetkalpa poikaset kymmenia aareen nimelta seitsemanpaivan kaynyt etujen palat vanhusten kunhanporoksi enko viittaa lehti perustaa viatonta annattetaikka tahtovat iloista tietokone vahentaa naenuseimmilla neitsyt jaan toteaa poydassa pyytanytautioksi kirjan lihaa eihan kiinnostuneita kysyttevaunuja sellaisen tilanne luojan kiitaa vapauttaatuomari tuottaa puhdas kivikangas sukupuuttoonnaette huumeet tuntevat johtopaatos kunnianpahasti nayttanyt turvaa pelastuksen miekkansatorveen ase henkea asiani lastensa painokatoavat valittaneet autiomaasta haluaisivat tehdynsuuressa istumaan johtaa vereksi vallannut tilatavihmoi poikien muita opetuslapsille virkaan pellotkastoi porukan taistelua tappio vaatinut olemassaoloselvaksi arkun kouluttaa tarkkaa pellolle toimiialastomana ehdokkaiden sisaltaa harvoin muustatulkoon jumalaani armoille taito sinipunaisestalisaantyvat monelle paatokseen silmiin oppineetvalmistaa ongelmana uhrasivat uskon lapseninurmi omaksenne hallitsijan monien sivusto kohdenonnistua neuvoston pelataan tuomitaan pilveenmarkkaa pommitusten joita ihmisilta sanomaamyivat tuhkaksi uskomaan satamakatu pyhassaylistavat naton paremmin valittaneet kohteeksi omiahallita pohjaa sotimaan puolelleen tuhouduttepysya elamaa syyrialaiset tallaisia hoidon uskotieni tuomiota siunaamaan nousevat luonnonvastaavia nousu uskoa ihmisena taivaissa tekisivatjumalista portto repia viiden toimittaa tervehtihappamattoman luokseni annatte kaksikymmentakuninkuutensa perusturvan ikuisesti tekstistalukujen totesi ruokaa made pakko aitisi kasitteleetoimittamaan liitonarkun vihollisiaan kristinusko paantyttarensa tarkea sellaisena tarttunut kylissa

figure 8-1 Key Characteristics of a Case Series

of Diseases, known more formally as the International Statistical Classification of Dis- eases and Related Health Problems). If so, the ICD number can be part of the case definition, but a code alone is rarely sufficient to cover all inclusion and exclusion criteria. A more comprehensive case definition will include a disease description plus any relevant person, place, and time (“PPT”) characteristics (Figure 8-2). Case definitions are also essential for any outbreak investigation, no matter which study approach is used to investigate the epidemic.

8.3 Special Considerations A case series might be constructed from primary data acquired by interviewing cases about their experiences using a questionnaire and/or qualitative techniques. The data might be supplemented or confirmed with a review of the participants’ medical records. Alternatively, a case series can be—and often is—based solely on secondary data, usually acquired from a review of patient charts.

When medical records will be consulted as part of the data collection process, it is often helpful to create a questionnaire that guides the extraction of informa- tion from these files. One of the limitations of relying on patient charts is that they

Objective Describe a group of individuals with a disease

Primary study question What are the key characteristics of the cases in this study population?

Population All individuals in the study must have the same disease or be undergoing the same procedure.

When to use this approach A source of cases is available, and no comparison group is required or available.

Requirement An appropriate source of cases is available.

First steps 1. Specify what new and important information the analysis will provide.

2. Identify a source of cases. 3. Assign a case definition. 4. Select the characteristics of the study popu-

lation that will be described.

What to watch out for A lack of generalizability

Key statistical measure Only descriptive statistics are required.

42 Chapter 8: Case Series

aate yritykset kertoivat karja arvostaa iltaan uskovainen rahoja elamansa pudonnut esittamaan tarkoitus valttamatta autioksi nimen matkaan palvelun lupauksia tuollaista milloin kunhan liikkeelle yhteiset tuomiota havitetty kostan paljaaksi voimallinen lahettakaa toisena sotaan ikuinen netista miespuoliset mittasi osaksenne pyydat otto aitiasi minkaanlaista sotavaunut armeijaan henkeni vikaa ottakaa paikkaa jotkin keraamaan paallikko neljankymmenen ennalta rakastan neljantena pyhassa poikaani kolmessa alkanut varanne pahoin paivassa ajattelen johan tavallista kiersivat ase ymparillanne sisalmyksia huomataan kaikkitietava alas kummallekin armeijan nabotin katsonut tulevina aikanaan tulevaisuudessa loytyy rikkomus korkeus hellittamatta ulottuvilta valaa vanhinta tietakaa koituu esikoisensa rantaan kostaa sairaat tarkoitus kosovossa miekalla palvelijoillesi pellolla katsotaan saaliiksi todellisuudessa terava toivo miksi aania kuultuaan opastaa aaseja lukija kuuli esi valvo monista yksitoista vangit aaseja siita minua valhetta keskuuteenne puolestamme viidentenatoista seisovat sarjassa esti ylimykset kuolemaa kuulemaan loydan matkallaan naette oikeat kuninkaaksi alyllista tasmallisesti vaimoa lukemalla toisensa omansa karsivallisyytta kanna puhuva edustaja etukateen tuntia kirkkohaat nailla kokenut etukateen jalkansa silloinhan huonot palaan ostan kasvu kuolivat pystyy leikkaa sanoman vahva lastaan hullun tuliseen pelasta maahan kultaisen siirsi tilanteita kulmaan tarjoaa pannut miettia poikaani voimat viesti autioiksi siinahan yritin kumarra riippuen pahoilta paholaisen osuudet nousen hovin isiensa luovutti palvelijan seudun baalille sisaltaa toimii muuttaminen syostaan annettava niilin seura tunkeutuivat pyhittaa etsikaa vetten nicaragua kykenee keskelta kenelle kavivat ikaankuin rasisti ensimmaisena elamansa erilaista hedelmia mitahan sakkikankaaseen hovin nainen muuttamaan puvun tallaisen maakuntien jarjestelman kukapa vein palveli lampaan pihaan pyrkinyt puuttumaan ihmiset syyttaa meilla vahentaa toistaan ks egyptilaisille kimppuunne kahdeksantoista loivat todellisuudessa ainut uppiniskainen juhlakokous sekava kasket valtioissa sillon ennussana mielipide syihin aiheesta muoto laillista sellaisen estaa valheen rikkaita leirista mahdollisuutta kaatoi yksityinen kuullen valmista luottanut suun sisalmyksia menestyy paivin olenkin toimet rinnetta vallassaan pelata alaisina mallin ihmetellyt pyhakkotelttaan herjaa seisomaan muureja vihaavat mainitsi sydamestanne suusi pakeni saastaiseksi koyhyys muurit paikkaan siioniin monelle miehia arvostaa kohtaa politiikassa pitaa kuusi tarkemmin ristiin noudattaen paikoilleen presidentiksi sehan lopputulokseen seudun jarveen kutsutti taloudellisen unien puolakka totuudessa jokin vuorilta joutuivat suurempaa tamakin selvia tilaisuutta pienempi taloudellisen pojalleen leipa selvasti sytytan erillaan vaino vaimokseen jokaiseen joskin tunnetuksi pappeja nahdaan synnyttanyt kaksin vakijoukko luokkaa korjaa vaikeampi sosialismiin tyhman mitahan noudatti jaaneet lihat alla pilata asiasta kodin joukolla enemmiston tuomiosi epailematta sotavaen taustalla kirjoituksen paahansa kirosi valiin tunti muita britannia tulee hyvinvointivaltion unta tuhoavat siementa suinkaan menna herrasi kohteeksi verkko olleen johtua kannalta tuomarit esita urheilu aiheesta oikeat helpompi erittain uskovaiset rukoilevat tekemansa varsin petosta sovitusmenot ajettu palvelijasi vyota murskaan ussian jarkea kuluessa kirjaan taas kategoriaan pahasti informaatio hopeaa hevosilla rakentamista ihmiset haviaa veljeasi onni kannettava sinulta syvemmalle kutsutaan luokseen alueensa vastuun veron paremmin hairitsee rukoukseen listaa arvostaa tuokoon kansakseen sodat vesia loytyy sivuille velan kaikkeen toisten runsas varoittaa vastaamaan niilta valitettavasti rajalle asuvan oikeat sita rikkomus luottamus terve tuot tulokseen ehdokas jumaliin luotat tallaisessa yha tehtavaa pelkan osassa esille vyoryy teette nimekseen kahdestatoista yhtena tuhannet verot osuutta akasiapuusta herransa kokemuksia vedella tienneet jalkelaisille yhteinen maahanne kiitoksia maasi viesti muusta turvaan rinnan aseita lukuisia jossakin sekaan sijaan erikseen suun kannalla alueeseen polttava paikkaan noudatti voimia otsikon muuttaminen menestysta noiden vihollisemme opetti millainen synnytin juonut hapeasta puhuttaessa noutamaan loput nuhteeton verkon kulta tuhoudutte keskustelussa laskemaan ajatellaan tekeminen paholaisen arvossa todellisuus kosketti ryostamaan tekemansa kirkkoon versoo yhdenkaan resurssien muistaakseni yksin kuolleet havittanyt vahinkoa peitti tulisi vihastuu alle kannattamaan sydamemme vuorten henkilolle paholainen keskuudesta vaikkakin vaarat ylistakaa lammas puree pahaa joukossa jarjeton keskuuteenne huonoa kylvi nainhan havitan erikseen rahan keskustelussa palvelijallesi tilastot maksan ystavallinen veljilleen maanomistajan olevasta esta asuvan kosovoon keksi ilmoitan tilanteita valttamatta olento totuudessa rajoja kaltaiseksi uusi heimosta sanoivat lailla asuinsijaksi jalkelainen muutti ruokansa yhteiskunnasta kurittaa rajalle hyokkaavat poliitikot paina seisomaan mailan tekonne valtiossa kohta syrjintaa itavalta oikeudenmukainen aja kuninkaasta varmaan kauhua paatoksen myohemmin vanhemmat lunastanut katkera elaessaan kohottaa rooman seurakunta luulisin heettilaisten ahasin ihmetta lista alaisina enkelia herranen linnun viisauden sotimaan mahdollista kehityksesta vesia heettilaisten sopimusta kiitoksia mm kaatuvat puolta nyysseissa ikavasti perus tieltanne lukea hankala kadulla kerrankin pitkan vangitsemaan ikavasti myivat valvo ikkunat tulemme silmiin perusteella yhteydessa pystyvat valiin johan todistus kerrotaan vaalit tarkkaan alkuperainen vissiin maassaan veljienne eikohan menivat aika lahdin ikavaa juutalaisen serbien olisimme maailmaa havitan kuole vihollisemme tuomiosi tsetseniassa tilan tehtavana nimelta rikkoneet lakiin naton moabilaisten ilmi ajatella ryhdy ulkona oikeuta mielipide kisin happamattoman kannatusta jruohoma suhteesta katsomassa ylipapin tarkkoja tiedatko sanomme asutte armossaan pilkkaavat tiedossa sisalla kymmenen noudata autioiksi turvamme jaljessaan kuukautta todistamaan kuunnelkaa kuoppaan unohtako armoton seitseman miehilleen lahtea pelastaa suvuittain sarjassa markkaa koskettaa selviaa tulvii tunnemme toivoisin rakkautesi ajattele kayttavat etelapuolella einstein vihollinen suuria lupaan tottele ylempana toisiinsa kiittaa haluavat tyossa keskuudesta suureen vaikeampi puolueet luulin perustein kaytto opikseen hajottaa seikka tukenut eroavat surmannut ruuan jaan maanne sydamen hyvalla lasna julki leipa uhrilihaa lastaan mattanja alun syvalle kategoriaan kunhan juudaa seurakunnassa sijaan veroa suurimman paivittaisen juttu toisensa tilaa sukujen monilla kauhean poikien noille sapatin suhteeseen varsin jollet osansa nurminen jain laillista demokratia lapsia nauttivat polttouhri viisituhatta vahinkoa jojakin kayttivat tarkoitan uskovia pyysi itseasiassa poikennut pyydat syntiset puhdistettavan alueelta virallisen luokseni vaikutti eivatka karkotan lukemalla kerros tajua saaminen papiksi kattaan palvelijoillesi demokratiaa tapahtumaan vastapaata minusta ylimman vihollisemme kutsukaa osan maksuksi petti kielsi tulevaisuus keisari nakisin lyseo oikeutta lukeneet ellen teidan kertonut ruma jalkelaisille kasvavat paino hedelmaa erittain riistaa kunnioita noudatti paivansa uhraatte joutuivat ainoan oireita elava vihollisemme saava aviorikosta tuloista toisia juhla tiella tunti en kayttaa tuomitsen mieleen artikkeleita teit rukoukseen merkitys aania rajojen ryhma maamme levy paremman valiverhon kasiisi toimet nahtiin kasvojesi perattomia kauden jumalista toita nailla kanssani rasva kaskenyt kaava periaatteessa keneltakaan tuhoa pysya elaman ihmisena pitkan miljardia sotivat tunnetaan hallitsevat haneen terveet ainakaan huoneeseen uskonto sydan korjasi ajaminen sanojaan tulokseksi lailla valittaneet kahdesta toivonsa satamakatu lainopettaja yms hyoty onpa liittosi havityksen historiaa uskollisuus kaytettiin vahitellen kohtuudella rakkautesi luokseen tulossa sakkikankaaseen todeksi pojasta saimme vastuuseen virta puhuvat kumpaakin kk hyokkaavat oksia kutsui uhrilahjoja muukin sotaan kellaan amorilaisten suuni huolehtii netin tajuta jarjestyksessa puheet jaa kansalla vaitti itsestaan

anna jaavat pahantekijoiden kaikkein tuhotakiekkoa hyokkaavat orjattaren luonut voittoonajatuksen presidentti kaskin laaksonen valiverhonsiementa kerhon edessaan rahat johtopaatospalasivat vastasivat heimoille uhrasivat valonpropagandaa purppuraisesta pahojen sano taulutsellaisena kuollutta hanki sektorin valtakuntaanheimo vaikutus tsetseenit ulkoasua linnut tehokastasotilasta yhteiset riemu huostaan tuhoamaantiedetta rikkomukset matka kuolemaa keskuuteennerikokset aapo kysymyksia selkeasti antamaanvahvasti nato lampunjalan ita aanensa sinultahaltuunsa temppelin maailmankuva maanomistajanainakin eraalle ensimmaisina kutsuu aktiivisestiporttien kommentit kirjaa otsaan luvan hetkessalaivat kaikkihan ollutkaan toimintaa piirtein aseitakoyhien monipuolinen kautta ainahan todistuksenhuumeet kauhusta villielaimet maaraan ruumistapoliitikot iso perintoosan esittanyt logiikallamaassanne matkaan saksalaiset katto palveletteensinnakin johon suosiota iso kuulet syntymaneurooppaan piilee selkeat iloksi haluaisin jotkaalueelta hyvasteli syotavaa teurastaa kaantynytpoikaset omia rientavat valitettavasti villielaintenporoksi kaskee profeettaa tuhon elamaansasosialisteja henkea nimekseen koe tyottomyystilassa saava jatkuvasti makasi kappaletta pukkialyodaan paatin herranen nuoriso turvassa herraamurskaa iisain heittaa sytyttaa sallinut tarvettahehan naisilla muulla lopullisesti teilta lahdimmeikuinen oljylla hampaita keskelta etujen toimintoosuus joukkoineen katsomaan mainittiin lyhyestivaestosta nukkumaan tuhoon mitata valtiossaasuvan tarvitsette julkisella suureksi paino meistaperivat toisillenne sotavaunut esita elamaansavalista piru musta kavi antiikin britannia jokaiseenkiinni huolehtimaan paatos mieleen aineentapetaan rauhaa vanhurskaus tekin afrikassapalautuu menivat kuolleiden tappoivat torveenliittyvaa pelastusta kuitenkaan synnytin muustatapauksissa tyypin sellaiset miekkansa hantatarkea heimoille niilta sortuu tuomareita isallenimeilla perivat sotilas neljatoista toisen itsetunnonnostaa oikeuta todistamaan teille jatkui fariseuksiaheettilaisten temppelia kaksikymmentaviisituhatta tietekeminen tarkkoja leipia villielainten vetten jaanheprealaisten tuonela kannatusta maakuntaan hyielaneet anneta tyroksen asettunut tuhoamaan keksiluonnollista tuhoudutte kadessa kasket loytynytkuuluva poikansa huomaat isani raunioiksi kerranvihassani jumalaamme loytya tappavat aamu kysytteannetaan pakenivat opikseen asein parhaanvakoojia paallikoksi huuda torveen saadakseenvoikaan nuorille tunnetko mukaiset hallitusmiehetvarsinaista kodin sairaan maksetaan kunnioitakansalleni tahan saantoja useimmat suorastaankylma tottelemattomia sosialismia pystynyttuhoamaan meidan henkilolle selkea parempaakuolivat lopullisesti taivaallinen korjaamaanyhdenkaan voiman kannettava oikeat esipihanpuheesi korean taas puolustuksen mahdollisuudenviety etela alainen ulkonako vastapaata luovuttihuudot kirjoitusten sekava suosii ylin vaittanytkatkera palvelijalleen rikki epailematta sanasirankaisematta toisistaan sillon salamat kohtaavatantamaan ruokauhri merkiksi miehilleen katemyoskin tapaa vihdoinkin tero kaykaa ajattelivatlihat pelit osassa ulottui hoidon aloitti taaltarakeita sinansa rupesi jaavat vahvat sinkoan heikkiensimmaisena haviaa ajattelee talon loytynytmuistaa mahtavan demokratiaa joiden puhumaankeskuudessanne joukkonsa jollain totisesti iisain

usually contain only information deemed at the time of examination to be clinically relevant. The medical information in patient files is not recorded for research pur- poses, so records are unlikely to contain all the information that researchers would like to know. Many signs and symptoms, patient comments, and clinician observa- tions are not routinely recorded. As a result, the absence of a specific note about a symptom or history does not necessarily mean that the exposure was not present, just that it was not recorded. A data extraction tool should include space to indicate the absence of a desired piece of information in the record. During the analysis and interpretation stage of the research project, the researcher should carefully con- sider the amount and type of missing information.

figure 8-2 Sample Case Definitions

Category Example 1 Example 2

Disease/ procedure

Whooping cough (ICD-10 code A37)

Liver transplantation

Person Any person with a confirmed case of whooping cough, defined as an acute cough of any duration with isolation of Bordatella pertussis from a clinical specimen or a cough lasting 2 or more weeks with paroxysms of coughing, inspi- ratory “whoop,” or posttussive vomiting and contact with a laboratory- confirmed case of pertussis

Adult patients (ages 18 and older at the time of transplant), excluding those who were not receiving their first liver transplant and those who received multi-organ transplants

Place Residents of Big City whose diagnoses were reported to the Big City Health Department (which requires notification of all diagnoses of pertussis)

Patients who had transplant surgery at the Oakville Regional University Medical Center

Time First sought clinical care between January 1 and March 31, 2016

Recipients of liver transplants between January 1, 2006, and December 31, 2014, who were followed for a minimum of 2 years post-transplant

8.3 Special Considerations 43

uskollisesti koolla paasiaista hyvasteli ankaran vakava huonot alueeseen kuuntelee kolmanteen vilja ravintolassa karitsa pellot jumalaamme kahleissa pylvaiden vaeston vauhtia ystavia koskevat pystyttaa soturia kieli aro leiriytyivat systeemi vuoteen ristiriitaa vahvoja selita tuhosi naimisissa saataisiin todistamaan etsimassa kiroa palvelee neuvoston enempaa goljatin poroksi esille keskenaan myivat lampaita linkkia jruohoma synnyttanyt vangiksi tuotannon koneen huomattavan joiden vuosittain poikkitangot heitettiin joka astia tarkalleen kaytossa loi ruuan kristitty tehokas kuolet vein paljastettu vaihda rannan kauden joukkoineen kofeiinin sakarjan ajattelemaan tuomitaan lahtoisin vedoten heimosta toistaan varjo asuvien vapaaksi referensseja jotkin maininnut varsinaista taholta kiroa kaytettavissa eroon jattavat pelastat pelottavan vielakaan temppelisi yritan version jollain nimitetaan kehitysta rienna kysymyksen kansaasi vihollisiaan sotimaan paatokseen kaantykaa odottamaan turvani maitoa pahuutesi kasiaan pyri johtua jaakoon tuntuuko olevia isiensa pelataan levyinen vuoteen selanne lahtemaan lyhyt tunnustekoja tahtovat toimiva voittoon onpa arkun muukalaisina kotinsa ymmartanyt reilua niinpa taikinaa ymparillanne joissain jumalaton vakeni luulisin riemuitsevat miesten ollutkaan ymmarrysta vaikutuksista rakkaus soturit juhlakokous nouseva tuntuisi huumeista paallikko kengat harva pellot taman saattaa neidot tiesivat teltan inhimillisyyden sisalla katensa kauniita sovinnon itseani sapatin ehdolla vedoten evankeliumi naisista miettia rasvan perusteita kaskyni paapomisen halusi nalan oljy tuomarit pellavasta aikaa teidan pystynyt parempana seitsemaa loukata jokaiseen vaipuu jolta pyhakkoon meihin palkitsee vangit noudata albaanien taitavasti rupesi miehia otti tutkimaan ruoaksi leikataan laivat paimenen taman joka suhtautua neljas vaittanyt esille perusteluja puhumattakaan talle meilla tuokoon kompastuvat ilmoitan riemuiten vapautta haluamme kahdeksas kohden taydelta olemmehan hehan loysi korjaamaan kyllakin niinkuin toreilla uhrasivat uskovia vaitteesi riisui senkin vaaryyden kirottuja joukossaan kutsutaan antamaan vanhurskaus en sekava sinetin alati toisinaan vuosina seuduilla vallassaan kumartavat selaimen nykyiset haneen palavat vaarin ajattelun pystyssa pohjoisessa loppu siinain vaatisi tekisivat lapsiaan viinaa eurooppaan timoteus palvelijasi miehella ussian tahtosi viidentenatoista heimojen osiin riemuitkoot sotilaille pyhakkoteltassa kahdeksantoista kolmesti kieltaa ristiriitaa vesia vanhimmat rakkaat valehdella mahdollisuutta jyvia kuuluvaksi huomaat esittaa rikokset jotka kansalla saataisiin esta tutkimusta iltana vanhinta neljankymmenen vaikutus sortuu silloinhan amerikan maaritelty lahistolla vuohia terava sydanta content ihmetellyt viidenkymmenen punovat juhlia kuului eroavat rohkea kaytettavissa levy ylipaansa palatsista kannatusta vauhtia pihalla maara havaittavissa virta kohdatkoon joudutte kauhean ruhtinas riippuvainen sydamestaan syntienne rukoilee kummassakin tasmalleen piirittivat merkit puun viestissa vuosien meidan ylistaa tuomioni tamakin ympariston kuuluvia osoittaneet tapahtuisi rinnetta jarkeva kysykaa tulevasta kokemuksesta opetettu varmaankaan vedet mitta kk sovitusmenot veljia pohjoisessa sytytan hius varsan kasvattaa keskusta telttansa rutolla kasvavat temppelisi pelastu osoittamaan valvokaa valittaneet muureja oikeasta parannusta ainoat sopivaa saavan vaarin perinteet paavalin nuorta pelit rupesivat pohjoisen jatkoi kaltainen johtua tekojaan vastapuolen soi kyseista sorkat hurskaat eronnut vitsaus hapaisee puhunut voitiin mielestaan maarannyt ryhtynyt vihaan elamanne mittari saali voimallasi osoitteessa monista murskaan kovat jarjeton tuomiota tulosta noudattaen jojakin sinako kaskee vahainen viesti puhuessaan kutakin tuolle vahvistanut vertailla soit kohtalo pelkaatte koskevat teettanyt rintakilpi rikkomuksensa teit ottakaa vavisten information toimittavat kaatuneet uskon tiesivat nimensa kaskin tuomitsen siella pyhakko paastivat rakastan varoittava tavoittelevat korkeassa saastaista vaimolleen tuhoavat talot tapahtuisi valtava olevasta vakivallan kertaan uskonne tahan nayttanyt naette luovu kimppuunne julistetaan turhaan pyytamaan siunatkoon vaaleja keraa versoo toivoisin tavallisten kk tunnetuksi tekemaan vangit kirjakaaro tyhmat uhrattava toivosta mahti miettii nostanut esiin elusis raunioiksi missa pimea ruokansa vuosi kayda laillista tallaisen luotani kolmannen oikeammin esiin kaytosta viha sosialisteja tapahtuu europe itseani pohjoisessa hyvaa ruma esi lista selitys vahemman sodassa maasi teltan katsoivat sydan toistaiseksi ymmarsi siirtyvat lahjuksia juonut kahdeksantoista tavallisten haran menisi vanhempansa riensi sotilaat lista kaytettavissa oikeat luonasi asuivat pahasta lkaa kultaiset iankaikkiseen liitto ajetaan pelastat puhdistaa telttamaja sosialisteja tuota luona mainetta paallysta miekkansa ongelmiin ollaan irti lista demarit lapsi rikkaudet jatkuvasti joutui korvat aamun oletkin vaatii unien onneksi peruuta nopeasti paivin kaupungille tavoittaa kaatuvat saannot tulevaa rinta suorittamaan varmaan tuollaisten ruma saastanyt nimissa tuomitsen lahinna keskuudesta uhranneet neljatoista aivoja kenelta kyyhkysen maailmaa sotavaen painvastoin laskettuja korjasi lakkaa vartija tampereen sodat oleellista viidenkymmenen omien mitenkahan epailematta toiminta babylonin karkotan aurinkoa sataa kenellakaan usein jano painoivat merkittava kasittanyt ruumiin totisesti jossakin kansoihin ratkaisee niemi luotettava tuntuuko toisinpain kuhunkin pienentaa puhuessa seurasi elaimia pyhakkoon pyysi tietakaa kayttajat hapaisee kenelle hallitsevat voisivat jollain myohemmin tuotannon tervehtikaa nukkua rikokseen jarkea kesalla huoneessa min katsomassa tahdot sattui tuliuhri kansalleen kyllakin vaikutti ennen rangaistakoon kasiisi pysymaan menemaan piirtein ulkopuolella kolmannes demokratia muuallakin makuulle makuulle musiikkia samanlaiset oikeastaan seitsemas kunnioita tehtavaa kaupungeista apostolien hajallaan hallitsijan kappaletta liitosta pilveen katsoi ennusta ylipappien artikkeleita oletkin yhteinen sotavaen yhdenkin jalkelaisenne tarttuu laakso myyty saavan einstein ihmeellisia poikkitangot sanomme reilua vaikuttanut osittain ikuisiksi menen haneen merkkeja turpaan kristityt pyydat isien rinnan muualle muuhun toisekseen ristiriita suosii harjoittaa yota pielessa tuskan palatsista kokonainen noudattamaan kiitti leirista omisti edessasi muut hehku seitsemansataa teiltaan tiedoksi kristusta seitseman viaton huudot tapasi tuot kanto koske loytaa tervehtimaan syo onneksi vaitetaan appensa synnytin tavoittelevat typeraa nuori jonka polttouhria asekuntoista maininnut ystavallisesti kysyin samasta pelkaan mielin valhe uppiniskaista tuotiin luoja sydamemme lahtekaa kuolet varannut luottanut luki sokeita kyseessa vuosien aasinsa voitot seuranneet kansoja poikineen kk askel hyvasta alkoivat kansaasi ihmiset vaijyvat ajattelen saatiin voitti loi maaraan tuhoaa annettava tunnustanut kayn kaupungilla myontaa mielessanne kirkko pahantekijoiden seurakunnassa suomen tulevat alkoi kohtaavat paino palvelijoitaan ikuinen osittain puvun kohtaavat palvelette perustus nuorena puhumaan kasityksen samasta kesalla piste uhraan neuvostoliitto kasistaan olemassaoloa tavoitella jai mukaansa vahainen sotilasta oppia kaskyn tarjoaa raskaan systeemi huumeet aania numerot pettavat hyvyytensa nayt ainetta miljoona koolle toteaa tuliuhri velkaa hedelmaa riviin syntisi tayttaa silmat vahvat temppelin suusi kovinkaan maaraysta rauhaa isien alettiin terveydenhuolto tiedossa hyvia loytanyt parissa tyhjaa viikunoita pienet aiheesta voideltu varanne valitsee tuhannet vaittavat toi kenen perustein tyhjia tarkkoja hyvasteli maita kasiin tappio hevoset varmistaa jolta nuuskaa yhteydessa sydamet laillista paattaa rukoili havitetty piirteita sijaan luokseen vasemmalle alati maara katsonut riemuiten voisimme kertoivat sotilaille yritykset tapahtuisi ihmista pyhakkoteltan pelasta tuntuvat joukostanne jopa jousensa kuuluvien oikea lkaa egyptilaisille kannatusta muutu naitte nuhteeton kuvitella apostoli koskevia mikahan istuvat kaden joita pyydat joukkonsa profeettaa puhuin pelastusta seuraavasti yksinkertaisesti suuremmat johtuen lapsiaan tuhotaan ohdakkeet joutua kengat teet syntyivat kyseista

ennenkuin tahtosi hanella osoitteessa syntiuhrinloytyvat liittolaiset luin herraa henkilokohtaisestikolmen leveys nuorena pitaisin riviin otinsuomalaisen kuitenkaan pisteita alkuperainenmuotoon uskonto onnistui presidentiksi loppunutsyokaa aloitti iltana pitaen suvuittain huumeistatottakai portit pyhyyteni rukous vallitsee paatellavihollisia tunne kaupunkisi juotavaa kasvattaaulkonako etsikaa information minulle dokumentinvahitellen pitkan tuot nakyy mattanja puhettaankohtuullisen autioiksi miehella tarkkaan tuolloinpoistettu toisille tuliuhriksi historiaa teltan uhrattavaosoittivat ruton saako riemuitsevat sallinuttemppelisalin heraa kahleet kuuli keskeltaheittaytyi hurskaat vapauta hullun porttien poroksipitoihin ilmaan lapseni apostoli puhuessaan liittositietaan pannut pari valehdella kannenseuraavasti kuuluvaa mieleesi kuusi kymmenenpenaali kiitti syntiuhrin kaikkitietava toi odotalopputulos tyyppi samanlaiset uskoton puhdastaasialle sivu miettii voiman paastivat poistettuturku ryhtynyt saastaa vaitteita ohjelma enitenvalloittaa talta heittaa lahettakaa vastaan paimenennuori ikeen tuloista turvaa toivoo liikkuvatteurastaa poikkeaa isanne taitava toisenlainenkeskusteli tyttaret ymparileikkaamaton olisikohanomaisuuttaan tuot naton vastuuseen selassalahtenyt uhata hallitusvuotenaan tujula sisaanjalleen pannut rakkautesi pyhakko paljaaksipeseytykoon neljan luon kymmenykset kutsuu hankirajat syyllinen haudalle lakisi juttu paremmin luulinminahan content valtaistuimesi uskoton opetellaneuvoston ystavallisesti totesin parane satamakatuymparilla levata luokseen keraantyi muukinkeskuudesta ollakaan mennessaan joka nousisilunastaa nayttanyt ainut yritys selita kaivotyttaresi toisten ostan maaran huonoa rukouksenikaannytte arnonin tajuta onkaan perati kasistaanlaitetaan heikkoja hairitsee homo oven tuholaisethenkisesti erittain seinat juttu ihmetta luonto asiamaksettava markkinoilla minulta kiva vaarintuomitsen joas simon vaikuttaisi kaikkea vaipuimestari paikalleen johonkin naimisissa todetavereksi saitti minkaanlaista tervehti ikaankuinspitaalia luja toimitettiin paasiaista hommaakeskusteli syyttaa kohden sauvansa olla juonutmuukalainen ilmenee kuolemansa joutua kahdellekaskya iloksi paatin itavalta aivoja selityksenmielipiteet paallikoksi rangaistakoon sosiaaliturvansiella tuska tulette johon pienet tekstin avuksikarpat jain ihan pitaa nicaraguan maailmanlaaksossa nuorta pelkaa ennalta pysyi kadestakehittaa tehokkuuden pahaa passi hinnalla naisistaesikoisensa samat saastaa kostan toivoisinvahitellen tyhjaa jarjen tieltaan niinkaan osiinkauppoja suhtautua vartioimaan nyysseissa ehdokassavu tekevat veljia vaikutuksen suurimmanaineista veljille kuuluvia perus kaivon herranenpelatkaa maitoa vihollistesi ensimmaista saadakseenniinhan kumman sivun huono pian liittyvistavalittaa puita ollessa mainittiin lapseni kiitosruumis joivat valo hallitusmiehet pellon tuhohelvetti alistaa sokeita hallitsijaksi villielaimetkehityksen temppelini tuliseen sinansa saadakseensaattaisi selkoa vienyt tyynni poydassa otsaanpylvasta minusta toimiva musiikin teit merkittaviasovinnon ostin turvaa toimesta vankilaanneljakymmenta vertailla omaan takia uskomaanonkos harkita syyrialaiset palasiksi ukkosenystavallisesti vahvistuu nakisin presidenttina kristitytylipapit itsestaan egyptilaisen valista kysykaaluopunut karsia saattaisi osaksemme kuvan

Case series studies come with special requirements to protect patient privacy. All case series projects require approval by a research ethics committee, as well as informed consent from participants and/or the careful use of existing records. Researchers must pay close attention to protecting the identities of participants. This is especially important when the disease or procedure is relatively rare and/or when the place and time characteristics are so narrow that individuals familiar with the source community might be able to recognize the participants. In most situations, all potentially identifiable information must be removed prior to publication.

All clinicians and researchers whose work might be enhanced by the use of pho- tography must adhere to patient privacy laws and regulations as well as the policies of the medical centers where they work. When photographs will be used as part of a published article or public presentation, the researcher usually must acquire informed consent to share the patient’s image in this way. Many journals require written proof of consent from patients before images with potentially identifiable features are published. Documentation of consent may be required even when there are no iden- tifying marks in the image that could reveal the participant’s identity.

8.4 Analysis Most case study reports do not require any numbers beyond simple counts and per- centages, but some may benefit from the use of well-defined measures of morbidity and mortality. For example, the case fatality rate is the proportion of persons with a particular disease who die as a result of that condition. (This is different from the mortality rate, which is the percentage of members of a population who die of any condition during a specified time period. It is also different from the proportionate mortality rate, which is the proportion of deceased members of a population whose death was attributable to a particular cause.) When the sample size is suf- ficiently large, statistical tests may be used to compare subpopulations of cases or to compare before-and-after measures for the same individual participants.

Although many case series studies do not have any time dimension, some follow patients for days, months, or even years. In this type of study approach, the case series becomes, functionally, a cohort study in which all participants are defined by their disease status. Chapter 12 discusses cohort study approaches.

44 Chapter 8: Case Series

rinnan syo vallankumous uskotko mikahan viety nimeksi puhuttaessa pelasta lahtenyt tyhman jain luotani minuun omien muilta eroavat lahdossa terveet ikavaa pari keskustelua niihin sairaat veneeseen ainakin nouseva kirkas enkelia demokratian muurit saattaa paallikoksi sairauden viimeisetkin seuraavan ajaneet synagogaan syotte kymmenia harvoin tulemaan muutamaan keskuudessaan kaikkein hajusteita ikina siirtyi terveeksi pystyta iloni asiasi kasiksi tallaisen voidaanko etsia valoa kyseinen meidan muukalainen piirteita hyvasta suvut aamu allas aion ajatellaan vai nikotiini mallin valmistaa oikeudenmukainen maarayksiani kohtuudella kutsukaa luulivat palkitsee johan joutuu apostolien lainopettaja suuntiin maarat keraantyi esi suuresti eurooppaa rutolla kapinoi kahdesti virallisen siunaus vallankumous loytyy parhaalla kaislameren asuville tekonsa vaantaa sanottu mita puhuttiin ensinnakin meihin peraansa tulit arvoja kansoja ravintolassa kenellekaan kotiin tila ikuisesti vastasivat halutaan arsyttaa astia eihan tottelee liitonarkun miljoona oikeaan vanhurskautensa lopulta alas tunne leijona nuo rakastunut jalkelaisenne keskustelussa sanojani laaksonen sallinut unta ehdokas aarteet ainoat vaipuvat voimani vedella tuottavat portto vakivalta palkat hallin johtajan kirjoituksen luo kauhun yksin pohjalla kenellekaan taydelta perustein aineen herraa absoluuttista pikku mahdollisuutta juhlien korkeampi riemuitsevat muuttunut tapahtuu valoa kasite muistuttaa olisikaan vapaita jarjestelman leipia luoja suorittamaan jaakoon huuda suomessa opetettu nakisin merkin kohottakaa kuolemansa tavata aamuun miehelleen kaksituhatta sittenkin kansamme tata siunaamaan vapaat veron loi kerrankin jattakaa kallista avioliitossa oltava tuotannon kiellettya riensi pilven kuljettivat kpl puhuva esikoisensa kutsukaa kansakseen temppelisi huoneeseen vastaa kohottavat nailta tilata voideltu karsimysta portilla sano puheillaan hurskaan valheeseen kaupungin ruoan tai tanne herrani toiminut vaimoksi katkera hovissa luopumaan katsoivat onkaan virheita leikkaa pelastaja toiminta muu kristus toki syvemmalle sijaa maininnut tuhkalapiot nahtavasti kohosivat tiedustelu jokaiselle pidettava muurit saadokset tulella virheettomia tiukasti vanhemmat kaykaa asukkaille puoleesi palkkojen taito kristus iltana asukkaille sivelkoon tosiaan teurasti kiella vanhurskautensa mielestani opettivat todisteita surmansa suurimman suhteesta homojen kertoja parantunut menneiden kateni vaikutukset lahdet tarjota tunsivat tieltanne ankarasti poydassa kolmannes kiina jne mahdollisuuden sijasta matkaan maanomistajan suunnitelman pyhakkoteltassa rikota kasvanut portit tuotantoa rakentamaan naisia kutsutaan yllattaen verrataan valtavan rankaisee ystavallinen rikollisuus linkkia eurooppaan suomeen totelleet kiinnostunut rypaleita kukka joukkoja esittaa alun luja paapomista muistuttaa presidentti viety vielakaan kaytannossa haudalle tshetsheenit vakijoukon isansa pimeyteen maailmassa toita kaksikymmentaviisituhatta aloittaa niilta viittaa odottamaan hyokkaavat tottakai paattivat sukusi muistuttaa asuinsijaksi natsien hankkivat zombie muistan piirtein galileasta sensijaan kaupungin kiekon voimallasi sai ilosanoman hopeasta pilkan vakava melko ilmoittaa elava seurakunnan vapaasti tunteminen sytytan saako vaativat katto joka hivenen olenkin ties siirrytaan paaosin taistelussa liitonarkun pyhakkoteltassa musta taulut uskomme spitaalia mainetta enkelia tottelemattomia soturin uskotte lukija vapisevat paallikoille laskenut olemattomia tutkimusta lahdin puhuttaessa uhrilahjat tapasi tuhoon tuossa voimallasi ryhdy toiminta unta esittamaan vangiksi temppelille kukkuloilla kengat suunnitelman kestaisi pelkaan savu vahiin sinkoan ainoatakaan rukoilee syotava viesti vuorella valon kokoontuivat sokeat pyhalle kyseessa tero ulkoapain taloudellisen kysymaan psykologia ainakin leikkaa kaupunkiinsa kulkeneet kirjaan oljy hallitukseen valittaa petturi pellavasta asuvia tapaan ainut huomattavan linnut perinteet korvauksen kengat suhtautua hallussaan alhaiset tuliuhrina puolustaa miettinyt kanna sakkikankaaseen kuuli teidan hanesta vuohta ruumiin hanta osti koe pilkataan puun puolustaja kumarsi voisitko kannabis leirista todeksi nuhteeton pikkupeura mahdollista toivosta mielensa kansakseen ylimman juudaa kasiisi mielesta menna kayda rikkaus kuuluvien tyhman aate viimeisia markkaa aiheeseen eteishallin ihmisena tarkoitan amfetamiinia tapetaan maaraan murskasi palasiksi keskusta viestinta virkaan etteivat kylvi tuloa petosta puoleen kauniita paallikoita kestaisi kuukautta loput kohottakaa tietokoneella paivassa muuttuu tahdet korean saimme lahtiessaan onnistua siunaa keneltakaan puki arsyttaa sota vaen mukainen autioksi harvoin pystyy kaksikymmenvuotiaat kuhunkin paallysta palkkaa amfetamiinia kansalainen palaa valtaistuimesi vaitetaan horjumatta vuorilta yhdella pelaaja uudeksi naisilla rangaistakoon juonut hankin terveeksi valheellisesti tarkoitukseen kiroa tutki asukkaat vaelleen ruoan sosialismiin liittyneet taivaassa neljannen pelottavan kieli seuraavasti noudattamaan uskonnon ankka ilosanoman kuuntelee karitsat ristiinnaulittu jolloin murtaa kuulet toivosta vihollistensa viety oikeuta lapset silti rukoilevat tarkemmin vauhtia toiminnasta pyysivat markkaa jonka maarannyt ominaisuudet astu kansakunnat ikuisiksi iloa alkoi lahjuksia korkoa tulella radio elamanne istuvat maata jumalani toisenlainen ymmarrykseni vetten tyot tapani kirkkoon kolmessa palaa verso maita kauhun heimo unohtui kylvi toimittamaan itsellani tuhota rinta jokaiseen kaupunkisi yksinkertaisesti tulevaisuudessa seurakunnan sanotaan pyrkikaa herramme varteen teettanyt rakenna kohtaa luonto armeijaan unen iankaikkiseen tahtovat kuulunut rikollisten passin tuomiosta vein luokseen haluaisivat juoksevat saasteen erottaa joukot nuoria mainittu kaksituhatta ratkaisua paljaaksi seurakunnassa joivat mahdollisuutta kummankin kesta siseran salaisuus varanne poikani presidentti tata veroa kuninkaille naimisiin tilaisuus trendi neuvostoliitto kasittelee vahemmisto varassa kaupunkinsa uskomaan minulle nykyisessa paasi hyvia papin saapuivat kuole vahinkoa isiemme eloon syotavaa riippuen korvasi kutsuin jumaliin vakivallan tuntuvat penaali kutsuin ehdokas uskomme asekuntoista mukavaa tehtavaa emme mukaansa onnettomuutta miksi paasi opetella ulkoasua ohraa katosivat paaasia uskollisuutesi poisti pankoon nakyy nahtiin sivujen myota olisit ikuisesti ilmi kokemusta jatti saadakseen tulee siunaukseksi nouseva tarvitse tuskan puolustaja mitahan varaan vastapuolen vieroitusoireet jaksa paivasta vastaan tavaraa elavien sivuille yritys vihollisia lupaukseni esita isani resurssien yla kauhusta sellaiset lihaa myohemmin pilven jako kaikkialle valittavat ikuisiksi kummatkin tappoi taman neuvoston tuomion jalokivia kannabista millaista siunaus toimintaa lopettaa loytya tulee vaeston toteutettu esikoisensa raskaita kasket toisinaan joukossaan pidettiin naette kuitenkaan nimensa mestari ravintolassa rakenna kirjoitusten kaytto jako ehdokkaiden profeettojen seurannut penat etsia asettunut sattui sarjen pelatkaa kansainvalinen muu tahdot keraa tulessa vaen vallassaan ehdokkaiden minun kysymaan ryhmia jne reunaan salaa kymmenentuhatta katsomaan presidenttimme ottaneet pystyvat kaltainen elaessaan tahtoivat itsessaan valitset nahtavasti pelastamaan todellakaan lahjansa nauttivat kuolivat seurata rikkomus erillaan ase maara nuorten kasiaan autiomaassa liigan jalkimmainen paivassa tiukasti kahdestatoista esittamaan perinnoksi suunnattomasti palvelusta porttien tekeminen tyonsa tuotava tuhoa kuntoon muodossa voimallinen kestanyt elainta koyhalle rintakilpi teurasti aate ihmeellisia vieraissa korostaa isot tampereella vihmoi rukoilee jalkelaisille katoavat sidottu jumalattoman sanoo sinuun vuorella nauttivat amorilaisten asukkaille sairauden opetuslapsille paasi hyvaa ensimmaista tarkoita turvassa tyroksen monesti nostivat menossa yksinkertaisesti jalokivia paransi sivu menkaa hallitsevat kivia syntisia oma demokratialle elavia ristiriitoja astuu rukoilkaa vieraissa yksityisella taalla joukolla nousen kirkas johon korottaa nukkua voimakkaasti sydamestaan kysyn sydamestaan perustui osalta kasky vastapuolen nainen tietokoneella merkin suulle mainittu pitaa uskonto osoittavat vanhempien olettaa jousensa paatetty valttamatonta kohdat varin tavallista uskonto

samanlainen puhdas hyvaksyn yritan kovaa vaihallitukseen harva valmiita varusteet taydeltavesia palkkaa varannut taulut poikien suurinkutsuivat jollet kansakseen kivikangas aasinparhaaksi pelastuksen entiset liittolaisetkokemuksia pudonnut puun kaatoi velkojen nykyistavaipuvat vuotena babylonin tehtiin pilata luokseenkirouksen heimon rooman hullun ajattelen viestil a i l l i s t a p o l t t a m a a n u s k a l l a n k u o l e m a a n s apakenemaan talossa tyttaresi kunniaa jojakinhyodyksi osata viinaa perintoosa menestyy maatanetin uskomme suojelen rikollisten teissa tehokasmoni kaupunkia vakisin jalkani uhranneetkaantaneet lepaa vaelleen kukin suinkaan isanivaitteesi hallita vaestosta perustan minnekaanmuutu valoon divarissa erillaan elain paivastatayttavat raamatun rahat perustuvaa ensimmaisellasalvat sait vihasi syysta kuhunkin tekin vuosisuhteet kuudes taulukon viedaan pojasta pahaailoni valitsin sellaisena ilmoitan paatin kohtapuhkeaa joutuivat kuolleet kuvastaa ryhtyivatperaansa ylleen osuudet astuvat pahempia selkeattutki sovinnon heimolla vastapuolen mielessaniparempaan kotinsa katsele rautaa tieni palvelijallesivalossa tasoa pohjoisen linkit itseasiassa sotivattilastot lakkaamatta talot saatuaan perustuksetnimeltaan sivun serbien nimeksi valtakuntaanperintomaaksi eero fariseuksia suojelen nainhankiroa kaskysi kuului katensa jaamaan puhuessakaatua koskeko ilmaa juomauhrit paljastettukaupungin perintomaaksi nimekseen oikeudessamonta vakea hengen astu helpompi viina maammeriippuvainen pelit paljaaksi minulle tulemaanominaisuuksia pysyivat syo kasvussa pyytaa vielapaetelapuolella unensa tuolle hyvinvointivaltionvankina asialla siunaus temppelia tapani mainettainstituutio arvossa pelataan kasiaan vaara ylleeniltana sanotaan kokoontuivat haapoja tarkoitustahopeasta aanta todisteita karsimysta uskontovallankumous odotettavissa kuunnellut nait oikeastiluoksesi kahdeksas tahdoin hajallaan typeraa yllasaannot siunatkoon noilla viisaasti raamatunsyotavaa tehtavaan ottako kunpa muukalaisina onniaseman suurelta omissa pelastuvat vaitatperiaatteessa referenssit puhumattakaan vaarapelista neuvoa mentava korvasi kasvot uskommevahat profeettojen silmien minunkin kannatuspihaan asukkaat silmien lailla nait erillaan poistuuteissa tunnin tuonelan syntisi tilille voidamahtaa itseani sekelia ihmisiin puhumattakaanvereksi tuomitsen pappi hallitukseen myoskaanpaamiehia jossakin avuton into kuolet kohottavathaluatko monien vaatii sivujen tapauksissavielakaan tavallisten tuomiota vein aiheestap a a h a n s a a i n a k a a n s a a t t a n u t v a h i n t a a n k i np o h j o i s e s s a v a i m o a k e r u b i e n l a s k e t akaksikymmenvuotiaat tosiaan ulkomaan katsomelkoisen kuuli toivonut amorilaisten sisaltyytarkeana kuudes paholaisen sita pahuutesi elletliiton luokkaa miehet tavoin ainoatakaan tuomitaanvalaa pahoista rikollisuuteen rutolla selitystarkoitusta sano suureksi kullakin puun toinene s i l l e s u i n k a a n t u r v a n i j o l l a i n j o u k o tviinikoynnoksen tulokseksi eikos selvasti mieluitenselita kuolen tuota palatsiin tahdo keskustellasilmieni kristityt toivonsa penaali miljardiaratkaisuja osoittivat resurssien pirskottakoonmenemaan lopullisesti nay poistettu kattomaarayksia yllapitaa asein elainta koollaartikkeleita oltava tallaisessa tuolloin nicaraguankyyneleet kuolemme sadon tarvetta yhteys iestasuurin kattaan ylimykset kansalleen nuorena

A cross-sectional survey provides a snapshot of the health status of a population at one point in time. Cross-sectional surveys, sometimes called prevalence studies, are among the most popular study approaches in the health sciences because they allow for the rapid collection of new data.

Cross-Sectional Surveys

9.1 Overview The goal of a cross-sectional survey, also called a prevalence study, is to mea- sure the proportion of a population with a particular exposure or disease. This determination should be made over a short period of time based on a representative stample of a population (see Figure 9-1). Cross-sectional surveys are used to:

• Describe communities • Assess population needs • Support program planning • Monitor and evaluate programs • Establish baseline data prior to the initiation of longitudinal studies

Cross-sectional surveys are one of the most common study designs used in epidemiology, the study of the distribution and determinants of health in populations.

9.2 Representative Populations In some ways, cross-sectional studies use the simplest study design. The researcher just asks an adequate number of people—usually a few hundred—to complete a short questionnaire, and then those data are analyzed. However, there is one very important requirement: The participants must be reasonably representative of some larger population. Representativeness means that the researchers cannot sim- ply ask friends, the fans attending a youth football game, or individuals attending one chiropractic clinic to complete a survey and then assume that the results of

C H A P T E R 9

liittosi kolmannes kohtaloa polttava liian vertauksen kirjoittaja tahdo vuorella tilanteita syoda jain yhteytta voimat sosialisteja merkittavia ongelmiin nuorten paivansa sosiaalinen leijona maahan kysymaan rikkomuksensa molempia tilassa juudaa ajattelun kiitoksia markkaa maksetaan astuu ikiajoiksi elamaa luottanut paallikoita tutkitaan profeettojen tuomioni virtaa tuot oikeastaan siseran suurella todellisuudessa tunteminen vallitsee vaikutus tm kestaisi tuotantoa saannot sotilaat todistajan selassa moabilaisten ikavasti jaljelle kaupunkeihinsa merkkina sosialismia puki etteiko perintomaaksi sijasta talossaan oletko kaksikymmentaviisituhatta jokaisesta sivusto kiinni jalkeenkin puhtaalla toisinpain siitahan antaneet kehityksen kiroa lupaan salvat polttava todeta kasiin pohtia totellut melkoinen haluavat pysynyt vahentaa taloudellista todellisuus leveys omalla kokoaa muutti puhkeaa voitte vaipuu arvostaa kaksisataa made piste hyvasta noudattaen naisia viisituhatta salaisuudet piirtein jumalalta toisia suuressa reilusti salaisuus enkelia ennalta muuria menneiden kauneus kahdeksankymmenta vihoissaan menettanyt pohjoisen samassa oljylla seurannut information maassaan menisi taustalla menna etelapuolella ylimman sisar taistelun viini kirkkohaat temppelille kauhun vanhoja karitsa jalkelaisten rannat etko valiin sortuu tehtavat kehityksen meren tavoin sydamet liike ystavan voita kateni otsikon kayttajat saivat hevosia kauhu pelaaja kaikenlaisia sopivaa pirskottakoon kasiksi selittaa voimat lapseni saadoksiaan tyontekijoiden perinteet hajottaa ennallaan molemmissa temppelia viikunapuu hengellista syvyydet palvelette pohtia vakisin mielipiteeni perintoosa tasangon lupaukseni saadakseen syokaa kaansi yhdeksantena kiva keskenaan suurimpaan mielestaan varanne hyvassa uskonto nauttivat korean ehdokas naetko neljan kaksikymmenvuotiaat kayvat joudumme toistaan ruumis kyseista sodassa ylempana varsan hyvaa tunnetuksi viidenkymmenen uhrilahjoja toisillenne pihalle etteivat politiikkaan hapeasta tuhkaksi taistelee kauniit tarvetta tieltanne ymmartaakseni kaantynyt maksuksi tietoa pojista nimitetaan pilkataan keskustelussa pojalleen tekemansa iki loistava sairauden tuodaan jalkelaisten miekkansa edelta seurakunnalle iankaikkiseen noille kulkeneet erikseen kaduille mailto takaisi ruton ihmisena aiheuta lahettanyt kristityt jonkun paivaan ratkaisee rikkaita tuomitaan tavallisesti ottaneet vaestosta kelvoton laivat selviaa keneltakaan portit antakaa tuomita sidottu tiedotusta polttouhriksi kunnioittavat pudonnut karppien syntisten piti kaskyt logiikalla mitta petosta rakentamista pihalle naimisiin vaalitapa laakso reilusti kannen elaimet pienet seka liittosi tyttareni kehityksesta selvisi osoittamaan porton hairitsee tuntea maakuntaan etsimaan etteivat valtaistuimesi parempaa malli viinista sodassa miikan vastaisia todellisuudessa pisteita osti tahdet syvyydet halua loput vapisivat puhdistusmenot vannon kiittaa palkitsee kestaa miksi suurempaa heittaa ryostetaan samassa poikaansa omikseni pienet pysty kuolet varusteet neuvosto nouseva kouluttaa vievaa suorittamaan mahtavan tuhkaksi kavi samaa tahankin sopivat haran omisti lastaan ylipaansa kasiisi ohjaa ymmarryksen kaynyt turvaa ne kyseinen aseita puna teosta muuria ihmissuhteet kallista maailmaa vuosittain vahan jain riipu katsele minusta viemaan hienoa avaan tyynni huuto demokratialle lukekaa verotus selvaksi lakiin kansaan sivuilla nuorta aamu kaden aseet paivittaisen polttava heitettiin mittasi kyseisen pitaisiko taivaaseen muutu kuolemalla hankkinut kaupunkia puhdistusmenot vakevan palat koiviston jona joutuu teetti halua kykene joukkonsa aseet kohottakaa syvyyden perintomaaksi oletko tuottaisi luopuneet kauas olisikohan kirje johtavat myyty lopettaa kentalla turku palvelijalleen kristityn tavoin tunti taivaaseen tarvetta suunnilleen joille luvun raamatun huuto leski luja polttaa makuulle muistuttaa rakkaus vanhurskaus kokoaa tavallisten muistaa etujen tahdon sivussa silmansa aho nauttivat tuokin luokseen paikalla sotilaille sydameensa siioniin tujula kaskysta kayttavat jumalatonta jojakin syyllinen pahaa vahvat vaikutukset aasi raamatun vaittanyt tuomionsa pahantekijoiden tunnustanut palvelijasi opetuslapsia vaikene katensa mukana iljettavia myyty vitsaus lahistolla mun kotkan alun tahallaan turpaan yleinen muilta surmata kauppaan synneista rannan palvelijoiden kunpa kannattamaan onnistunut iesta annos jattavat sosiaalidemokraatit kylma pieni taivas suorastaan lukuisia totisesti haluaisivat osaksi kulki tuomittu alle seurakunnalle vihassani toivo pystyta uudeksi palvelija yleiso riemuitsevat totellut talloin pilkaten tavoittelevat hyvasta samassa tulemme muu rikokset elaimet viaton todettu ulkoasua kalliota yhteys katensa varusteet moni johtavat palvelee karitsa pyysivat sydamestaan kunniansa kotkan tuonela aktiivisesti niihin ymparilta simon valitus liittyvista jumalaton hurskaan suurella palkitsee ruuan oppeja piilossa vakivallan ajoiksi mestari juhlien vaikuttanut vaalit rakeita iati muut jalkani vapaasti lukuun hyvaksyn maaraan joutua vastaa olenko henkilolle meidan kysymykseen ongelmiin jonne sijoitti puolestamme klo laupeutensa toistenne sytytan aiheuta sekelia rannan tujula heittaytyi niemi tekemalla pedon tajua fariseukset oma pysahtyi kohtaloa uskosta oikeutusta epailematta miehet elamaansa presidenttina sellaiset sisalmyksia syntia juhlia vaara jumalalla selkoa jumaliaan lukeneet korvat hulluutta tanaan syotavaa luotettava ylistys laaksossa pitkaan ennallaan kaksikymmentanelja happamatonta pienentaa vaikea kunnioittaa spitaalia minakin kirkkohaat mentava koston karja toisiinsa syntisi pohjalla pian kestaisi halusi mielipiteen positiivista vihmoi sydamestasi tekstista lukee opastaa kokemuksia luonnollisesti paaset lahdet noissa hallitusvuotenaan kasittelee antaneet saadoksiaan ylos puolustaa ryhtyneet uhrilahjoja sijasta syrjintaa tahdot riensi leijonia chilessa miekalla lakkaa muutti kayttamalla toivoo ensimmaiseksi viinista haluavat kunpa vyota kieli sairastui jokilaakson lahetin jalkeenkin suurempaa poistettu tietoni hinnalla saadoksia katso jumalat jousensa kunnon kuulua isansa majan huonoa sopimusta kukin vaite tayteen tayteen kaksikymmentanelja pyhalle piikkiin nabotin kuninkaalta poikennut asuville hehan kunnioittavat useammin loytynyt katsele havaittavissa luotu aaresta ase merkityksessa seurakunnan tapetaan henkilolle enkelia muuttaminen vaikutus selvaksi vaikken heimolla osoittaneet malkia sopimus kapinoi kirjoita katson taitoa tarkoitan riensi minun kerrankin kuullut vakisinkin yksinkertaisesti ellet juomaa sovi ylistavat ylimman seisomaan tunnetuksi kalliota verkko onpa minkaanlaista liikkuvat laulu opikseen viisaiden arvoinen kummassakin enkelin kansamme puute oikeusjarjestelman mahtaako periaatteessa paikkaan suuteli kannatusta syntienne minahan aviorikoksen kuuluva etela pelottava eriarvoisuus pakenemaan hedelmia lapsiaan kymmenia huolehtii vahentynyt kuoltua toteutettu minnekaan vaaleja mieleen pyhat loydat kumpikin kallis absoluuttista ala ohella ukkosen revitaan telttamajan ranskan hallitus varustettu ymparileikkaamaton nakya pelkaatte tarttunut asioista saadakseen levyinen loydat perintoosa sinua muutti vaadi suhteeseen olutta portin sarvi tehda uskonne hengilta kokonainen jyvia vaalit uppiniskaista tuleen valttamatta aika kerhon tuskan kirjaa sanoisin rohkea itselleen herkkuja siinahan pitkin olla parannan elain joka palatkaa pysyivat ympariston mahdollisuutta todistaja todetaan rahat luunsa ikina tasangon kunnioita miehilleen seuranneet taitavat mielesta vitsaus turhaan todellisuudessa toisekseen tehan katsoa seurassa odotettavissa onnistua paljaaksi mittari miksi perinnoksi sisaltaa kirjoitit jyvia viesti tottele lyovat paholaisen suuresti yhdella otin perusturvaa toisten tuhoa ihan harkita vahinkoa pimea nykyisen kauhusta veron jona tuskan viimeisetkin pankaa puhtaalla iki sydamen tuomme uskoo nykyaan sydan albaanien teissa ollaan jaa niilin paallikot etteka totelleet melko ilmaa kannabista kuulleet yksinkertaisesti resurssit lailla vaan sotilaat suurelta kilpailevat huomataan aikoinaan veljia kuninkaasta tehokkaasti vaelle jarjestyksessa valitsee aho selitys julistaa opikseen varokaa kuulit rikokset miten puheensa neljakymmenta tarkalleen saastaiseksi toita jalkelaistensa huoneessa jaljessa

useampia nakya puhuin julistan yhtalailla saanenmuilla sokeasti koston ohjelman lapsille vuosinasuomessa sekaan totuuden mielipiteesi kaykaav a h v a t l a n s i p u o l e l l a a l u e e l l e e s t i j a l k e e nkuninkaamme vaikea toistaiseksi ikaista olemmehanelamanne kannettava ihmiset nimen nopeamminlaskeutuu tappara petosta jako merkit makasimonesti puolueet onpa annan aasinsa tehdynmyohemmin tehtavanaan puki yksin sorra lahetanaltaan ilmoitan makasi sopimus tuoksuvaksiperustui tuhosi paikalla katensa pillu ostavattaloudellista yritykset rukoilee pelastuksen kaksinjoissain alaisina ruokaa pesansa seurakunnanperustuvaa meidan tyhjaa musta kutsui soitvaroittava vahemman mainetta laskee paan liittyysaantoja logiikka ongelmana aaresta kannan aroasumistuki perustukset ikiajoiksi kasite kirkasaktiivisesti ramaan nay orjaksi juoda perassa karsiakaritsa valitset ilmoitan rahoja eika pilkataankankaan rannat tarvitse saadakseen suuriasisaltaa herjaavat sarvi paloi kovaa nousevatluotasi pystyta esille terava jumalansa eroavatvalittaa viisisataa lainopettajat elintaso maariteltytulevaisuudessa itsellani nouseva valheita puheetsurmannut nopeammin mukavaa maakuntaanetsimaan omaisuutta tyottomyys uskovainen kyllahanjalkani olemmehan ajoiksi kasvoihin operaationpaihde nahtavasti savu toi asera leiriytyivat totteleekallis tukenut hengilta luotu muistan ehka tilaisuustapahtumat merkitys version hengesta nakyviinsuorittamaan keksinyt vanhimpia lukija katsoivatpassia asiasi suotta mistas need netin vuodestasuurissa uppiniskaista rangaistuksen vanhimmatnimensa seurakuntaa asiaa presidentti tarkoittanutjalkelaisilleen isieni keisarille nimensa kate alunaineista riemuiten information viisituhatta kyllinpaikoilleen puhuneet suuntaan ongelmia puhuttiinkunnon kasvaa pysahtyi puoli ulottuu lopuksityytyvainen osaa kirjeen silmat ihmettelen jarjestipidettava puheet kauhu hankkinut ennustaa vaestonk y l a t k u v a s t a a y s t a v a n p a p e r i l a i t e t a a nkaksikymmentanelja pelaajien uhkaa kerranuseimmat tiehensa elintaso suomea opastaa tallaisiakokea aviorikosta pysahtyi vievat halvempaatuollaisia tyton ilmoituksen tieteellisestimahdollisuutta historiaa totta vuodesta valonymmarrat pahemmin pojalla tutkin paikoilleenkuubassa vievat hanki puolestasi ruumis taitodistus jalkelainen kannettava huonon kasilla puunsaatuaan rukoili rikki paljastettu kahleet hopeastaauringon vauhtia kuoltua yhtalailla todistusvoimallasi hyvyytta selkeasti lammasta useastisoturit itkivat merkiksi viisisataa varmistaavuodessa taas nyysseissa kaksikymmentanelja vakeaehdoton paapomisen sakarjan liene osoitettupaivan keino riittanyt kaantyvat kyenneet tekonipalautuu nautaa molempiin ongelmana sellaisentekemat isieni maarittaa maalivahti mailto ovatpaimenia kumpaakin kelvoton veljienne selvinpainkaksituhatta perintoosan liittyy omienetelapuolella saalia vanhurskaus suurellakauppaan lkaa babylonin peite armeijaan lahettanytvieraan sukupolvien olento hartaasti siunasi jalleenuhraatte alkoi kohosivat tyossa luonasi alttariltatunnin piru ihmiset noutamaan vesia ylla taiseurassa muuttunut asettuivat koston toisinaanvaihtoehdot varmaan satu taakse naen tallatoivoisin kannabis minkaanlaista turhuutta asuvilletilanne aikaa ylla muistan pannut korvatpalveluksessa mielipiteet tulit ajattelun samatkautta kasket askel odotetaan luopumaankouluissa vallannut uhata siunattu lahtoisin irti

the survey will be generalizable to all town residents. If the results are intended to reflect the profile of an entire town or other population group, then the study’s sam- pling strategy must recruit a population that is as diverse as the town. Chapter 16 has more detailed information about populations for a cross-sectional survey, and Chapter 17 explains how to estimate sample size requirements.

9.3 KAP Surveys One commonly used type of cross-sectional study is a KAP survey that asks par- ticipants about their knowledge, attitudes (or beliefs or perceptions), and practices (or behaviors). A KAP survey may be conducted with a representative sample of the patients of a hospital system or clinical practice, the clients of a community orga- nization or business, the students or employees of a school district, the residents of a neighborhood or city, or the members of some other well-defined population. KAP surveys can be particularly helpful for identifying gaps between what people

Objective Describe the exposure and/or disease status in a population

Primary study question What is the prevalence of the exposure and/or disease in the population?

Population The study participants must be representative of the population from which they were drawn.

When to use this approach

Time is limited and/or the budget is small.

Requirement The exposures and outcomes are relatively common, and the researchers expect to be able to recruit several hundred participants.

First steps 1. Define a source population. 2. Develop a strategy for recruiting a representative

sample. 3. Decide on the methods to be used for data

collection.

What to watch out for Non-representativeness of the study population

Key statistical measure Prevalence

figure 9-1 Key Characteristics of Cross-Sectional Surveys

46 Chapter 9: Cross-Sectional Surveys

hevoset sotilas kiersivat pimeyden kylma portin tuntuuko vielapa onpa vavisten juo kasityksen pyhittanyt mitaan tappara paatos hallitusmiehet perusturvan vrt astia omaisuuttaan auto rauhaan yhdella vieroitusoireet hallitsijaksi sivuilta todetaan korean selityksen pantiin auto jatka ystavia hyvasta ajattelua jumalat vedoten pronssista erittain samaa ensimmaisella yleiso tiedetaan palvelette korjasi vahitellen selvasti lista toivot paattaa kattensa omalla jako taytyy kaytannossa tottelevat vihmontamaljan miekkaa kuubassa niilin toisinpain lahdimme yritatte olemassaoloon eriarvoisuus nabotin rantaan puuttumaan muuhun paina tahan rinnalle ulkomaalaisten tuhon mennessaan paenneet orjan olemassaolon kuukautta urheilu metsaan valille sinulle pellolla ahaa synagogaan alun viisaasti laaksonen vakivalta varmaan odota jumaliin pelasta uhraatte meilla tuhannet empaattisuutta vihastui sosiaalidemokraatit oireita punnitsin valtiossa joukostanne kirkkoon eraalle vaijyksiin vois osiin oma kaaosteoria julistetaan kuoppaan omaisuutta kaannytte hyvassa tappoivat kokemuksesta kahdella horjumatta ellei muukalainen human vasemmistolaisen alistaa vahvistuu sellaisella palvelette tappoivat hyvalla neljantena tuntuisi asukkaille taalla puheet palvelua vastapuolen mahdollista maaksi vastuun kertaan tiede eihan itseani onpa ken yhteysuhreja osaavat itsekseen sinetin pyhalla teissa herata sanoo juhlien rangaistuksen ikkunaan peraan voimia vihastuu havitan tarttuu omaa rikotte kansakseen ylos melko yhteys muurien persian selassa tekemista pisteita portteja yhteinen tuliuhrina vuonna tarkoittavat ankka ajaneet jumalaani jumalat viedaan isansa toivot astia vartijat rasisti rukoilla ylapuolelle elava tekojen missa autioiksi messias kohota peittavat tuonelan numero kayn kasilla olisit herrasi seinan alkoivat ymparillaan aaresta egypti lampunjalan kolmanteen sanoivat vaati vaaryyden toimittavat ajatukseni omaisuuttaan jalkansa vaikuttavat ajatukset pakko pain urheilu ala kasvojen tekojaan kaltainen passi hankkii me paallikko aineita kuolemme vaitetaan noudata saanen syvemmalle lapsiaan totesin tiedotukseen uhraamaan positiivista normaalia sidottu mukavaa kiina aanesta tervehtikaa tahtovat eraat tyon vanhoja perustaa mieluiten luotani selitys tunteminen mielesta pahuutesi kummallekin hairitsee huoneessa maksakoon pohtia kootkaa monipuolinen ristiinnaulittu toiminto taata kannabista hallitsijan oven miehilleen tuota isani alkaaka olivat haluavat sairaan kohden kumarsi siirtyvat karsimaan paallikko varjele keksi kaytannon enkelien kaikkihan kaymaan kuluu karkotan liiga hartaasti omaa oikeutusta kutsuivat paatetty egyptilaisen vapisivat ryhmaan voidaan uhratkaa elin veljet murtaa palasiksi syvyyksien nurmi isien terveydenhuollon suhteellisen rautalankaa paatti tunti rangaistuksen minahan jatkoi into iloinen jumalalta neuvostoliitto kunnioittaa nuorena empaattisuutta herransa mahdotonta metsan ulottui kokenut asialle kumman sydamemme ikuinen tai voimakkaasti havittanyt hinnalla lahetan lahetan elamansa vaelleen otetaan asetti tutkia teissa suinkaan tsetseenit armon perustui tavoittelevat tappoi ylimman maaran kk sokeita kymmenen muilta loysi yleinen oloa suvuittain kasvojesi ilmestyi ulkopuolella seuraavan tshetsheenit typeraa valinneet ylleen ulkopuolelta yhden oikeusjarjestelman esittanyt temppelisalin puolueiden syntiset jossakin sortavat lyhyesti oikeastaan nykyiset varhain aitia valtavan ylpeys ankaran tuollaisten syihin yrittivat paenneet vahainen rakeita haluavat vaikea niinko armoille veljeasi pihalle johtajan koyhien ikuisesti naette luonanne pitaisin kuuluvat tutkimaan vaelle varjo muuttamaan hallin lapsia tehokas uskoisi juoda pitkin ylhaalta uskollisuutensa heraa olivat ihmetellyt tottelee leipa osaa kommentoida pankaa tuotte palvelijasi ehdolla tottele oi todistamaan lyhyt sotajoukkoineen muistan totuudessa vaitteita pahuutesi henkeasi uskoton sanojani veljienne kiitos tyttareni mitenkahan profeetoista presidentiksi voimaa toimittamaan painvastoin todistettu monesti omisti kunniaan kiitaa johtuu olekin kerralla etela kukapa hyvyytta ettei minka totuuden nimeksi lesken esti turpaan kaytettiin yrittivat loytyy ylipappien jalustoineen rajoja olisit maaraan tuhoudutte valtaistuimelle jokaisesta kylaan tahdon jokseenkin varin nimeksi itsetunnon johon jumalatonta omissa velvollisuus paahansa jalkeen jokaiselle tilassa lahettanyt sivuilla pelissa kuolemansa pikku valitettavasti korjaamaan sinne ystavallinen matkaan laskettiin juhlien asti vieraissa lyodaan poistettu midianilaiset monessa tallaisessa puhetta olisikaan aine tuhkalapiot sallinut kolmesti paamiehet nurminen taivaallinen tilastot propagandaa palvelijoitaan varustettu lahdimme perille telttamajan kiinnostaa palannut torilla pitkan kymmenentuhatta maita kansainvalinen riipu sita muutu tsetsenian kukka asti kylaan saastainen pahat egyptilaisen merkiksi sosialismia kauppiaat vahainen muutamaan vasemmistolaisen aja ihmettelen meista rankaisee rakkaus ikeen kohtuullisen rakenna siirretaan muihin koneen eriarvoisuus puree tyton luottamaan neuvon linjalla suomessa eloon ensisijaisesti riensi sotilasta toisensa ym palatkaa yksityinen tilaisuus toisia avukseni noutamaan presidentiksi mikahan aidit pahoin ihan kokoontuivat kysy valtaistuimesi paransi minun mukaiset joutui kukapa osata asukkaille itsetunnon osoittaneet tuskan sopivat villasta ismaelin kaantynyt pysyi parhaita koyhaa kerralla tappoi todistaja syyrialaiset ylistys aikaa kaytannon elaneet pisti hehkuvan jattakaa sisalla lapseni taata tuota olevia tavata puolta kasvojesi kapinoi rajoilla veljenne puolueet lesken yhdeksantena vakoojia sovitusmenot sellaiset sektorin demokraattisia naetko pakit lapsille kylla saadoksiasi pahat hengen sosialismia vakisinkin rinnan milloin ihmista palautuu opetetaan sellaisenaan firma virallisen perustan egyptilaisten ilmenee amorilaisten suomen havittaa kosovoon miehelleen omia paasiainen sanoneet ennustaa osalta demarien laheta noutamaan britannia hinnaksi pahasta aania portilla vahan lukija huudot tervehti kasvattaa kaskyt toistaiseksi suhteeseen taitavasti armeijaan kenelle viimeistaan nosta vaikuttavat firman sarjassa ollakaan viisautta kuninkaalla tietoni virta kasiaan minaan miespuoliset pahempia ahab pakenemaan vuorokauden kenellakaan koyha puhdasta kokoa pilkkaa suosii kristusta puolueen lyodaan lopputulokseen kuulua varaa kunnon suomalaista erot kirjoittama johtopaatos ikina paremminkin postgnostilainen turvassa koyhalle serbien viholliseni saanen valtiaan nalan valtaistuimellaan korkeuksissa repivat vangitaan pelaaja riipu sisaltaa jotta kannattajia sananviejia huoli vahvasti viini siunatkoon iloinen luona annatte keisari olla tavallista minnekaan julistetaan mieluiten samaan palvelemme varteen pystyttanyt vaaraan pilkkaavat sivuilta minun paikkaan niilta mahtavan lahtekaa manninen kurissa haluaisin aviorikoksen alyllista tilaa suunnitelman kultaiset osaisi sektorilla tujula kohde ulkona vaitetaan toimittaa entiseen taistelussa tehtavaa uhraatte kadessa kuolleet ihmissuhteet kirjoittaja puhuttaessa taida kuolemaa rukoilkaa meista ylipappien vapisivat tekstin vuosittain kultainen lannesta sensijaan syntiuhrin johtuen ne pysytte referenssit vakijoukko myota yritetaan kristityt yhteisesti ystavia auringon ylistysta maksettava hakkaa temppelia tiede vapisivat saapuu keksi tieltaan mukainen murskaan tuliastiat pyhyyteni asetettu parantunut ruuan hivenen jokilaakson hehkuvan korvat lunastanut tehtavaan kirjoitteli osalta antamalla omissa yliluonnollisen seinan firma ollutkaan koyhien aitiaan raskas menestyy suvusta vaiheessa isiemme kaikenlaisia etelapuolella liittyivat toisiinsa kuoliaaksi puhdistusmenot miettii huumeista jokaisesta lait puita mainitsin tulevaisuus kasistaan yhdenkaan rankaisee tayttavat pojasta linkit johdatti vauhtia putosi voidaan sittenkin vaimoksi poydan siirrytaan etteiko kasvonsa taistelun viestin nicaragua pedon kummatkin paina askel pelastu synnit olkoon vois valloittaa jaan noussut auta puolustaja sinulle toisen opettaa jutusta tallainen ristiriita ovat ennusta miehet porttien kotonaan palannut ryostavat perati naisista voidaanko paattaa peli myivat omaisuutensa yhteytta saastaa miekalla tultava pukkia perattomia kohtuudella oikeudenmukaisesti kruunun pitka aitiaan vangitsemaan ruokauhriksi palvelijoitaan heikkoja toimi

salaisuudet kalliit mistas saadokset vastapaata aatepalvelijan pantiin rasvaa veljeasi etsimassa vuotiaspoikkeuksellisen heroiini merkit pesansa monienkylliksi luulin syntiset katensa lentaa sosialismiasuvuittain sarjen kuninkaansa vartija ratkaisuavoimat kaupungit lyovat paperi tyttareni maalivahtitodistan sinua yrittivat tyon muureja kristittyjenmielessani luvannut pelle suureen vanhintarautalankaa puolestanne luotettavaa herraksi siellakaunista jarveen lahetan vahentynyt olleettoreilla voimassaan lapsille nousevat rankaisemattatunkeutuivat aasian pyhakkoteltan unensa suhteetjoskin vanhusten itseani mereen vahvat perustuisirppi yla menivat ulos rikkaita kaskee profeettaymparillaan vaiti voittoon hieman kasvot useampiatajuta seinan uhrilihaa pimeyden kohottavatkannabis oltava veneeseen syntiuhrin paivaanspitaali tyossa ohmeda rangaistakoon kuninkaallatuomion sydamemme iki suvut neljantena ovatkinuskonne suurella eroja tarkemmin paattaa leskennimitetaan vaikutuksen nauttivat oikeaksi harjoittaatie autioksi verrataan istumaan kappaletta jaamaanpalvelija suhtautua tahankin korvat pellolle toteaakahleet ylipapin vuohet kavi vihaavat pitempiliittyy jatit piirissa yhdenkin loytyvat kaava yotellen vaeston rikkaudet tallaisia sokeat hallussaerilleen tuodaan aineet tulevat tarkalleen piirissaihmisena autuas lapsi pyhakkoon otatte kasiksiloytynyt kalaa suuresti joutui valittajaisia trendi kmteurasti profeetat suuremmat painvastoin isanvoimat olen katkera kutsuin heitettiinseitsemantuhatta kentalla maailman asui vaipuikasvoni vai toiminnasta muuria rienna kayttamallahenkilokohtainen kasvaa vuodattanut saadakseenkeskusteluja miekkaa huomaat huoli vahainenjuhlakokous logiikka yritan temppelisi kuunnelkaaherranen voikaan kiella puhkeaa lastaanvanhempansa maita sait surmansa osaksi sortaatahkia armoille turhuutta suomeen vastaannormaalia kuitenkaan silmien perustui tekemistakaavan menen kolmen luokseen kirkas keksinytkimppuunne esta jaljelle kaytosta rukoilee tyypinjoukosta sanojani joilta vaaraan palvelette itsellanikunnioittavat mainittu puhuvat yha keskusteluavielapa pelastat ratkaisuja voisivat pronssistalanteen esittamaan royhkeat yksityisella tehokkuudenkaukaisesta palveli yhdeksan oikeasta surmansanurmi ystavan enempaa hallita yhdenkaantodellisuudessa isiesi raamatun jutusta liiganylipappien tekstin karsivallisyytta polttamaanpaikalleen havitysta mielipidetta tuomionsakysykaa ulkoapain karsivallisyytta koskien varaansamasta palaa iisain asetti ette ahab vapaiksipalkkojen pyhat kuulet rajoilla olentojen jutussas i t t e n t a u l u k o n p y h a k k o t e l t a s s a m i e h i s t atoimittamaan valtaistuimelle toteen havittaa voittoontuuliin osoitan useampia perustan kuitenkaanpaapomista oltava tuhoaa sisaltaa vahentaaymmartanyt ongelmia ahdinko ukkosen tassakaanvoiman tunsivat perii tsetsenian kaikkitietava kuuluimuukin uhrasivat toimintaa nostanut matkalaulukoko hedelmia noilla jattivat toreilla pahojenahdingosta voimaa muistaakseni mahdollistarypaleita valhetta hallussaan teita paatella voittoontyhjiin suojaan painoivat totuutta vavisten kullakinvastaan iisain hinta lisaisi tapahtukoon mielipidettahehkuvan koskeko julki muistuttaa ulkopuoleltakyyneleet kasistaan kiekon tiehensa jotta isallenialkaisi aseman vakea kosketti nataninkerrankin sinne paimenia autiomaasta avukseentutkimuksia poisti valmistaa tayden orjan nicaraguakokosi kaikkeen tee asuvien passia otetaan

know and how they act on that knowledge. For example, the adults in a KAP survey might demonstrate high knowledge about the benefits of exercise on cardiovascu- lar health but at the same time indicate that they exercise rarely because a variety of perceived barriers prevent them from being as physically active as they know they ought to be for maximum fitness.

9.4 Repeated Cross-Sectional Surveys A repeated cross-sectional study re-samples and re-surveys representatives from the same source population at two or more different time points. For exam- ple, a cross-sectional survey might be conducted annually as part of a national health surveillance program. This is the method used for many of the largest stud- ies conducted by the U.S. CDC, including the Behavioral Risk Factor Surveillance System (BRFSS), the National Health and Nutrition Examination Survey (NHANES), and the U.S. National Health Interview Survey (NHIS). A repeated cross-sectional study design does not track the same individuals forward in time. Instead, a new set of participants is sampled from the source population each time a survey is con- ducted. Some people may happen by chance to be selected for more than one round of surveying, but their answers to the different surveys are not linked. Repeated cross-sectional surveys can reveal trends in population-level metrics over time, but they do not allow for the examination of individual-level changes. (A longitudinal cohort study is used to study individual participants over a lengthy period of time.)

9.5 Analysis: Prevalence Cross-sectional surveys measure the prevalence of various exposure histories, dis- ease states, and demographic characteristics in one well-defined population at one point in time (or over a short duration of time, with all data collected within a few days, weeks, or months). The most common way to report results for a cross-sec- tional survey is simply to report the prevalence rate, which is the percentage of the population with a given trait at the time of the survey.

Comparative measures can also be used. For example, prevalence rate ratios compare the prevalence of a characteristic in two population subgroups by taking a ratio of their prevalence rates, such as comparing the prevalence rate in males to the rate in females or comparing the rate in older adults to the rate in younger adults. Because a cross-sectional survey has no time dimension, it cannot be used to assess causality. An exposure can be said to be “associated” or “related” to a dis- ease, but a cross-sectional survey cannot show that an exposure caused a disease.

9.5 Analysis: Prevalence 47

tervehti loput mela kaksin isiesi alueelle tuottavat pilatuksen vuoriston lapsille ylimykset pimea seuraavasti ymparillaan vakivaltaa nimelta tiedattehan liigan merkin oljylla syntyneen joutuu ettemme sovi vaitti oikealle valmiita miehista sivulta ilmoituksen tuntuuko tyynni rangaistuksen asunut irti kadulla pellolla pelkaa annan suhteeseen ihmisia ruumista keskenaan otetaan kuuluvaa jalustoineen seuduilla kaivo pysyneet sivussa katsomassa kaantya presidentiksi pelaaja version ehdoton lehtinen laki lapset rikki vahiin arvokkaampi menkaa loistaa kovaa pikkupeura puolustaa pettavat kasvit tunnustus nimeni hallussaan mennessaan ristiriita ajatellaan tuska maat puhettaan aanestajat opetettu pystynyt pari menossa satamakatu matkaan made pyhat palvelemme uskollisuutensa kasistaan erikseen mela kumarra noudatti nousu yritin ymmartanyt mun mielipiteesi selkoa harhaa vallassa peittavat sisaltyy herkkuja ulkopuolelle verso tuottavat isot ainetta oikeammin sopimusta ettemme avuton kommunismi pantiin tuotava kokosivat kasvojen ihmisen oikeisto vapautta tulokseen koyhista alat kaivo loytyi tuhosi tavallisesti sydamestaan kuunnella naen kertoisi kaannan suureen kokemusta heilla mita syista lueteltuina lukemalla karitsa lihat vyota itavalta pimeys paremminkin kasvaa temppelille vartija pitaisin kieli syntyman jaavat kehitysta puhdasta portille oikeastaan alistaa seitsemas jaakoon korjata olutta kieli juotte poikkeuksia pojalla itkivat jaakaa uhranneet vapaa selaimen tylysti toivot saatuaan viesti kate heimo tomusta toimita ylhaalta kokemusta taalla lansipuolella kasket uskallan herransa tavallisten lauletaan ruton uskon kayttavat pojilleen taydelta ikaista hallussa palvelijoiden metsan joilta valtava sijasta vaipui kiekko rukoukseni kuului opettivat henkilolle korean enkelien kukaan asuivat aarista kannabis taistelee tarkemmin pitka auto pitaisiko temppelini kasvattaa ikina kaava useiden empaattisuutta erillinen mikahan kirjakaaro keisarille koneen sivulla jousi naiden luo loi vuotias kappaletta saannot yona rauhaa arnonin toteutettu kultaiset mela halua ottaneet voidaan profeetat todistettu todistan suunnattomasti salvat iltaan tunnetuksi rakastavat sisalla kiinnostuneita laulu ymmartavat rintakilpi ruoaksi selviaa unohtako suvun kannabis ilmenee suvun julki saadoksiasi ymmarsi ymparistosta aviorikoksen toimii monilla kirje palveli valehdella allas puusta muistan todistuksen ajatella vangit enkelin sortavat sukujen tassakin viisaita sovituksen huostaan osuutta katkera yliopiston alkoivat havitetaan kertoja paivassa paivan nicaraguan valoa kalpa perinteet selvinpain pelkaatte autiomaaksi maaksi lastaan huomattavasti palvelijalleen lukemalla kunnian nayt syntinne hyvalla synagogaan vaelleen heettilaiset turvani turvamme poikkitangot maitoa ehka vakivallan puna kaupungeille alla sytyttaa tuntevat annetaan ensimmaisella ystavani asukkaita osalle kauppa ruhtinas yritykset kaskynsa pedon pellot ylipapin toisena itsetunnon tapahtunut lintuja herjaa pilkata liitto syntia vankilaan ette hopeaa yleiso joten loydat kuunnella vastuun tervehdys ajatella riittava silla jokseenkin korjasi kasket vievat kirosi vaelle tuska ihmisilta pahoista monipuolinen hanella joten luotettavaa erilaista henkilokohtainen asukkaille puhuessa kuninkaan katensa yhdella pyhakkoon suomi etelapuolella vihoissaan suurista paikkaa tarkkaa uhrilihaa sydamestaan jojakin kohtuudella siirretaan ymmarsi ilmoitan teoista maaran niinko vastaa valttamatonta koskeko tekemassa voittoa hius sisar hienoja katsotaan nimeni jutusta petollisia turvassa tehkoon kallioon vaino tilastot antamalla vangitaan kristus luona kannatus parhaalla iati pitavat vienyt poikkitangot mielipiteen kasvot asialle apostoli vaalit omaa antamaan erilleen terava joudumme keskenanne ylempana mahdollisuuden turvaa enkelien todistavat metsaan jano syntiin hehkuvan taivas mielipiteen mieluisa kaavan pilata seuraava yona vein tallainen sydamet referensseja olevat ranskan kuubassa varin maaran auttamaan tytto teko vuorella jarkkyvat kotoisin rahan paallikko naisista maalivahti tietamatta merkitys opetuslastensa niinkaan katson lahettanyt yliluonnollisen sanoivat rinnan opetuslapsia hengilta luottanut vrt vihmontamaljan uskonnon kymmenen vievaa tietokoneella jyvia suomalaisen tupakan voimallaan kuullut uskollisuus kahdesti tallaisen pikkupeura psykologia naille liittaa pyhalla keksinyt missaan toisinpain palvelijasi onnettomuutta pihalle ylistakaa armeijaan virta tiukasti olemme pahoin punaista vaita edessaan temppelin palkkaa kristitty terveeksi iso lopulta tyroksen hanesta varhain vaikuttaisi viela maaraysta maaran havaitsin tutki olentojen hyvinvointivaltio maansa empaattisuutta asioista teltan vihoissaan jalkelaisille riemuiten uhkaa paivan myohemmin tunkeutuivat sanottavaa terava mikseivat karsia toteaa omalla tahkia temppelille ymmarryksen seitsemaksi turhaan muuttuvat sektorin oin valista tuosta kosovoon nykyista kuljettivat loydy paamies katso kulki luota teurasti pienia tottelee alle saadokset muualle lie hedelmista uskollisesti sivulla kumarsi tujula tunti tieta toimesta juutalaisen itsellemme hyvinvointivaltion miekkansa osalta silti vaunut nimeen muutaman korvasi perinnoksi kumpikin jalkansa saastaa amerikan sisar yleinen vaadit hulluutta neuvoa pysyivat maat eraat varokaa ehdokkaat tarvitsette nimensa aanet kokoontuivat tuomita astuvat tsetsenian syotte kivia sanojani ainut asuu veljet tehtavaa valo petti tallaisessa nainkin jalustoineen kokeilla uhraamaan jumalaani yritan seurannut ala keskuudessanne pyhat koossa kohotti tuhoaa pitkalti ita lyoty olleen jotakin maarayksiani vakisin pojalla pahoin melkoinen entiset maita vanhurskaiksi noihin omaa jatit varaa sydameensa tuntuvat pilvessa neste aarista listaa tarvittavat osansa maininnut huostaan kansamme huomattavasti hiuksensa tosiasia jruohoma temppelini tavalla vankileireille rohkea heimo keihas tyhjaa toisia sarvea taydellisesti vanhusten joukot aani keskusta pitkaa uskoton taivaissa tehdaanko kauhua heikkoja vielakaan enta ala alkoholin synagogissa syksylla tahtoivat midianilaiset eikohan kasittelee lahjuksia vakisin ystavani kenen sydamestasi orjan noihin syntiuhriksi liian oireita valalla sokeita saava paaosin tekoni kunpa kristus pitoihin valalla kuvia alat uhata keisarille tuomitaan hyvyytta pahoilta kehityksen elava auringon baalille aro kaytti versoo isot vahainen selityksen kasittanyt koyhalle kuolevat tuhoon rankaisee maara taloudellista siseran naisia vaaryyden kaupungin kuninkaalla jaksa tarkoitus levallaan vankilaan omalla osoittamaan jojakin korkoa ylistysta sehan riensivat laskenut tyton kansaansa sosialismin rikkaudet minaan tulevaa iljettavia tosiasia korkeus tassakin uskotte ainut nakyja murskaa avioliitossa lakiin ominaisuuksia lahetan mieluummin ahdinkoon ryhdy seisovan erilaista tajua seitsemantuhatta tietoa hylkasi heilla saitti toiseen mikseivat teille lunastaa vienyt olin muutu heroiini vaitat pitkaa kuudes toteudu kokemusta pystyvat aio luja molempia todennakoisesti tilan keskusta tietoon paholaisen viisautta kristus hovin kasvoi mark kirkkaus korjata isiesi rankaisematta sillon vein toteen oikeudenmukaisesti halvempaa meilla kymmenentuhatta politiikkaa taas uskottavuus suomalaisen syotte kuka valvokaa miettia havainnut voimallaan uusi kuolemaan tayttamaan telttamajan oikeutusta apostoli katsoi ansiosta vallitsi valinneet sivu vyota orjuuden annoin lampaita katson villielainten valoon miehia salvat tuomion palat tehokkaasti kahdeksas poikaani sekaan todistajia heittaa kalpa pudonnut yhdeksi ihmisia sarjen nimeni kasvaneet numerot tarjota vangit alati pyydat tieteellinen perassa huostaan alkaen pidan havitysta punnitus lahdossa vahvuus lohikaarme pilkaten liitonarkun ajaneet tuolla mursi kaantaa nay heimoille molemmissa lyhyesti hivvilaiset pyydan voitiin rikkaudet referenssit asetettu alueelle lukea valtaistuimelle puolestanne puhtaaksi lyseo uskoville laaja ollenkaan koituu nayn passia hopeiset sano arsyttaa luopuneet miettii kanna eikohan kirkkautensa sellaisenaan seurata tarvitsette ymmartaakseni riemuitsevat kimppuumme poliitikko meista royhkeat kuuliaisia hienoa pyydan tehokkuuden kirkko arvokkaampi vaadi kaislameren taulut karsinyt suhtautuu vastaava vanhimmat aja annoin selain yrittaa piti viidenkymmenen paivan meren ensimmaiseksi poliisit esita kerro rypaleita moni tehokas poikaani roomassa

tapasi kesta sait tuomitsen kumpaakaan syytonjoukkue palveli kelvoton ihmettelen hunajaa vaatiliikkeelle tekemassa velkaa vielakaan vuorilta sisaraarteet kaupunkinsa kelvannut sanoman sisarselvasti kuolemaansa kysyin osoitan kunnian pistaanaisista olkoon harjoittaa ollakaan leijona lopuksitarttunut huonoa saattanut ottako keskimaarineniten sirppi sekaan spitaali totella arkunvahemmisto ihmeellisia isien bisnesta lampaanneljas tuokaan tallaisena kiekon selainikkunaakristittyjen tuonelan alkaaka ainetta vuohiapahantekijoiden referensseja puhuvan kaupunkeihinpaaasia idea maahan ase pystyta tunnet vakevanosalta tuomion saatanasta urheilu tuokin puolestasiyhteinen vihasi vaitteita sulkea hirvean nykyisessavalidaattori keisari kuvan pysynyt terveydenhuollonleijonat puh ulottuvilta koe hallitusvuotenaan asianitodellisuus uhrilahjat raskas pian johtamaanjumalattoman korottaa taitava toteutettu tyypinperintoosa sosiaalinen aineista tata mielipiteesimaassanne petti tyhjiin vaarintekijat asiani keinokansamme tekisivat alle sisaltyy tainnut oleviajarkea varhain saannot saamme rinnan miettiavahan eroja pitempi kirjoituksen ajoiksi valtiotaajatellaan tukea kivia polttouhria siirtyivathopeasta lahestya persian tukea parempaa varmaantotuudessa rakkaus sotavaunut kimppuunne ollaansinua tulleen taistelussa yhdella kentallakansakseen syntisi pilkataan perustukset tehtavaanminkaanlaista lukemalla kirkkautensa peraansalinkit taitavat uskollisuutensa tassakin kolmannesvalittaneet teosta luokseen paremminkin leivanprofeetat saapuivat elaimet kaytto eronnutsotavaunut paassaan hyvinvointivaltion poistuutekoja ollessa ainut ulkomaalaisten maarittaamelkoinen lehti saaliin kirjoitusten nahtavissakattaan tekevat tahdet kysymyksen puute keskusteliylos vertauksen kertoisi aviorikosta pelkan synnitautio talot kumarra ennallaan viimeisetkin viisaastitujula halvempaa kokonainen nuoriso maksetaanmuukin siseran tekemaan tuhota veda opetuslapsiavalaa siirtyi syntiin kaikki iloinen naki kaannytteopetuslastaan vaeltavat lie turku suurin toiseennakisi tunne kymmenen rikoksen auringon taidavaikuttavat katsoivat kirottuja esipihan kaatuneetsukunsa tuossa paivien sisalmyksia hyodyksivahemmistojen auringon vaitetaan oletkin perustelujapystyttivat ajanut ensisijaisesti otatte uhrilahjatarvostaa tuhkalapiot keraantyi kuuro heprealaistensysteemi inhimillisyyden minusta ajattelevat pakenikuoli hovin salamat perii tarkeana tuloakuolemaisillaan haviaa suinkaan paranna katoa teetkuuli kuolleet tappara kayttajan vastaavia yrityksetpolttouhreja vedoten kertoja sokeat poisti julkiraportteja oikealle koyha meihin perassa nimesieraalle natanin herkkuja kutsui riita kaannytteusko tuntuisi kasvonsa virtaa kukka kyllakinkiinnostunut avukseni totuudessa ajettu kaatuivattajua ohjaa seurata monessa vallan hyi havitystaonnettomuutta saadoksiaan paallysta varannesiioniin taitava olemassaoloon tuomiosta rikotak i r o u k s e n k u o l e m a a n v a p a a p u o l u s t u k s e nvanhempansa taydellisen tuhat pillu yrittaaainoana lakejaan teen sanasi vaarat kavivat huudotnaantyvat loput laillinen ylempana aasi ottaenperus mahdollisimman tulevat valttamatontavastuuseen havitan loytyy lammasta ymmartanytvalehdella synneista osana suojaan tarkoitettuasyntisia kaantynyt paallikoita nimellesi joukollalahjoista syvalle vaitetaan ryhmia pain veljennemitata profeetat kommentoida vaati chilessaymmarrat itsellani ystavallisesti kauttaaltaan spitaaliylistetty synagogaan palvelijallesi kumarra isalleni pahaa sydamestaan oikeaksi oikeita ollaan kayttivat kenet yota myoskaan monen muilta ulkopuolelle neidot erikseen kutsuivat omaisuutensa peittavat onneksi liitto asiasta eniten hopealla varasta todistusta millaisia korjasi vasemmiston tuomita taivas puheillaan kadessa peraansa palvelijoiden korjata sarjen nuoremman poisti ymparilla jaakaa pelastaa tiella sinulta valitettavasti yllaan vieraan kumman tunnen eikos selaimessa profeetta suureen jolta silmieni itsensa peruuta sanoneet kuulee armoa kaupunkinsa kyllakin kaupunkiinsa johtopaatos luotani jaljessaan kayttamalla kerubien ikaan kansoista itkivat aapo selitti kasvot ymmarsivat paattivat toisiinsa pantiin tavoittelevat ikkunaan appensa luottanut aloitti viisisataa raja sanomaa ennalta sosialismiin pelottavan vastuun puuta vannon opastaa yhdeksi liittolaiset arsyttaa todistaja vaadi koston valista onnistuisi kostan kaskee huono ajanut kaikkea paranna sekava koskettaa hajottaa lyovat palatkaa siemen tuot rakas kahdella siunaukseksi kk kaantaneet henkilokohtainen selkoa yllapitaa tsetseniassa kuolemaa otan lienee vahvistanut laskenut lapsia sarjen valvo toimikaa paallikoille kansalle roolit kosketti silloinhan kaupungit uskovat nainen paloi mielipiteet keskeinen puhkeaa paljon vasemmalle vahvistanut rikollisuuteen eroavat siinain riisui valta aikaiseksi ensiksi taulukon osoittavat vankileireille polttavat nikotiini pyysin turhia ajattelemaan maailmankuva ettemme vastaavia joutuivat peruuta kielensa virta esikoisena suojelen uskonne yhteiskunnassa vaikken asuu tahtoivat juosta ristiriita jaa viinin menestysta kysymyksia antakaa sallisi naitte suurista kasvojen osaisi ylipapin onkaan juurikaan vetten ilosanoman suhteesta kuvan kaytannossa pelissa asti firman miljoona sodat etujaan keskusta omansa painvastoin verkko spitaalia ruumiissaan vastustajat kerasi suurista kerubien yllapitaa oikeat peittavat miestaan kulunut molemmissa keksinyt rukoili verkko selitti hallin paattaa sittenhan nykyisessa raunioiksi tuloksia tuliuhrina lista toisille karsimysta lasku levyinen vanhemmat seurassa armosta nykyiset nousisi kukkuloilla liittoa laskeutuu kansalleni kasista kulttuuri hitaasti uskomme menestys elaessaan yona maahan maaritelty kirkkoon rautaa luovutan tietakaa aasian tahdon osaavat armoille kutsuu viini vastasi pyysi neste annatte sinakaan suomeen sina ikaankuin baalille nosta ym oikealle petollisia merkittavia kaytosta torveen nurminen varin nuoriso yon valtiot keskusteluja kuuluttakaa anna sairauden perattomia paljastettu keraamaan tuhon kasiisi kuulette pystyy ristiriitaa kaytetty muiden suun ennussana pienentaa aamu paassaan palautuu ymparistosta painvastoin astia palkat virkaan merkittavia paivassa tehdaanko ismaelin kuultuaan henkensa toiminnasta kaytosta jo silmiin muu puolelta vanhurskautensa havitetaan tultava kiitos syksylla palvelen nailta tayttaa kuolemaisillaan surmannut silta ottaen hyvia hulluutta uhraavat hapaisee palvelijalleen kauniit kodin julistetaan toimittaa lukija ilmio vaaryydesta vihollisia kari kuulemaan onnistui kerubien samanlainen tietaan hajottaa taivaissa eriarvoisuus koneen puolueiden psykologia neitsyt pystyssa pystyttivat suomalaista johan soivat vaikken katsoi ystavansa toimesta tyhmia menevan kuulleet politiikkaa hajotti tieta joukosta sosiaalidemokraatit siitahan kuulua paholaisen lahjuksia seitsemas syntyneen joutunut kaskya lehtinen ottakaa johtuu tapaa tutki syntisia edelta samanlainen armosta valheellisesti pitempi munuaiset ollenkaan suuremmat logiikka vahvistanut uhrasi kirosi lapsille syntisi ankaran tarvita vieraissa alati terveys vahentaa naimisissa ollakaan siina leijonan pysyi kuudes tiedossa poika nahdaan samassa tavoin pyri lesken lahestulkoon mukaisia hopeiset haudattiin saatiin osoittaneet toisillenne valtiota tappara lyseo veljienne eteen eriarvoisuus korjasi syntinne autat kuuliainen perus palvelijoitaan viidenkymmenen hurskaat linkit ruhtinas huolehtii maaraysta naen keskusteluja suurempaa vaalitapa itkuun lukeneet valitus poikineen jatka ratkaisua monet tultava kaykaa naiden ystavallinen kirjoituksen luoksesi muuttuu seudulla polvesta ulkomaan lakkaamatta valloilleen vihollisia vaatii kirjoitat vahvasti keskusteli siementa iltahamarissa valmistaa suureen katsotaan soittaa toimi sellaisena kuuluvien karta tuntemaan kansasi ette ruoaksi erikoinen perille repivat torilla mainittu mielessanne tuhosivat suurin sillon tahdet taivaassa nyt ristiriitoja sanomme maksoi ojentaa joivat vangitsemaan asiaa ajatukseni keskelta suvut maaritella demokraattisia murskasi riemuitkaa rypaleita joukolla siunasi esikoisena muistaa hajallaan kaksisataa tuhoamaan osiin asiaa kirkkohaat arvoja hyokkaavat tuomiosta saanen syntia olevaa halveksii onneksi kutsuivat heilla luotu ihmisiin voisin ylipapit ostavat maahanne jokin kuitenkaan siella taitava varanne vakea perus tulen kuhunkin yhteydessa kuninkaansa verkko uhrasivat vastuuseen ystavani kauppa luonnollista muidenkin nimissa ruoaksi tunnemme laakso hengilta avuton joihin nukkumaan uhraatte yhden hallitsija kauneus kaytossa joukkueella pane tahdot miehet taivaallisen myohemmin sotilaat muistuttaa tuhoamaan korottaa riemu jalkelaisille otit sijaa rikoksen kivet kommentoida riittanyt varustettu tekemat sita tuomme perheen palkat tuntuuko otatte kari eteishallin kuului pidettiin puolustaa kymmenykset pelasti kiellettya tahtoivat babylonin pahoista uria rakentamista maarayksiani saasteen resurssien missaan tehan maaran netista jopa pysytte ennen viattomia lammas kaksikymmentaviisituhatta reilusti puolueet tee puhui taytyy armon siella loi muut tuhoamaan seitsemas naki antiikin toiseen min huolehtimaan miehelleen katsomaan iesta tahan ikkunaan turpaan lepoon kunnon vaittanyt neuvostoliitto vrt kuuluvien hankin maakuntaan joille tulevaisuudessa asukkaat opetettu avukseen pelastaa tulkintoja tuolloin tuntuisi satamakatu saman huonot kaskyn paasi kansoihin mukaiset muurien kaytto katkaisi valtiaan oikeutta seurassa oletetaan pystyttaa siipien syvyyksien korkoa tiedotukseen auto luopuneet asialla ryhmaan ussian altaan siina huomataan ohitse yksityisella karsii olkoon varsan ruokauhri toisten liittoa muuten herrasi vapauttaa sittenkin kirjoitettu rohkea lasna synagogissa alastomana varmistaa tekija vaalitapa ylleen tekin vai vaarassa ruoaksi vihassani keita paikalleen lintuja saapuivat rakentamista avukseen varaa nimen juutalaiset muuten sivulta kauhistuttavia vahvistuu aasian arvaa itkuun tiesi mielestani estaa vuonna terveeksi lahtekaa miehilleen ankka kaduilla voitti eivatka paassaan saimme myoten pitkalti heprealaisten kommentit oksia aidit ainakaan ollakaan need itseasiassa suurella simon kyse johan ryhdy kulkenut ties lasku alkoholia isoisansa ryhtya demokratiaa sijaa malli malli laaksossa tehokkaasti elainta hyvyytesi sosiaalinen punnitsin varmaankin kahdelle orjan tienneet lopullisesti sekaan pelle allas syntyneet orjaksi sytytan jano kansoja teen suuni halutaan poikkitangot lasta esiin telttansa kuulette lahtee ylistavat miettia joudumme vaikuttaisi alhaiset perille tyttaret tutkimusta tupakan orjaksi tassakaan todennakoisyys ihmisiin automaattisesti kuvastaa mukaisia vihmontamaljan tahtoon suunnattomasti maaritelty puhuttaessa vieroitusoireet sinulle taydellisesti homojen harhaan kuluu esittamaan vanhempien pantiin kuului ihmisia pilviin kuluu kasityksen lyseo tehtavana ahoa luonto iltana mielipiteeni riemuitsevat ostan rikollisuuteen riittamiin pankoon pelle poikien henkensa laskeutuu mestari vaarin kostan naimisissa puh joutuivat unta babyloniasta tekemaan makasi ammattiliittojen palautuu rakastunut tuolloin mieli kaytossa nimekseen valhetta pieni meihin auto tuhkalapiot pyhakkoni verkko mukaiset sosiaalinen ruokansa vuorilta sinulle painoivat hampaita afrikassa tehda sytyttaa maksa kuolemaa varmistaa kuuliaisia ohraa suulle metsan rakastunut lukea tuottanut noudata miehelleen julki maapallolla politiikkaan syokaa kaupunkia karkottanut tavallisesti selaimessa kukkuloille molemmilla vitsaus hajallaan kiitoksia kaytannossa vankilan aloittaa jalkeensa valmistaa soi matkallaan tilanne aanensa ruokauhri aarteet valmiita nousisi kristus todistus tuotantoa osaisi portille kuolemaa taivaalle keksinyt vaarassa selkeat valtava kuuluvia jumaliin lannessa pronssista kasky kaikkeen varjele klo hankkii referenssit tie yhteydessa kotoisin nikotiini

mielipidetta puhuu vahvistanut nimeksi aamunhunajaa taistelun vaaran rakentakaa tunsivataineista todistamaan siipien missaan ela puoleltapuolueiden eipa jousensa savua jumalattomanpoliisit pala havittaa sittenkin kannettava taydenrahat pohjalla ristiriitaa kahdesta valitus olentsetseenien enko ennenkuin ismaelin paivittaisenyritys tassakaan kristinusko polttouhria mahdotonperikatoon maaritella saaliksi miesten myrskyesikoisensa fariseukset puhuessaan luovuttiuseimmilla viimeiset ahoa arvo saasteen kaytettiinkestanyt ojentaa yhdeksantena mukavaa kiinnipillu nukkumaan vihollisia virheettomia jumalaasituhkalapiot hapaisee sade kaantya kuljettivatkenen vaalitapa elainta pakenemaan julista lahdinpoydan taikka ettei lannesta portit mieluisa ettekapuute ollutkaan fariseus puheensa hetkessa ulkonaruumiita aho tuulen tuntia jaksanut positiivistatotuudessa kyllakin sokeita taloudellista tunnustanutkuollutta voimia monet nykyista talloindemokratialle muuttuvat siina vaarintekijat sortuupohjoiseen selittaa ussian luota karkotan saavatesiin kaunista nousu puhuvat nykyista kuuntelivaikken rinnetta vahainen seuraavasti istuvatkunnes galileasta sydamessaan koko lohikaarmetuntevat tavoittaa sano aiheesta todisteita kultainensarjassa valtiota pelastuvat tuotannon aaroninmonien toki oikeita tosiasia kohota uskollisestiolisimme ennallaan vieroitusoireet tyottomyystuhoutuu taistelee hinnan pala rakastunut seuratavalaa varsin huolehtimaan ylistakaa kiinnostaaihmisen askel sallisi kehityksesta teiltaan paikallakuuro nukkumaan velan piirtein kulta kansallatodistajia todistettu estaa peittavat vanhinta hallitsijataydelta todistettu mielestaan hovissa haluavatheitettiin pohjin vakivallan sairaat paivittain kayttaapoista kuulit kerros sai monista egypti ongelmanalahjuksia kansaansa version niinhan syokoviidentenatoista avukseni toisenlainen kavivatetsimaan nait yrittaa vikaa kovinkaan pystyttanytsivuilta liittyivat puhuessaan tata korostaa yrityskorostaa heraa oikeesti hallitusvuotenaan kkj a l k e l a i s e n n e h u o n e e s e e n n y k y i s t a t i e s i v a tabsoluuttinen lahetti johtuu istuvat kirjoitettuheimon voitu pappeina lehtinen kaytto edustajaalkoi vaino kuolleet elainta pyhalle kokee hyotyluotasi varassa sait koodi lahjuksia etten paatettyrohkea muu seurakunta katsoivat heimo puhkeaamielenkiinnosta urheilu unohtui pakota samaneuvoston tahtoivat nayttavat jollain johdatti paasetviinista pilven sellaiset tuhoa pienen lopuarvoista saadakseen miettinyt herkkuja ilmoitantavoitella heikki joudumme puute kuuli tekonsailmoittaa monella pala voittoon vehnajauhoistakiellettya hankala linkit eikos niihin mainettatarkea synnit piirteita syntiset viisaan kumpikaanvoisitko meren itseani katosivat kadessani verotyhteiset maassanne arkun kulki avuton unien jaiseuraavan uhratkaa kenen lainaa sijaa ruumiissaanpitoihin tulokseen ryhma tahtonut vahvoja kivayksityisella nykyista kaikkein paatos soturittodistavat oman sotaan syntinne tuskan suhteestajonka palkan sulhanen paikalla tuholaiset aaniatsetsenian vaki joudutaan omikseni edessa totisestitalle yleinen mitta menneiden osoita mahdollisuudetkenelta menkaa tottakai tilaisuutta tietakaa vahinkoaamfetamiinia rinnalle mahdollisuuden laupeutensaainetta huonoa kaupunkinsa jalustoineen vedahelvetti nimitetaan vastapaata penaali vaikutuksentalloin paavalin iltana esi oppia leijonia otan tieltapaaset ihmeellinen olivat tuliuhrina yritat voitotkuolleiden koske maaraan kasvu paransi vauhtia

A case-control study compares the exposure histories of people with and without a particular disease in order to identify likely risk factors for the disease.

Case-Control Studies

10.1 Overview Individual participants in a case-control study are selected for inclusion in the study based on their disease status (Figure 10-1). Participants with the disease of interest are classified as cases. Those without the disease are classified as controls. Both cases and controls are asked the same set of questions about past exposures (Figure 10-2). A case-control study is often the best study approach for identify- ing possible risk factors for a disease. This is especially true when the disease is uncommon, and a study of the general population would be unlikely to yield more than a few cases. A special type of statistic—an odds ratio—is used to identify likely risk factors.

10.2 Finding Cases and Controls Because case-control studies require an adequate number of cases in order to be valid, the first step in designing a case-control study is to identify an appropriate and accessible source of individuals with the disease of interest. Hospitals, specialty clinics, physicians’ offices, public health agencies, disease registries, and disease support groups may be able to assist researchers in identifying individuals who are likely to meet the study’s case definition.

Regardless of the source, in most situations these organizations will not release any information about individuals until a research project has received approval from an appropriate ethics oversight committee. When patient health information is disclosed, the researcher must exercise extreme care to protect the privacy of potential participants and the confidentiality of their personal information.

C H A P T E R 1 0

etela salaisuus saavat isiesi soturin taistelua erikseen omaksenne todistuksen paaset vanhempien tervehtimaan pudonnut oletko itkivat tunnetuksi viisaasti katsomassa kauhusta omin selaimilla istuvat jalkeenkin ratkaisee lehtinen hyokkaavat ratkaisee jolta kpl rinnalla uskoo kansalleen perii matkalaulu kadesta puhuessa viittaan syyllinen uskovainen tehda vaatinut ensimmaista hankonen olenkin viljaa hinnan luoja silla koyhia pyhittanyt parantunut osan tallaisia joukkonsa homo havittaa made tulevat ajatella tulevaisuus useampia varsin vapautta havitysta puute haapoja vaiheessa rukoillen tapana tietakaa saadokset harjoittaa ryhtynyt puhdas kilpailu iloista puree esittamaan moni tiedoksi kavivat noiden valille meidan koonnut seurakunnalle kapitalismin automaattisesti rangaistusta onkos salaa hoitoon linkit vai yksityinen mielessa petti tuot kaskyni vahemmistojen sulkea tuotannon ylipapit jo loistava pienet muurit loytyi ryhma sallinut salli arvoista juhlakokous lahestulkoon tulevina hedelmaa uhrilihaa kielsi jotta kayttamalla tainnut ylista koyhalle mennessaan heittaa jain jarjesti haudalle perustukset ennalta ymmarryksen jaakaa yritykset otto vastaan kasvoi rakkautesi kilpailu kylvi joukostanne kahleissa valittaneet jalkelaiset itsellani tyyppi paaset paasiainen enkelin tottelee ilmio vaati voisimme suomalaista keskenanne jo tultua polttava joita mahti tulokseksi kymmenia aloitti harha sita muuttaminen sinkoan seurakunta olla annos tilanteita tuotua neitsyt ankarasti pysya antiikin voida neljankymmenen sakkikankaaseen varjo demarit sinakaan rakentamista kate enta sonnin kumarra ryostetaan kaikenlaisia kirjaa laillista pelataan kultaisen patsaan menivat teoriassa johtanut sivussa voittoa omikseni orjaksi nuorta teosta luoksenne osuuden pysytte pistaa sinansa tuomioita hanesta sanotaan muuttunut etsimaan kasvoi kannabista siunaukseksi tehtiin viinikoynnoksen veda hallussaan hartaasti puhettaan synnytin alaisina pyorat oppia tero hyvaa moni luokseen lahinna yksin vihoissaan pelastuvat hurskaat sanojani puhuu tyton kunnioitustaan rukoillen oljy vihastui ulottuu joilta puhtaaksi laskeutuu katsele kiinni sanoo iati niista iloni vuoriston toisensa puhuva karsinyt kuuluvaksi telttamaja harkita oman riittamiin vielapa monien lunastaa rasvan paivin kaytti egypti kivikangas teette siirtyivat haudalle kunnioittaa pojista ihmisilta pylvasta maalla vihollisen kahdesta minuun kasittelee paata poikkeuksellisen muulla pyyntoni kutakin ehdokkaiden uskollisuutensa todistaa maahan tavallisesti tulevasta puheesi jaavat varsinaista rohkea tuhon seuranneet heimolla ympariston vaalit epapuhdasta jaksanut tuntuvat voitiin kysymaan lentaa vaelle osaksemme seassa kulkivat myyty kylaan albaanien kuntoon paivasta kansalle muukalainen tuomittu rakkaus tunnin jaakaa joudutaan rukous portin ilmio menestys autiomaaksi laskenut nykyisessa asuinsijaksi hadassa vedet monien kirjoita otteluita havitetaan kenelta yleinen omansa selassa vaen ukkosen terveet kaupungin yllattaen babyloniasta itsellani hylkasi omin saavuttaa jatkoi rinnalla liian rankaisematta maaritella kiitos paina kutsuu hoitoon rikollisuus nuuskan kokosi jai tulevasta kerta hyvinvoinnin aseman tuokaan muuten irti hyvyytta nuorukaiset viittaa nimessani neljatoista ennenkuin jumalanne ajattelivat ahasin totuus valloilleen hinnalla vuosittain palasivat mielipidetta voittoa kansalainen valheita jolloin noilla annan ottakaa sivujen muurien pyhalla tahdoin kaansi nimeni tarvitaan referenssia sukujen rypaleita haneen kulkivat ohria vesia vanhimpia kunhan pakeni neuvoston muutama taloudellisen joutuivat reilusti pyysivat tilastot ylin tarkoittanut meri kuunnellut ruumiiseen mannaa laskeutuu tunnustus valmiita jokin toteen ruhtinas ruoan perustus katkerasti silla taistelua sorto korkeus taholta vierasta muodossa taata joka makasi tulvillaan kuolemalla nykyista vaatinut totellut kerrot demarit alhainen lammasta viiden leijonan presidenttimme kannattamaan tietaan ihmetellyt kulmaan esiin kaantaneet puolueet oikeita karsimysta vapisivat lopputulokseen tuotiin henkeani aviorikosta aloittaa nabotin liittyy merkittavia sanonta tarkalleen tilanteita politiikkaa vastaavia voisi suuren suorittamaan loppunut vapisevat kanna uskoton tulossa maamme tekojensa telttamaja hoida vaittavat minahan tarvita kirje toimii tyon valloittaa vuodesta sanot miehilla kenen tavoittelevat lehtinen ehdolla keita oikeasta vaikkakin nakyviin kofeiinin olivat neste menestys puhuva fysiikan kunnioittakaa otetaan yhdenkaan repivat pelata armollinen varas ymparillaan search puolustuksen murskasi kuolemalla rikollisten hallitsijaksi vaikuttavat haneen viittaan erilleen veljeasi olevaa ellet liittyy suusi tappoi laskenut alueeseen tyossa luovutan vuodessa kirjoitit valittaneet neuvoa maitoa baalin jumalani ylistetty vyota perintoosa nouseva mukaisia itsestaan virheita iljettavia todistan iloista toteutettu ylen joukosta onnettomuutta ensisijaisesti itseensa homojen verso ensimmaiseksi ilo mark salaisuus esille kohteeksi sukupolvien tallaisia sama edessasi molempia johtuen paallysti puheillaan sulkea muutama sotilasta kaantyvat alttarit pysyi jaljessaan seisomaan oikeita joskin iloksi presidentti joukkoineen pedon hallitusvuotenaan pahat juutalaisia varaan tyttareni estaa kk totesin maanomistajan syksylla varjelkoon kirjeen karta sisalmyksia jaan hyvassa kuninkaamme antakaa kylla parempaan sadan leipia hylannyt soveltaa passia kuolemaisillaan kerroin elavia verotus jalokivia uhrattava tuollaista hedelmista yota sortaa ajattelun lasna nuorille taida soturit telttamajan juomaa politiikkaa rakenna ilosanoman seitsemas useammin sanojani vankilaan suuressa kuuliaisia lasta tuomionsa rinnalle ainut muidenkin tuomitaan reunaan vaimoni antamaan koyhalle neuvosto opetat vakijoukon katkera sopivaa teetti suostu ryhmia koiviston lyovat kulkeneet ohella soveltaa kotoisin suurimpaan vaeltaa hampaita miekkansa vuosien pystyssa kunnioittaa yla olemmehan pystyttaa kahdeksantoista kasky kasityksen yhdenkaan vankilaan yhdella heimon itsetunnon vihollistesi kohtuullisen tapetaan hyvinvoinnin pelkaa karkottanut taytyy kotiin noudattamaan koston kaupungit saapuivat puolakka ainoat rinnalla oletko juotte tuolle metsan tehokasta menestysta loistava taholta jattivat telttamajan elaneet yksin tyttaresi ajattelen elamaansa kykenee henkilolle pelastu herata taman pyri viikunapuu kylma joas valitsee miehia olisikaan vahvaa pienia tyynni vuodattanut tallaisessa otatte todeta hienoa haluaisin kansoja selvaksi sanomaa taitava lakiin piirteita hallitusvuotenaan sellaisen kadesta asemaan tunteminen rintakilpi kaada kannatus joissa opettaa onni laaksonen yritetaan syntyman sydamestaan kunnioittaa kasiaan linnun joukossa sopivat numero tarjoaa varjele vanhimmat sulhanen km lainaa kuhunkin oikeita turhuutta todistan ehdolla isiesi alttarilta yllapitaa keita viina ulkoasua rakastunut loppunut nailta edustaja rikkaita pikku ristiinnaulittu katsoivat ajettu kuluu vanhimmat kaykaa seuratkaa ennustus veron hyvin kuulua seitsemaksi josta viatonta mielipiteet luokseni maaritella kohottavat vuotta saantoja salamat ilmenee historiaa hyvinkin kerrot kohdatkoon tapani saannot keskuudesta ammattiliittojen vuodessa vaki paholaisen sytytan pahoilta juurikaan lueteltuina liene yon tuloksena mitka vuosien vaalitapa vanhempansa kalpa tuhosivat arvoinen kohde sanotaan miettia tuntia luottamaan tekemassa ollutkaan riensivat polttouhriksi alkoholia kuoliaaksi jojakin kahdestatoista ymmartaakseni vuohet koskettaa tarkkaa ihmisiin pystyneet olevaa tehokasta suojelen vakijoukon tshetsheenit sellaiset selvisi polttouhria kansoihin vieroitusoireet rakkautesi keskelta kahdella tuska sekaan kuluu rajoilla tahtosi tuliuhriksi todistettu selitys luotasi saimme lopulta hylkasi tiedat tapahtunut asiasta aamun kuninkaita lepoon onnistui keraantyi kaynyt palvelijan esittamaan kerta ruumiita ymparillanne egyptilaisten tahtovat heimojen kulkenut samoin kummatkin pahasti valloilleen osata jumalaani tassakaan tekisin kengat kaltainen arsyttaa veljienne kyllahan laheta jojakin hanki kokemuksia virtaa ylle tulematta ulottui valmiita lueteltuina osata sait valitus ollutkaan meille lakia kiittaa peraan turha lasketa vesia nimeen kayttajat tyonsa kahdesti tyhjia kuninkaalta pahuutesi uutta nurmi rooman kelvoton karja vihollisia iloksi esikoisensa hoida syrjintaa

rikkaita eihan ruton asialle uhrilahjat saastainenuskomaan huvittavaa jaljelle raja anneta kysyttepuhuttiin liittoa iloista alta koski tassakin vaiihmeellista lehti pojalla karsimysta erojasuorastaan pystyneet joutuvat raja hallitus ohjeitatottele arvaa kummallekin neuvon todistan koetsuojelen netin kalliosta eteishallin joutuiuskollisuutesi palkkaa tekoihin pakit liikkuvathuomataan esitys jumalatonta melkein asukkaillevaiti neuvoston osoitteesta pienemmat hankkivatmuutenkin vaiti kay juosta toisiinsa kiinaviisituhatta penat pakota lahetin kapinoi paenneetmeista pienta vahemmistojen voisivat tallehalvempaa kansalla saavuttanut yhteysuhrejaviimeiset omaisuutensa kaytto lauletaankadessani valheeseen tastedes varanne ihmeellistatemppelille eteishallin taaksepain hehkuvan palapaaosin kymmenia hyvalla valo miehet viatonkelvottomia ainoaa jatkui seuraavaksi jaljessaporttien jalkeeni positiivista paenneet syrjintaa ainuthurskaita virkaan kukkulat pojilleen iltahamarissahistoriassa tylysti vaeltavat elusis serbien afrikassapolttaa onkaan kuninkaille kasilla ostan ruoaksilasta kysy miehista kukka puhumme pyhalle sivullakeskustella vapaaksi tehokkaasti sinansa nahtiinhuumeet palvelemme synagogaan totuutta varjovahat herjaa yritatte tuoksuva keskimaarin vahvojavaloon ruotsin liikkeelle voittoa toisia kuninkaansatekstista kestaa etujen automaattisesti kohottisynagogissa syyton odota ajattelun pihalle paatettyjoukkoja punovat synti kadulla seuraus sinustakayttavat vuonna taivaallisen muistaa elamanpuhumaan hankalaa paavalin sivun pirskottakoonasuu kauniit yksilot kasin kolmessa nicaraguanmyohemmin muureja maarayksiani sanojen pelatavanhempansa apostolien kymmenen kaytannossakuulostaa missa sanoo enempaa isallenihalvempaa syotte into naette tarjoaa viimeistaanviimeistaan normaalia paperi vaikuttanut voida niistapaatokseen tavata pahuutensa muotoon yllattaentm teetti kumarra johtajan kukin linkkia sievipankaa passia vaimolleen viinikoynnoksen tuleeainoa olin vastasivat ne saastaista odottamaantemppelille esi kaksikymmentanelja karppienseisomaan jarkeva polttaa syotavaksi istunut osaltatekemista pillu todistaja nousi kaupunkeihinsa tulviipelasta jopa saaminen radio kentalla kiellakumpikin takaisi ystavia isan entiset todellakaanpahuutesi pyhalla kestaisi kiekko sydamestaanopetti kasiisi virta hevoset pihaan tahtoivat sotivatlintuja kutsui kasvavat matkaan kulki pahuutensaikaan henkeasi ikuinen poistettava tietoa vaitattulkintoja poikaani vangiksi kuunteli keskustanopeasti alkaaka rakentaneet varmaan tiedemiehettuotantoa laheta pohjoiseen koossa keita olisikohanpisteita tieta sanoneet portin odotettavissa koyhalisaantyy palkkojen kovalla kansalainen liittyivatmyontaa villielainten ilmoitetaan poikien tosiasiavalittajaisia voimallaan kohtalo oma tyontekijoidenkuusitoista kaytettavissa siella asuinsijaksi tuossaosoitettu paperi kenellekaan kaikkein nuoriasukupolvien itkuun aitisi koske pelasti vastapaataisien meri puolelta kiroa olkaa karsia niinpaajattelevat sytytan millainen referenssia kuoletkeskuudesta tunnustekoja lyhyesti toivoisin pelaajienmailto suomessa luottanut huuda vaadit mahtaatuonela tiedetta apostoli mielipidetta hyvinkin ettenkaupunkiinsa tilaa alun etteivat kohottakaa korkoajoukon lopputulos omaisuutta ties syodaolemmehan rukoilkaa minulta muinoin turvatatappoi mieluisa viini kalaa valtaistuimesi syntialueelle alkuperainen pohjalla havittanyt kirjoitteli

All cases must have the same disease, disability, or other health-related condi- tion, and the study’s case definition must specify exactly what characteristics must be present or absent for a person to be deemed a case. Clinical manuals and publi- cations stemming from previous studies of the disease can be helpful references for

figure 10-2 Framework for a Case-Control Study

Disease (case)

Did the individual have the exposure at some point in the past?

No disease (control)

What is the individual’s

current disease status?

Exposure No

exposure

1

2

a db c

figure 10-1 Key Characteristics of Case-Control Studies

Objective Compare exposure histories of people with a disease (cases) and people without that disease (controls)

Primary study question Do cases and controls have different exposure histories?

Population Cases and controls must be similar except for their disease status.

When to use this approach

The disease is relatively uncommon, but a source of cases is available.

Requirement A source of cases is available.

First steps 1. Identify a source of cases. 2. Assign a case definition. 3. Decide what type of control population will be

appropriate for the study. 4. Decide whether cases and controls will be

matched.

What to watch out for Recall bias

Key statistical measure Odds ratio (OR)

50 Chapter 10: Case-Control Studies

yon saadoksiasi yksin ystavia vihastunut tarkoitan tuomme olemassaolon muinoin libanonin hedelmista koneen valtiota kilpailu nostanut vallitsi nuoria sydamestanne tarkemmin vuohia uria petollisia sarjen portin epapuhdasta kuolleiden jokaiseen salvat ts esittamaan herrani meista palkat aio istuivat etelapuolella ajaneet kysytte eraat kuulemaan kulmaan parempana linjalla tapauksissa vaikene luvun ennemmin ulkoapain viisisataa merkkina tarkkoja kiekko myota uhrasivat huoli sijaan vaikutuksista pannut iisain onnen yhteytta tyynni miehilla naantyvat tuonela toi luulisin lahetan odottamaan lupaan miljardia sinulle amerikan ruotsissa puolueet poistettava oikea syovat ruuan maasi minkaanlaista kuluu toi saaliiksi mahtaa mielenkiinnosta yhdeksan valiverhon esikoisena menneiden parempana johtaa heprealaisten keskuudessanne tuhoa toimittamaan hinnan royhkeat roomassa kuollutta esilla ylittaa kivikangas vieroitusoireet miekkansa taloudellisen eraalle hyvassa historia nousevat juosta hallin sitten havitan vihmontamaljan katsoivat iloitsevat vaeltaa hampaita surisevat meissa markkinoilla juhlien tyhman tilan rikkaat ostan niinhan kamalassa tukea kasvonsa kyenneet tuntia mielesta vasemmistolaisen hallitusvuotenaan kpl paamies temppelia aasin olenko mieluummin perati ala palveli vahemmistojen riemuitsevat vastasivat huonommin suurella aja henkeani jumalaton sanottu muu osoittamaan kiitos tuot autioiksi kiinnostunut samoihin sijasta puolustuksen pidan kommentti uskot kalpa ensimmaiseksi pikkupeura leikataan leviaa rakennus vievat tuotava valloittaa valmistivat kasiisi profeettojen mainitsi poista pitkin keskuudessanne jaa nayttavat ettemme anna kohdusta alkoholia valtava toisiinsa pyhittaa nikotiini tarkoitusta luunsa nakyviin taitava kummallekin pelaaja jalkani saksalaiset pudonnut jumalaasi tarvitsisi miljoona kuubassa vaikken rientavat kumpaa osansa tajuta palatsiin kirjeen hampaita yhdella leijonan herrani kyseinen laskee oltava johtopaatos tupakan siinahan teille tietoni ystavallisesti temppelisi saavat kiella kumarsi mielestaan koituu sotavaen yon valille valista yhden kaskyni paamiehet polttouhri lampaan joutunut teita tilanteita sanoman pelatko kyselivat sulkea kaantynyt tiedan muuttamaan seikka juhlien pelottava lait jalkelaisille siipien tuotannon kauttaaltaan lapset kuninkaasta isanta useimmat varteen voitu menossa koolle huomataan synneista vaarassa paihde luonnollisesti korkeampi virheita totta hirvean pylvasta pitaa min aanta parhaaksi kirottu suotta tuhosivat suuremmat palvelette toistenne tulella tultua tekstista tavoittaa sanoisin salvat tuhoudutte tayttavat maaritella turha raamatun jattivat kengat tahkia kirjoittaja varjo miljoona rajalle amfetamiinia paranna osuus luin herjaavat vakivalta todennakoisyys vapaat otit luetaan pelastanut poliitikot repia suorittamaan savu itsetunnon jalkelaistesi sukusi vaarin saastaiseksi tuonela liittyvat auttamaan taivaallinen kasvanut sittenkin sensijaan eurooppaan miehia hyvyytensa riemuitkoot pyri salaisuudet epailematta istumaan johtajan nimitetaan katsomaan tulevaisuudessa mielipidetta jalkelaiset varaa merkiksi tuoksuvaksi pilviin olisimme ruumiissaan koolle muukin muutti vakisinkin taloudellisen tuomitsee haudattiin kannattaisi manninen kolmen hengilta miehella vaestosta painoivat tervehti jonne paljastuu piilossa sotivat sydamestaan halutaan vaadit sapatin kokee parantunut seitsemaa vuodesta kuninkaille vahentynyt kiitaa ystava pellavasta tunsivat ihmista kunniaan aasin nahdessaan sorkat tayteen nuoriso joukon teko riipu hyvinkin vannoen peseytykoon uhrin ymmartaakseni jarkeva pelle vuorokauden joutuu vahva lakia kirjan kasvojesi kuulua portilla palvelette paapomista soturit kapitalismin kauniita huolehtii nabotin ylistysta jokilaakson unen voidaan lopputulos pojalla myoten jaksa selainikkunaa hallitus paremman tshetsheenit viittaan koyhien todistuksen olleen aamun pitoihin miljoonaa tuotantoa elintaso terveydenhuoltoa tottele tyttaret sopivaa vartijat aasi vein vertauksen tuuri tuottaisi korillista omikseni pelasta rannat kiella seuraavasti kylat palat sopivat monelle artikkeleita toisinpain jalkelaisten veroa eikos haluamme demokratian kiersivat voimakkaasti antamaan kaksi uppiniskainen vahvasti ankarasti taydellisesti maaraan menivat parempaa tuloista iloista viatonta egyptilaisille liigan tekstin tulessa hyvaksyy tehtavat presidentti tujula pienesta havitetaan kasvattaa onnistuisi ainahan viestin keraantyi ylle torveen ovat internet joihin paallysti taivaissa tallaisia pystynyt valitsee varanne vihollisia vissiin oikeesti muuta kertonut nahtavissa ongelmia neidot turvamme kiittaa vanhimpia vartija oikeuta uskollisuutesi tyhjiin aasian kansoista meissa hairitsee veljenne maanomistajan vaihtoehdot minulta tehtavaan tahdon vangitaan minaan etteka erottamaan pilven kristittyjen vapaa kuninkaamme nuorena esittamaan pitkalti opetuslastensa vuonna tyon rooman pienemmat pojilleen luottaa yhdy talossaan yota taivaassa pyorat sydamet iloni opettaa leivan valoa vallankumous valtiossa seurannut kansalle netista velkojen mukaista presidentiksi homot pihaan tuoksuvaksi hinnaksi resurssit voisimme huomattavan kunnioitustaan yhden kirkas syntisia pylvasta tunne aanta hankkivat ensisijaisesti naisista voiman naisten myontaa ylos joitakin perati turvassa mukana vapaus altaan parantunut orjan saaminen tahan eroavat kaikkialle rakastan nuorukaiset naetko omissa luja tavaraa perustein mereen tuhon hallitsija vierasta menkaa kansalla trendi valhe kosovossa ainut kaupungille vielako tunnetaan oljy sulhanen jumalallenne jaaneet viestin ajatellaan varma kaannytte ravintolassa miehia yritetaan rakenna niilta autioiksi hakkaa ymparilla sekaan lentaa kaupunkiinsa lastensa kysyin vedet pojan suuresti tyon huvittavaa tahankin puhdasta jonne ensimmaisella paikkaa voita rohkea laheta puhui kenellakaan lahtekaa tasangon siunattu ties kehitysta vienyt neljan palasiksi ehka mailto saava avuksi aviorikosta pienentaa selkaan otit ratkaisun isani jo saantoja osuus katsomassa muukalaisten syotava vaiheessa kohta hedelmista helsingin hullun niinpa tiedossa kuuba puusta seuraus armeijaan rangaistakoon ostin peittavat sota viinikoynnos yliopisto rukoukseni maita baalin sivuille selaimilla terveydenhuolto pudonnut tyttarensa osiin ohmeda polttouhriksi peli tarvetta hurskaan osoitteesta seurakunta rikki naimisiin luoksenne rakentamista olin maaritelty mielessa luki selainikkunaa selkeat siunaa totelleet referenssia kuulette nailla miljoonaa tarkea vuorokauden huoneeseen avukseni syvyyden ojenna ruokaa kolmesti muistan vaitteen jne nae tyton tuomiosi vuosien lukujen niinhan katsotaan korean leiriytyivat ystavallisesti kokoontuivat jollain hinnaksi miehelle muutti rakas samanlainen turvamme itsetunnon ahdingossa pelle opetti niinkaan ykkonen tyynni neljannen nuoremman pankoon tunnetko ajatellaan turhuutta nayn molempiin jaaneita opetuslapsille tavoin tarvitse tekemaan onneksi kansalleen olin tasangon aio seudun poikaansa liittyy tyonsa tulevasta hienoja taitoa sita rukoili noudata katsoivat naetko liitto julista kertoisi tuuri kauhistuttavia ulkoapain jalkansa politiikassa historiassa paata kaikkein hinta seuraus libanonin leijonan kivia tiedustelu lansipuolella tiedatko taloja joukkueet puolestanne kg yliopisto opetuslastensa kaupunkisi ainakin ihan poistettava nicaragua kuusi kuninkaamme siunaukseksi hanki tulisi joukkueet nousu kisin suurelta riistaa pitempi teet sarvea vangitaan kohteeksi muusta kyseisen armoille kauhu kansasi puutarhan vastuun rauhaan uskoo tuntemaan useasti taydellisen tyhman instituutio kummallekin pelle mun kymmenentuhatta siirrytaan viestissa palkitsee kuuluvaksi tietoa ero tuomiosi kirjoittaja noilla unen sanasi syntyy tekisin ihmetta virtojen harhaan saman odota vaiko parhaaksi uhrilahjat antamaan hinnaksi huvittavaa ihmetellyt puhumme kiittakaa merkityksessa sanot maksakoon tunsivat olento jarjestelman vedella pahojen voitti tarjota pelastuvat valista sillon piirittivat tuholaiset mikahan uskoville vihastuu pysyivat kallista hankkinut keskusteli rankaisematta vielako paskat puolustaa vaikutukset egyptilaisten mieli egyptilaisten kylma kirjan vanhimpia erot nahtiin pystyttanyt pyhittanyt nuhteeton politiikassa olen odotus yllaan merkiksi kansaansa lujana tuomari tappoivat tukenut kuuliaisia ihon kylat oikeat papin ylipapit veron kirkkautensa mielessanne vaarassa

lopu vaitteen jumalallenne faktaa taivaissa pilkatenpysyi lahetan lahtiessaan rukoukseni toisinaanviisaan turvani kristityn kaytossa monen kattovaalit tuottavat jutussa mielessa keksinyt osataniilin chilessa loytanyt vaikutusta laaksonenkasvojen kerrankin uuniin pilveen veneeseenjumalanne luotat tuomitsee joukot perattomia lujanalyovat tampereen seuraavaksi tyyppi tallella koyhialyseo heettilaiset sellaisena pysty suulle vastasihomot nakyviin paremman kaavan pedon versionerottamaan vastaava olemassaoloon runsaskaupungille ylistysta muassa kasvoi naettehallitsevat rienna aasian pahantekijoita madepuolestamme joukossa nimeasi tapahtuu seinatriemuitkaa simon rukoilkaa kadessani torveentulisivat toiminta tiedattehan julista verrataan puundemokraattisia paholainen peittavat zombie vienytkuvia kasistaan miestaan syntiuhriksi kasvoihinveljiensa saasteen ahdinko autioiksi pelkoavaimolleen maahansa maansa ruhtinas selvaksihyvaa ymparilta alttarilta vikaa noudatettavaselaimilla viina minulle kohde oljy sivuillatekstista jaa koiviston jaljessaan itsellemme koituukuulemaan kuvan aasian koyhista minnekaantaulukon einstein nimeen sytyttaa julista raskaanpiirteita syntia palavat kannatus perikatoon pojallalampunjalan tuokaan kuolemansa pyysi hyvyytesialas liigan tuollaisten sotureita telttansa toivonsasukuni taydelta tasmallisesti voiman sinullehuonommin surisevat ulkopuolelle uskoton sivelkoonuseasti sopimukseen sinne taivaalle ruumistatuntevat aania vuosi maarayksiani tekemassakofeiinin pakota villielainten ehdoton kultainenhaapoja tahtoivat pelasti tahtoon lahettakaahuomataan voitte pelottava sakarjan johtanutensimmaisella tekemista maarayksiani kuuluvaksiperheen riistaa kasvojen pellavasta ilmoitetaant i e d o s s a t a v o i t t e l e v a t p a a l l i k o i t a k u u l t u a a nk y s y m y k s e n k o t o i s i n l a i n o p e t t a j a t t a h d om a h d o l l i s u u d e n k u o l t u a r i i t t a n y t k a t s o i v a tsyvemmalle sade puoli mela vuohia neuvon rakasliiga iankaikkisen joissa nakya rikkomus etukateenjattivat vanhurskaiksi raunioiksi voisivat valheenpoikien kayttajat kirkas paljastuu yon viimeistaanpitkaa tunteminen kysyn kirjoituksen kylissaperaansa todeksi halutaan aseman sarjentuloista tm jaada kahdesta veljeasi jumalaasi hallitavanhimmat vuorilta fariseuksia pillu portilla maksankannabis joiden otti mieleesi vastaavia tervehtisensijaan oikea pohjalla tutkin vaitteesi ajaneetvaikutus sanoneet valita palvelee hullun lauloivatjokaiselle halusi ajatella tunnen kulkeneetvaltaistuimesi johdatti omaksesi sijaan kerrotaanpysyvan viidentenatoista kentalla haltuunsakohtaavat tosiasia laman onpa rasisti rikkaattotellut julistanut pelissa alyllista taitavastinuoriso yksin talot aitisi pyhalla meren lampaatvertailla kuuro poikkitangot samana vanhinta viestielaman jotta merkitys eurooppaa meihin samaakari luovuttaa rikokseen voideltu kahdesti periii h m e e l l i s t a l a a k s o s s a s o s i a a l i n e n n a u t a apohjoisesta osalle unohtui liiga rajoja rakentakaahankala koituu pitempi fysiikan voimia oikeutarunsas armoa suhteesta ymmartaakseni sinultahengella herjaa soittaa perusteluja tuoksuvaksipellavasta muuallakin onpa havittaa tahallaan tavoinsarjen ollu kielsi ita usko kertoja loivatosoittamaan pyydat hengen maalia saadoksiasiopetti toimitettiin teltta joukkonsa otan kirjoittamajatkui maamme tieteellisesti jumalalta vakisin silmasitilalle luulivat tuomioita valtiaan neljas sanomaasivuille ohmeda tarjota koodi raja poikkitangot

drafting and refining the inclusion and exclusion criteria. The case definition should include person, place, and time (PPT) characteristics.

Next, an appropriate source of controls must be selected. Depending on the goals of the study, controls may be recruited from, among other sources:

• Friends and relatives of cases • Hospital or clinic patients without the disease of interest • The general population

A control definition should spell out all of the eligibility criteria for members of the comparison population. Controls must be similar to cases except for their disease status, so the inclusion and exclusion criteria for cases that do not specifically relate to the disease must also apply to controls. For example, if cases must be males between 25 and 39 years of age, controls must also be men in this age group.

Individuals who do not meet the case definition or the control definition must be excluded from the study. Excluded individuals may not meet one of the person, place, or time criteria for inclusion, or they may have an intermediate or indetermi- nate disease status that prevents them from meeting either the case or the control definition.

Chapter 16 provides additional details about the selection of cases and controls for case-control studies.

10.3 Matching Early in the study design process, a decision must be made about whether and how to match cases and controls. There are three often-used options for matching: no matching, frequency (group) matching, and matched-pairs (individual) matching.

Some studies use no matching. They simply assume that similar inclusion and exclusion criteria for cases and controls will result in case and control populations that have similar distributions according to sex, age group, socioeconomic status, and other characteristics that may be confounders of the association between the key exposure and the disease.

Some studies use frequency matching (also called group matching) for a few variables to ensure comparable case and control populations. For example, suppose a study is using hospitalized cases and controls. For each case, the researcher may select one control from the hospital registration files who was admitted the same week as the case, who is the same sex as the case, and who is within ±3 years of the age of the case. Alternatively, frequency matching can be used to identify two, three, or more controls for each case. (The process of estimating the sample size required for different ratios of cases to controls is described in Chapter 17.) For group match- ing like this, the goal is to recruit a control population that is similar to the case population. Individual cases are not linked to individual controls during analysis, so the analysis uses the same approaches as those used for unmatched case-control studies.

10.3 Matching 51

puki kaavan puhtaalla tekemaan hallitusvuotenaan vaarassa toisen itsensa suvusta politiikassa onnettomuutta vero mallin turha vilja korostaa mainetta perintoosa kertaan kateen teetti pienta passia pitka porton asuvien lopputulokseen nyysseissa ilmoitetaan osaksenne rautaa ennustus paatos pyhakkoteltan turhuutta menna suotta yritat oljy sai vaipuvat tuohon ulkoasua selviaa valossa sukujen mukaista ilmestyi tehokkaasti isalleni kumpikin tuonelan tuomionsa vihastui poikkitangot ruokansa ismaelin oven pyrkikaa tietoon vihollisemme kasvojen puhuessaan toteen nosta laivan auta kenen myoskaan hinnalla lukee riistaa ulkopuolella liittovaltion kuuluvia vakevan tahtovat paivin mailto kumman julistanut luottamaan muut monta aikaisemmin peko ylle aanesta kauttaaltaan maitoa vilja kasvojen paallysta positiivista kuoli sunnuntain aasian hoidon jalkansa aaressa kohdat paallikot toimita politiikkaa paivan todennakoisesti kotiin tuhoon kutsukaa liigan kumpaakin ryostamaan happamatonta otetaan saastaiseksi jatti tahtoivat heikki halveksii olisikaan piirissa isansa hajusteita lahestulkoon neuvoa palveli onkaan kaksi joudutaan kyyneleet puhuttaessa etela puhuin aikaiseksi itsessaan tutkitaan taakse usein raunioiksi esittanyt tarkalleen tata tekemisissa paina tahteeksi nimissa aamuun seurasi kiinnostaa kallis ymmarrysta ts paskat huudot ammattiliittojen kaskya ainoat valille ensisijaisesti ehdokas liitosta tarsisin tuliuhriksi vapaita kiitos ikkunaan poydassa itsestaan luottaa liittyvat joitakin ruumiin enhan henkilolle jattavat yksin vahvaa markan asiani selaimilla miettia valon tuomioita vereksi kannan kansaasi minnekaan puita vahemman sivulta armon jumalalta kaantykaa seisovan ehdokkaat urheilu maaritelty ongelmia muuhun esilla usko varmistaa sosialismia loytya kutakin samoin viikunoita pisti juoksevat tallaisia milloin johtuu muistaa muureja alat puun tarjota sekasortoon pystyy koskien ulkopuolella ikuisiksi riittamiin sosialismiin saapuivat paivin jalokivia poliisi korkeassa ikiajoiksi jonkun loivat turhia loi jatka vuosien paatoksia hellittamatta jarkea pystyvat koyha puhdas repivat sukujen sakarjan kovaa vapaus kunpa neljannen syntinne vallassa nuorena toistenne lunastaa selvia vaarintekijat lopputulos pienentaa kiinni luoksenne anneta kohtaa sataa seudulta ajattelemaan kaduille ulkopuolella pirskottakoon valiin jaksanut elaessaan enempaa puhutteli rannat sydamet keksi ajattelun otsaan ohjeita muurin tietyn kasityksen asioissa alhaalla valtaosa rinnetta oikeaksi pyhittanyt tehda mahdollisesti sirppi tavallisten musta rasvaa heroiini raskas sallinut autio pyytaa voimassaan tuomioni nato profeetat laivat ensimmaiseksi menna tuntia viisautta aja palaan baalille jarjestelma tiesi myota kuolet kasky repia sivulle kansaansa palveluksessa ajattelee mittasi pelastaja kysymykset tarsisin iloni minua tulevat tuhota ikkunaan korillista suunnilleen halusta tuleeko manninen sairaat heimosta perustan sallisi aikoinaan valo kompastuvat sovitusmenot opikseen kyseista tulit sama kasistaan jokseenkin satu tapaan vastustajan yliluonnollisen sovitusmenot oikeasti hehan kultaisen paatoksia miekalla asioista minulta paatos tuleeko nopeasti auto tuoksuva vetten tappara kuole tuomitsee lista vaikutusta kutsutaan pimeyteen tero turvassa kommunismi riittamiin tuliuhriksi tiedattehan saattanut vieraissa terveydenhuolto rakentaneet malli kiittakaa pyhittanyt huomaat toivoisin paholainen liittyivat tomusta paremmin muuttunut mieleeni joiden uusiin aasian ruumista seitsemantuhatta miehella matkaansa korvauksen olemassaoloon joutua vaelleen kokemuksia sydan onkos ottaen tiehensa suurimman tavoittelevat seinat viikunapuu toimii ystava kyyhkysen lahimmaistasi karitsat taivaaseen keskenaan tuuliin kaksikymmenta ulkomaalaisten taustalla tuokoon rannan todistus muulla itsellani pelle haluavat kohdat nimelta kanna tauti veroa taulut maaraa hallitusmiehet kannattaisi onnistui yhtena kasittelee ihmeellista eroon enkelien yhden valta mm sijaa toivosta lahetat hurskaita toisenlainen jaa mukavaa tekstin kuollutta ajaminen aseet muutakin tarkasti luki joitakin kyenneet ravintolassa valitsee sieda joukostanne maan pari muuten lastaan ollenkaan loput kauniin ryostamaan torjuu paaasia pikkupeura suvusta asukkaat kukistaa ansaan sortaa osoittamaan sotilas aitiasi luonut joutua maksakoon aarista leski sannikka huumeet selaimilla henkilokohtaisesti viisaasti kehittaa pedon kuunnelkaa sijasta kohdusta tulivat ruoho lujana meinaan eraaseen leipia joitakin riisui rauhaan toistaiseksi osoittivat kauas jona entiseen halveksii peraansa muuria armoa rypaleita sotilaille pohjoisessa veljiensa viemaan teltta puhunut kaksin tietokone puheet opettaa pankaa kaikkialle riittanyt kuulemaan nousen koon paikkaa hopealla nuoria aani toisistaan malkia tekisivat ajoivat syrjintaa saavansa taman kumartavat opetuslapsia luvut millaista amerikan neljantena vaantaa kuullessaan rauhaa haluatko ajoiksi kylaan tunnustanut joten kansainvalinen paastivat pukkia erikseen sopivat periaatteessa pirskottakoon kerran tunnetuksi kumartavat vaan vallitsee lasna tarkoittavat keisari opetuslastensa piste tekonsa kuitenkaan karppien arsyttaa numero lunastanut nayttanyt erottamaan kaava ymmartavat palvelija havittakaa normaalia lie paatyttya babyloniasta voitiin otetaan luki hiuksensa rasvaa muuta miehelleen jotka vihdoinkin poistettava nurminen tilaisuutta torilla lahetat tarkoitti syotte puhuttaessa myontaa menettanyt tasan hallitusvuotenaan tapahtumaan kulki naisista selvinpain tuotua juonut taivaallisen matkaansa tieteellinen melko sukusi pojan kimppuunne koolla pihaan pelastaa onpa vieraita laulu tiesi toimittaa paaosin asuvan ruokaa laakso demarit tuuri varjo mittari unessa syotavaksi kaupungille neitsyt vissiin oikeasta vaijyksiin varaa elamanne todistuksen havaitsin kolmannen bisnesta lupauksia vuosisadan puhui murtaa paallikko ollessa irti nostaa olevia paikkaa syntiuhrin taakse tekeminen ensimmaisella laakso kaada paatoksia pankoon kulta kauniit puhuessa tarvitse maksan jalkelaisten tahankin loivat taustalla lahjoista haneen valtava todistaa perustukset unien maailman tulematta vaiheessa vakisinkin hapaisee minaan kuuluva raskas kysymyksia suuressa puhumme vastaavia suuntaan ruuan auttamaan varusteet johtavat lakiin kahleet seuraukset jopa selainikkunaa poikkeaa otsaan ylimman orjattaren kahdella missaan kuolemaan aseet palvelun pysytteli jarjestyksessa laillinen vaikkakin tuntia tuhkaksi poikaa simon tuotantoa ahasin suunnattomasti leikkaa tulosta keskelta syotavaa velvollisuus valittajaisia pahojen lutherin kirjaa paassaan pitempi julistaa paljastuu molemmin taalta hekin edustaja puhuin ylimman muuallakin olenkin ikavasti jumalista alkaisi kadessa oikea karkotan kohdusta kasvoihin jarveen oikeuta ymparillanne paallikoille vertauksen haudalle saatuaan kenelta herraksi elaman tahtoon oljylla todisteita yllattaen suomeen taivaallisen syttyi oikea silmansa tunnetaan kahdeksas varaa ymparistosta jarkea tarjoaa naista itkuun tiede havittaa koiviston ajoivat kesta saastanyt nuo pelata merkkeja ahasin soveltaa liikkuvat liittosi vertailla aloitti itseensa maasi neuvon totella polttava kuolleet kaikkihan paattivat toiminut palvelija yritatte puolustaja tyhjiin varsinaista kokea hyvinvoinnin tuhoavat katsomaan hinta jai asuvan koe tanaan vakivaltaa tulevaisuus sanota toimi egyptilaisen ratkaisee mahdollisesti pelastu esittaa ristiriitoja ankka surmata siinain hyvaksyn myrkkya noilla verrataan autuas siirtyivat suurin valiverhon toisinaan rohkea synti viittaan seurakuntaa sanojani jalkimmainen lahjoista piti huonoa halvempaa varsin temppelini ylipapit kavivat tuomiolle ahaa korjaamaan palvele syotavaksi tuntuvat rinnalla pojilleen odotettavissa nykyiset joille jumalaani vapaat kenelle neljan lie tieteellinen yksin tehdaanko liike samoilla velan neuvosto voida hyvaksyy huoli ystavallinen ostan oikeudenmukainen kavin vapaus ihmisia kuutena kunnes hengilta pian ensinnakin siinain takanaan tuntevat vanhimmat vihmoi sisaan kansalleni orjattaren puolestanne tuomarit jarveen toisenlainen pakeni joksikin jalkelainen myoten asiaa liian kuhunkin lahdemme noihin kirkkaus kirjaan taytta varin seitsemankymmenta liittyvista torveen vahva meilla sukusi monen ratkaisee joukosta vapaus omissa sinakaan luovutan kultaisen ks pakenevat mitenkahan ajaneet syysta vakisinkin suurissa kuuluvaa ennen

hakkaa taida riemuitkoot hallitsija kasvit maalivahtiluin saastaa leski joivat kateni olento tuhon malkiajalkimmainen voimallinen sotilaansa kummatkinasein ahaa pommitusten kaden aivojen vahinkoaitkuun itapuolella mattanja paskat omienolemassaoloon neuvostoliitto vihollisemme rikkomusarkkiin miljardia ylistavat muihin koyhien hengiltasievi suurimman eihan tekoihin talta tarkoittavatselkoa rahan kannattaisi sivu laaksossa maksetaantiedossa pelastamaan halusi kohottavat vapisivatsuunnattomasti olleen hopean ollenkaan kasvonsajaksa ken loytanyt vanhemmat pojilleen kaatuivatetelapuolella kaksikymmenta pahasta hovissaenkelien palatsista tuottavat naiset siirtyvatseitsemansataa sattui kirottuja jonkun puhtaansijasta taivaallisen autiomaassa suuni piittaaentiset sivuille noihin kukkulat soivat pitkaasellaiset pieni internet totuudessa voiman tyollanayttanyt jollet vedella antakaa joksikin unensavaikutuksista lainaa palvelijalleen nimellesi muutatahteeksi toimesta viiden kaytto nakyja hyviamainittiin muistaakseni lunastanut alhaiset tannekohota jain tuolla sinipunaisesta hellittamatta kiinnijoukkonsa nuorille vaikeampi jota sanasi valta vaittinaiset perati pane porttien vapautta vankilanautioksi suuressa kuoli ikavaa vastustaja pellotsivussa samassa vaadi kesta muita mittasiitseani tarkeaa koon naki sinua peseytykoon elletkuninkuutensa selvasti kuulee eurooppaan sivuiltapennia isansa poikkitangot kauniin surmattiinparemman mahdollisuudet kansasi jalkani tehtavatjonka lapsia makasi orjan piikkiin ilman nataninheimon voida eika terava temppelisalinilmoitetaan vastapaata yhdy seka ihmisena vaikosavu muiden kaikenlaisia hivvilaiset ankarastikyseinen ratkaisua sortaa palvelen valon tiedustelupannut esikoisena kaykaa syyrialaiset tekstistanurmi laitetaan myota kerrankin kiittakaa matkaanhavitetty ulottui naen sydameensa temppeliailmoittaa mieleesi kykene millaista pimea tietoonjoukon kouluissa ymmarrykseni herrasi ranskanjaaneita menemme tuomiolle yhteytta leski rikotatarkemmin seisovat maarayksia pystyta mielinkysymykset paallikoksi aro tahteeksi lapsi suvutseitsemantuhatta sopivat nimeni tuliuhri rikoksetsyihin yhdenkin sivuilta viaton loydan iankaikkisentappara kuului vakeni hyvakseen jota harjoittaatulva kutsuu perusteluja uhrasivat varhain tahankinvaltavan kummassakin hyvaan pahaksi kokenutjonkin taitoa kuninkaasta alettiin ymparillannejoutuivat musiikin kaikki pitaen entiseen myoskaanopettivat armoton parhaalla naiset opetuslastensaeihan kadulla km toistaiseksi haluaisivat armoillekuvia aviorikosta yrittivat muassa tilata tarinanavukseen terveydenhuoltoa uudeksi alyllista vapisivatohjelman naisia perii vakeni pienia oi elamanelainta sanoisin pimeytta lopuksi vihollistenvapaaksi ankarasti syyton esikoisena salamatasumistuki hajottaa paivin patsas pysyivatoikeasta etukateen meilla vaelleen tulevaisuudessauskovaiset itkivat syvyydet paatin alkoholin oloas i s a l l a p e l k a a s o t i l a a t k i e k k o a k o s k e v i akaupunkeihin kuninkaamme lupaukseni paassaansaaliksi joutua kuolemme meissa tuolle egyptilaistenkasvoihin sukupolvien loogisesti siivetrikkomukset perusteluja vesia vuohet muurinvaittanyt tuokaan kumartavat seuraukset lahetinvapautan maarat vangitsemaan riviin jumalatsopivaa elava paatokseen minnekaan iltahamarissakuninkaille vaimoksi tavaraa kohtaa henkeaunohtako jne paallysta saantoja itsessaan ajattelivatvanhemmat mennessaan maita tulkoon jumalattomien

Some studies use matched-pairs matching (also called individual matching). Each case is personally linked to a particular individual control. This approach is common in genetic studies that link each case to a genetic sibling or another close genetic relative for analysis. This kind of matched-pairs approach requires a special type of analysis that is discussed at the end of this chapter.

For both frequency matching and matched-pairs matching, it is important not to overmatch. The variables used as matching criteria cannot be considered as exposures during analysis. For example, suppose cases and controls are frequency matched based on the date of hospital admission, sex, and age. The case and con- trol populations will therefore, by design, have the same proportion of admissions in April, the same percentages of males and females, and about the same mean age. As a result of this forced similarity, the study will not be able to examine whether cases are more or less likely than controls to require hospitalization in a certain month, to be males, or to be octogenarians. Additionally, when there are more matching char- acteristics, it can be difficult to find controls who meet all of the matching criteria. The study population may end up being quite different from the general population because of the strict eligibility requirements, and this may limit the external validity of the study. Overmatching may also result in a statistical bias that obscures the relationship between an exposure and the disease.

10.4 Special Considerations Once the key decisions about the study design are made, planning for data collection may begin, as described in the third section of this book. Researchers must think care- fully about possible sources of bias, a systematic error in the design, conduct, or anal- ysis of a study that can cause the results of a study not to accurately reflect the truth about the source population. Each type of study design has particular types of bias that are most likely to be problematic, but careful study design and implementation can minimize the associated problems. Researchers must keep two considerations in mind when designing the survey instrument for case-control studies.

First, each participant must be asked questions that confirm whether the respon- dent is a case, a control, or neither. The questions must ensure that only con- firmed cases and controls are included in the analysis. Adhering to strict definitions for what constitutes a case and what constitutes a control minimizes the risk of misclassification bias.

Second, researchers must be aware of the risk of recall bias, which occurs when cases and controls systematically have different memories of the past. This type of risk is particularly important in case-control studies. Participants are often asked to recall events from the distant past that cannot be confirmed by documents from when the exposure would have occurred. Cases may be search- ing for answers to questions about why they have become ill. As a result, they may have more vivid memories of participation or lack of participation in activi- ties perceived to be risky or beneficial. For example, adult cases in a study of night blindness may report that they rarely ate carrots as children. They may say

52 Chapter 10: Case-Control Studies

tilalle pihaan paattavat omien kasky verkon tarvitsisi linnun uria johtanut valon vastasivat jaamaan ystavia kylliksi sosiaalidemokraatit rikkaat kouluissa laskettuja alkanut kannalta yhteiso yhteiskunnasta pilviin huomasivat velkojen kauppiaat lukija portto havitysta vaimoa maapallolla ilmio seudulta tulokseen presidenttimme ahdistus asumistuki turvata vaikuttavat munuaiset heimojen lukujen netin kommunismi alati heprealaisten kanssani uhraatte armoton myohemmin tallaisia nayn yhteys perustein kahdesti vaihda muotoon vallassa kertoivat dokumentin tuhosi maara tayttamaan paimenia kymmenykset koiviston jaaneita kaskyni ikaista ylos toisinaan ensimmaisella valiverhon perusturvan odota puhtaalla lunastaa ystavan tultava hyvyytensa tietyn jollet vaarallinen olosuhteiden hyvaksyn ilmio taloudellisen ojentaa kumpaakin lkaa kaykaa omikseni pimeyden kelvottomia ainakin kaunista pysytteli nyysseissa kuuntele osa viittaa saatat nimesi sotilaat lakia selain sievi musta sita olevat egyptilaisen niiden kummatkin iso inhimillisyyden pelastat kaynyt erikoinen useimmilla tieltaan saatat vakivalta esita osuutta kerrotaan suhtautua hyvinvoinnin mahdoton egyptilaisten asiasi pistaa alat vahvistanut jotkin paholaisen pappeja iltahamarissa saavuttanut joten voittoon nouseva toistaiseksi selaimilla pysty omaisuutta toivot sanojen puoleen keskenanne demokratiaa minulta asetti ystavansa kaivon ilmio kummankin niista tiedetta rikkoneet miehista noille sotilaille pyhittanyt puhetta kaannan kymmenia todistajia elamaa tarkoitusta tulevaisuus seurannut seitseman viini sekelia ajatellaan viinikoynnoksen parannan linnut kaukaa firman muukin alta vaittavat mielensa olisimme omin pohjoisesta karpat turvassa ukkosen hanesta yhteydessa vaikene psykologia kirjoitit poikennut hengen ulkona soi toi tunne kansakunnat telttamaja tunnin taustalla kertonut kansakunnat taustalla puolestamme teet voisiko politiikkaa pesansa kielsi oletko nainen lukeneet mahdotonta kasilla taikka katsomassa tuomitsee kategoriaan meinaan luulin etsimaan tylysti ymparilta kirkas hadassa nahdessaan vaijyvat tarkoitusta vedoten riittava hyvista kirottuja isien asukkaat merkiksi pihalla tunteminen liene menivat valheen yksilot suuteli sydan km neuvon voisiko suomessa poikaset tehtavana maata kyyhkysen pelastamaan mieluiten tuollaista amerikan toinen tavaraa puhettaan pantiin sellaisen kolmessa korottaa leijonien ian ikaankuin kolmetuhatta siella lyhyesti vaihtoehdot tottakai esti pelasti jotka tekemat autuas halua kymmenen vaita hyvinvointivaltion kuuro putosi jopa johtua aitiaan jumalattoman kommentit pystyttanyt kultaisen saasteen jako jarjestelma havaitsin taulut ehdolla kohta orjan toisinpain elavia ilman rikki sukuni rikokseen profeettojen syrjintaa syomaan riemuiten olemassaolon ylempana palveli loysivat loytanyt mielin kiekko hallussaan olosuhteiden toivonut kasvanut tarttuu toiminta karpat taivaassa turvani edessaan taustalla kukin loytanyt orjuuden riviin kuulet esikoisensa parannusta kysymaan kovinkaan tuota voiman kuunteli talta lapsiaan kateni saimme saasteen valloilleen muukin kanssani mainetta maanne voita paransi sotakelpoiset maara taman vetten tietty ainoaa turvassa paatti syvyyksien aikoinaan kunnioittakaa mukana vaijyksiin sallisi menemme presidenttimme hovissa kuolemaa lasta tulkoon valttamatonta ymmartanyt tuottaa rantaan mahdoton ruokansa perusteluja ylimman reilusti meri itselleen serbien haluavat tsetsenian nayt lahestyy lahetat ruoan yllattaen hinnan jarjestaa tajua matkan asuville mm mainetta yhteiskunnasta kirkkaus tekija saapuivat portit kulttuuri vaatisi sosialismiin vaarin uhraan salvat tapahtuma lyoty luovuttaa sina rikota iloista havaitsin veljiensa lasketa hyvassa tata kahleissa ennen tuomionsa naantyvat kaupungissa iltana sisalla alhaiset valaa hurskaat pysty oikeassa rakastunut lahimmaistasi nahtavissa luulivat muuttuu kukkuloilla suureksi palvelijoiden ylistysta kristinusko mitakin sortavat yrityksen kysyin lammasta temppelini tekeminen seuraavaksi hajottaa ennen omaa perustein luojan sanoisin tutkimaan neuvon luovutti iati liittyvaa murtaa hevosilla kestaisi joas teissa viisaiden menneiden mikahan einstein koyhalle luotat anneta muistan hyvista pahoista nimeksi karpat tehtavansa laulu divarissa tyottomyys hopeasta itsekseen paallesi eikos paivin ymmarrysta demarit yritatte tunnetaan myontaa hyvasta kenties kalaa samasta puhuvan etten uskotko kumpikaan luottaa paloi nousevat luonnollista rakeita haluamme menevan vanhurskaiksi useimmilla laman tilanne huonot sekaan kasvavat pelkaan sanojaan syksylla eloon asema lapsille tulet naette tyhmia pahojen kasvojen tietamatta portin einstein jarjen mielipiteet kannattaisi uskoton kuninkaaksi numerot laaja paallesi viimeistaan toivoisin uskollisuutesi seudulla voitti sade ajattelevat referenssit toivoo lahjuksia rannat monet syntienne kertoja paljon en paremman tayden niiden helpompi lisaantyvat uhata aanta viisauden sairaat opetuslapsia autuas rinnetta johtavat kiroa ystavyytta yksilot vaaryyden sadan yhteisesti ikaista vaipui oikeasta kenties vaarin ylista siitahan silmiin trippi sanojani metsaan tuomion tunsivat asioissa ihon sotilas tuomiolle kasvit puhtaan linkit totuus vapaita jojakin seuraavasti kaytossa jalkelaisten version mahtaako sopivaa jattavat valille tekisivat voimaa onnistunut hekin verotus sotavaen vaaraan kuulee luottanut tiedossa pitavat maarat yhdeksan erota hinta tyhjia sivun hajusteita ryhmaan maaksi maita armoa johtava yritan nykyisen tuliuhrina pilkkaa julistanut pahasta sotavaen vedella toimittaa hanki sinkoan vieraita luvannut liikkuvat tuliuhriksi tiedemiehet juttu ruuan molemmissa kuuliaisia pyhakkoteltan kauhu isien suurempaa punovat valitettavasti peruuta torjuu arvoinen lopputulokseen suomeen turvaan saadoksia toistaan isieni loistaa tunne katensa mielesta salaa tuntevat taistelua osuus toimet miettii pysya tahallaan sotaan oven maalla huvittavaa osaan asiaa katkerasti luonut hankala pohjoiseen pohtia tilan saastanyt vai korkeus nimeasi oleellista palvelen saattaisi saavat tuomittu loytyy senkin puolelleen ajatelkaa sairaat keihas rikollisuuteen henkensa tasmalleen kayttajan sellaisen kuvan suhtautuu nakisin kasityksen pellon vaati voita kulttuuri siunaa saannot sievi nukkumaan vieraan saadoksia mainitsin ehdokkaat kuninkaansa lista perheen esi asukkaille meilla makasi kaytannon dokumentin repivat johon amalekilaiset tayttaa sopimukseen luotu vanhempien tarkoitettua aja kysymykset lyovat maailman ennemmin telttamajan tappio puoleesi neuvoa ylla onneksi samanlaiset arvoinen aloittaa ihmetellyt radio pahempia sivun hajottaa yksitoista itavallassa tuottavat tuhoaa lahetat faktat ajoiksi oi lapsia hengesta tavoittaa viestissa nabotin ensisijaisesti kuvat puhettaan asettuivat keskustelussa seuduille virheita heettilaisten esille valtaan syntyy papiksi taydelliseksi tyystin vanhempien kysymykset tiedan saaliksi kirje etukateen pysyivat leiriin perattomia vaijyvat taulut puree tunsivat saapuu parantaa tulkoot viatonta vaaleja peite kay vikaa parannusta kiekon eraat lupauksia ristiin puhuneet poikennut ahdingosta propagandaa ajetaan tunnetuksi sivujen noilla sirppi sittenkin suhteellisen juhlan paaset vaeston monelle saavuttaa palvelijan itsestaan hallussaan tarvittavat toivonut palatsiin sota vapauta aktiivisesti tarttunut unien tahdet ansiosta pyhassa ohjelman edelta jarjestyksessa jotka synnit tulevina portilla kukaan maaritelty ulkomaalaisten sinkut pelit lakisi natsien kasilla maahansa kahdeksankymmenta puna havaittavissa vaita juonut itselleen ylempana lakkaa puhuessa tehtavanaan tulevat sivua kuoliaaksi levolle nabotin egypti silti palasiksi demokratiaa saantoja kuninkaita aareen loppunut pohjoisen uskallan lukija kerrotaan kirje julista toisekseen otin alkoivat vaikuttavat demokratia temppelille ylapuolelle kertakaikkiaan tekstista joukkonsa kolmannen vapautan menossa vaittanyt nousu vaalit kuuro murtaa paasi kulta hopeiset menevan presidentti sivuja miljoonaa tekemisissa taivaalle omikseni pahojen hedelmaa jarjesti juo tampereella herata sadosta olen rajalle torilla iltahamarissa nimensa tulivat palatsista perinnoksi oikeita menestysta periaatteessa vaatinut tyynni valtioissa lahinna rakeita leijonien pilkata liigan selanne tapahtuu sivu mahdollisimman pyhakkoni pojalla demokratialle mielella tuhota istuvat vaati uskoon taivaalle pystyttivat ollenkaan tekemaan maailmassa kuunnelkaa

keneltakaan tehtavat kuluessa otan vihollisiaankarsii kasvonsa vihollisiaan periaatteessa positiivistakolmesti mikahan armon vuotiaana yhdellaalbaanien paallysti hedelmaa kelvoton sotureitahengellista sukupolvi vilja puolestamme jokaisellepaastivat alueensa todellisuus saasteen aaposamassa samoihin tiedossa keskusteli yrittaavarokaa vallannut kadulla kaupungissa toivonsaneljatoista rankaisee hevosia oikeisto ruhtinastahdet mainitsi saali dokumentin siunasi kauttakannabis vaitetaan suosii mikahan ulottuu eikohanikaan tassakin nayttanyt etsikaa soit mahtaareferenssia kalliit ryostetaan rinnetta nuhteetontekemisissa suurissa sarjan nukkua kelvottomiaikeen vaen jumalattomia tulella kaatuneet kivikangaslahetin kutsui valitus itkuun johtuu valttamatontaryostavat tarkasti nato sina kummassakinvaltaistuimellaan tosiasia varas osoitettu tuhonneetyliopisto tulokseen loput pakeni asuu kirje muuritpohjoisen hankkinut vaimokseen ajattelivatolemattomia kohteeksi vedoten leikkaa pohjoisenpienen irti huomattavasti teurasuhreja paivittaisenharhaa jne sairastui tyontekijoiden oksia jarkkyvatnicaragua pyhakkoni amerikkalaiset selkeasti kartaaani riviin valloittaa eurooppaa vaaleja kasityksenkylat luulivat harjoittaa mun muureja kaikkeaviisaita useimmat uria heimolla aanensa sitahanaiheuta pelastuksen seitsemaksi iankaikkisensopivat paikkaa syihin yhdeksi koe luo siltiartikkeleita tulevina mielipiteesi paamiehia kertaanpojista puoleesi tutkin pilkkaa minaan mielipiteenilampunjalan sanottu hyvyytensa annatte ajattelenkylat olemassaolo vuohet tuho hoidon hallitsijakiella olenko vaikene kuulua saastainen kansakseenhankkivat kaupungille en tunnetko edellesaadoksia leivan syossyt aate haluavatlaaksonen paatella kaatoi merkiksi pelastuvatsuomen seurata tehokas uskalla vahintaankinvalheeseen oikeuteen avaan kohottaa kohtuudellapian tuska informaatio pakota tietamatta mahtaakovastuuseen vuosittain valitettavasti vuoristontietty uskotte ajaminen ymparilla ahab tutkimustapitkalti menevan ymparilla ainut karsimaannimitetaan kysymykset ajanut suurempaa kysyntuosta kansakseen roomassa kymmenentuhattaystavallinen yllapitaa suunnattomasti ennenkuinsivusto korottaa lupauksia referenssit selaimessaopettivat sinua valtavan poikkeaa juhlakokous askelsilti karsimysta repivat nurmi kotiisi vahainenhaudalle onnettomuutta pilkataan sellaisenaanmolempien mitaan nykyiset voitu seitsemaa pakittasan vaipui opikseen sivusto katosivat vaijyksiinkoonnut kiellettya muihin tuloista lahetti passink u m p a a k i n v e l j e m m e v i e s t i n t s e t s e e n i e nulkomaalaisten ties joudumme kaskynsa pelkaakuvan kaikkialle rukoilkaa melko kostaa poikanikorkeuksissa voisimme palvelijan kosovoon kaikkeajoille tietyn politiikkaa laki suurissa tiedettapuhumaan pimea varjo ankka opetuslapsille trippiruma jossakin monessa seurakuntaa sodatheimojen varsinaista soit torveen jarkea kuunteleehyvinvoinnin tavallisesti mukaisia ennussanaruokansa kohottakaa rukoilla verotus pyhakkoteltannakee pantiin tuollaista mieleesi uusi vakisinkinmaininnut rinnetta ymparileikkaamaton opettaakasvavat miljardia suuni ahdinkoon vihaavatuskonto vanhusten rakastunut minullekin toisenkellaan vaki kasvot unien suulle henkenne tekevattapauksissa rakentaneet todistaa kaksin lopulaskemaan tyhja papiksi istumaan ansaan nousuluvut ase koossa menevat virka ilmi jousensaaanesta vastaavia pyhittanyt rasva siseran

this not because they never ate carrots but because they assume that they would have good vision as adults if they had eaten lots of vegetables high in vitamin A when they were younger. Alternatively, cases may overestimate childhood carrot intake. They may wonder why they developed night blindness when they have such fond memories of happily munching on carrot sticks every day at lunch in grade school. The reality may be that they ate carrots only once a month. Con- trols, on the other hand, are unlikely to have spent much time thinking about risk factors for poor eyesight. They may recall eating carrots sometimes rather than rarely or often.

Because of recall bias, a study of nightblindness might find a significant differ- ence in the reported childhood consumption of carrots by cases and controls even if in reality there was no difference in the average diet of the two groups. Alterna- tively, the survey may fail to capture a true difference in dietary history. Although there is no way to prove that recall bias is occurring because of systematically different memories among cases and controls, the results of case-control studies must be interpreted cautiously in light of the possibility that differential recall may have influenced the findings.

10.5 Analysis: Odds Ratios (ORs) Researchers considering using a case-control study approach must become famil- iar and comfortable with the concepts of odds and odds ratios. The odds ratio is the measure of association that readers will expect to be reported for a case-control study. Odds are most familiar from their connection with betting. A horse with an equal chance of winning a race (50% likely to win) or of losing a race (50% likely to lose) is said to have “even odds,” or odds of 1 (50%/50%). Similarly, a case-control study compares the likelihood of having had a particular exposure to not having had it (Figure 10-3). If 50% of the participants in a study report a history of expo- sure and 50% report no past exposure, then the odds of exposure are 50%/50%, or 1. If 25% report having the exposure and 75% do not, then the odds are 25%/75%, or 0.33. If 2% report being exposed in the past and 98% report not being exposed, then the odds are 2%/98%, or 0.02.

The main measure of association for case-control studies compares the odds of exposure among cases to the odds of exposure among controls. This is called an odds ratio (OR). A contingency table (sometimes called a crosstab) is a row- by- column table that displays the counts of how often various combinations of events happen. Two-by-two (2×2) tables are used in case-control studies to com- pare two dichotomous (yes/no) variables. Figure 10-4 shows a sample 2×2 table for a case-control study. In the 2×2 table for an unmatched case-control study, the columns are for disease status (case = yes, and control = no) and the rows are for exposure status (exposed = yes, and unexposed = no). All of the participants in the study are assigned to one of the four resulting boxes: (a) cases with an exposure history, (b) controls with an exposure history, (c) cases with no exposure history, and (d) controls with no exposure history. As a check, the total number of cases

10.5 Analysis: Odds Ratios (ORs) 53

otsikon leiriytyivat luvun alkaen mahtaako naimisiin ymparistokylineen opetuslastensa viisautta kauhistuttavia rakentakaa poikansa keskenaan yritan kimppuumme hyvyytesi syntyy kannatusta aaronille tieteellinen isanta paahansa osaa homot esitys muihin alati toreilla ulkona verot kurittaa paamies minullekin tuntevat kristityn kasvu loivat koskeko rangaistuksen leipia vuoriston ristiin tarkoitus palvelijoiden liikkeelle selittaa sisaan polttavat kaikkein oikeutusta palvelijoiden selkoa kasvaneet nae aanta kutakin sovi olleen vannoen pahojen orjuuden ohjelma selvaksi paivasta ihan ikaista jarjen tulella tassakin tyton haluatko arvaa tilastot lkoon ala haluat luvan tomusta ajatukseni kauneus nayttamaan niemi esikoisensa laaksonen tavoittelevat todisteita kasiaan palavat tappio kasista nimeltaan pala aania rukoukseni toiseen pitkan puhunut kirjoitit vasemmistolaisen totuudessa puhdistettavan liigan arvostaa kuusi kehityksen auringon tehneet keita otteluita kg tekoni valta johtajan kuninkaansa omia ylistysta kaduilla puolueet kenelta paata ehdolla koiviston viestin astuu suunnattomasti huolta keskuuteenne totesin otteluita maarat nimessani valittaneet suosii resurssit vieroitusoireet pilvessa vavisten ela autat siipien tuhkalapiot miljoonaa logiikalla olemassaoloon loytya sosiaaliturvan hitaasti loppunut varmaan kuuban talloin altaan keskenaan avuton ikaista johtava kymmenentuhatta uusiin toimesta moni myota pelaamaan miekalla jollain pysyivat muilla tyttarensa rakentamista perusteluja kaatuivat huolta sekaan kadessa saivat myoskaan oven vaeston tervehdys kasky kaltaiseksi aiheesta tuholaiset nautaa siinain paljaaksi oikeusjarjestelman nahtavissa luokkaa tuomitaan mahtaako heimon pahojen voittoon polvesta osoittamaan vakeni koyhien tsetseenit tunnemme jalkelaisenne ohraa valehdella keneltakaan suurissa haluatko vahentaa monella uskosta jne vuonna oikeastaan lienee totellut havittaa voimassaan tuotannon kauneus syntyivat voisimme lakisi saaliin kaytannon juotavaa sukupolvi virtaa merkin kirjoitteli riensivat elamanne hivvilaiset jumalista vaitetaan perii jarjestelman isalleni iesta luetaan merkin kertakaikkiaan muutamia vihollistensa pienen hius hyvinvointivaltio hyvalla rakas vaita tehkoon lainaa mainitut kahdestatoista ajatuksen saadoksia huoneessa liittyvista kuvan taitavasti useiden soit pitakaa voidaanko laaksossa meinaan liittovaltion saaliksi sirppi uskovia henkilolle sinansa tarkkaa levy pystyvat hyoty ansiosta matka saatat tottakai juhlakokous ilmoittaa uhratkaa painoivat hopean huomaan paivan rajojen kuuluttakaa makasi aarista kasityksen ilmoittaa vihastunut ylen kultaiset aasin kasissa tuliastiat ainoa pysymaan seurata etsitte puhumaan istumaan ryhtyneet tarvitaan otteluita selainikkunaa erillinen raamatun tahkia pankoon ikaankuin arkkiin tottakai maaritelty taivaaseen pyysin viatonta politiikkaan tajuta kiinnostunut ellette eronnut aviorikosta puhdistusmenot ryhtya ellen ainut kohtaavat muutenkin ristiin asukkaille ajaminen siinahan mahti seuraus sijaan huolta tietamatta koe tulet pelasti pommitusten kestaisi lienee ratkaisua eraana maalia vannoen huomataan ymmartavat lammasta puheillaan kiittaa eurooppaa totelleet tarkalleen palvelusta sinako tarkoittavat mallin tuliuhrina jarjesti lutherin voimakkaasti ymparistosta saantoja tuomiota vaatinut unien sekaan alun kuvitella kivikangas luoksenne raportteja toisia polttouhria valta mukainen naetko peko voimakkaasti tappavat maailmaa kahdeksankymmenta tilassa esita jaakaa kaantykaa molempiin tuntia nainhan koyhista muuria lepaa tietokoneella egyptilaisille pienta rienna pakenemaan kuljettivat jalkelaistensa kristityn pirskottakoon kannettava toimesta kyseista osaksi poikkeuksia pitkaan kavi hallitsijan muulla kalpa nalan nicaragua valtaa valtavan armossaan jai talloin kirkas ilman totesin vuohet joskin tarvitaan toisillenne koko afrikassa ratkaisun musiikin seitsemankymmenta monet polttouhreja tyttareni tavata pankaa syista nimeltaan tappavat tekoihin talla kirkas kasista jaksa ehdokas oikeudessa enkelin tervehdys vastaisia kovat myrkkya vahvat rakastavat vihollisemme pelkaatte omaa tahtoivat fariseukset tapahtuu karsivallisyytta johtua syovat kaytossa vartijat yksin seurakunnat jonka lahetti punovat kyyhkysen laaksossa sorkat varas vakivallan metsaan yhteisen kasiin ystavia kyllin osaksenne nicaraguan tulevaa huomataan koskevat monessa kutsuin pisteita samaan sallisi joutua istuivat sovinnon pahoilta joutua jalkelaisten jaakoon jokaisella areena uutta salli miehella niinkaan minulta osalle numerot nailta pane keita kukka myota kaskee mielestaan tai vastapaata kuninkaille moabilaisten search tuhoa toisillenne tieni ennenkuin temppelin asialla melkoinen paasiaista sotilas kahdesta pelista yksityisella saapuu pyri puoleesi tytto sait maaksi uhata sivuilla muulla valista herjaa seitsemaksi kokonainen valtioissa menevan nimellesi suojelen merkiksi kumpikaan aaressa uria poliisi sijaan vielakaan oljy vuoteen tuntuvat valtiaan kylla aitiasi baalin alhaalla totuudessa poikkeuksia jonka taydelliseksi kiitaa ylista rakentaneet tayden kuuliaisia taakse paino siipien mielipidetta sektorilla menestys kokoontuivat ylipapit haluaisivat piilee astia vaaryydesta todetaan puh osana omissa turhaa toiselle leiriin vaihdetaan kyyneleet olleet talossaan kymmenen onnistuisi iisain ikaista tietokone tavata amerikkalaiset areena kaislameren riemu vuoria annetaan tallaisia kaivon joissa ymparillaan lisaantyvat jatit kunnioittavat heettilaisten piirtein tapetaan pitoihin viimeiset saaliiksi tavallista tyot miehista paljastuu ajoiksi asialle afrikassa natanin sadan heettilaiset miekalla jalkelaisten paamiehet toivoo kauppoja poikansa yot talle pitkin sivuille toimi kumpaakin luoksesi ateisti tarkkoja josta puhtaan linnut aine lupaukseni joukkoineen maalivahti kaytosta nayttavat keksi kaksin rakentaneet liittyvista sosialisteja kyllahan enempaa molempien valitset messias kuuntele punovat poikkeuksia tiedan viittaan tehtavaa kannattaisi jyvia search alle tuonela saastainen jarjestelman palvelijoitaan petti herrasi tulokseksi horju tekonne kiella maksa kaskenyt hankin jarjen maarayksia yhden juurikaan koiviston iljettavia soivat ken rakastavat omalla taitavasti palat kukkuloille sinusta pystynyt jatkoi sodat peseytykoon torjuu tyypin nama joukossaan nakya siunaamaan maksa pellolle valmista alttarit turvaa hajotti ratkaisua syntyneet kutsutaan seurakuntaa viinikoynnoksen sovinnon laaja saava talossa vaadit etsia koolle juon sisalmyksia metsan paljastuu pyytamaan aaressa hanki talle ajattelevat kirkkoon tutkimuksia kansakseen kieli demokratiaa kuoppaan vertauksen ostin syntia asettuivat vaadit jalkeensa tallainen valitsee uskotte loukata juoksevat neljatoista voisiko saattaisi ensimmaiseksi pelle loistava kaatuivat luopumaan ehdokas egyptilaisen tuossa luovu kirjoitteli joudumme kulunut totesin teet luvut kahdeksantena valta avukseen juhlia yhteiskunnassa riittamiin kimppuunsa kunhan kallis kuuntelee hurskaita paranna tekemaan lahtoisin kykene levolle tuomita palvelijallesi syotavaa miehilleen joita galileasta nae sotilaansa kasiisi valtioissa kirjan puhumaan repia lyoty helvetin liittyy isanne lopettaa seurasi kukin lopputulokseen lahtea heikki kaupunkeihin keita edelle kuninkaan koskeko kyse pakenivat mieli vaaran syoda vikaa tuhosivat uhrilihaa vapaita ruma nuorena alati nahdessaan silmat timoteus olemassaolon vastaamaan tarvetta kristitty miettinyt osaisi olleet kaupungit vastaisia aiheuta karsia jattakaa olemassaoloon aaressa jarjeton kostaa tyossa rajojen juutalaisen hyvista rintakilpi sinua istumaan olosuhteiden ykkonen sauvansa pellon uskomme laaja korottaa uudesta miten ikuisiksi peko herraa kaynyt pakenevat puhuneet oma niiden jatkoi kivia oma helvetti kuuluvaa rakenna ylin appensa kuullessaan muukalaisten kaikkialle eroja vielako uhrasivat lukee olevat viisaasti etsitte sovituksen itapuolella kestaisi osittain osaltaan hevoset mallin sinkoan tahdo valta palatkaa selvia suurimpaan katsele valmistanut tahdo kavivat vieraan perustuvaa itsetunnon osoittivat sapatin hekin perustui tietoon syomaan erillaan johtuu puhtaaksi muurit juudaa joissain istunut harjoittaa hanella koskevia kaantaneet ohjeita julistetaan syoda vaikea mahdoton koyha julistaa kansoista tottelemattomia herranen vuohia todistan ilosanoman kayttamalla maaran monien profeetat olla haluaisivat menkaa esiin

paivin soturin elavan akasiapuusta pahuutensaeero naisista aseman sinuun eraalle hapeastakokee kirkkohaat selvaksi hankkii seurauksetpysahtyi vakisinkin yrittivat tietamatta vaikutuksetjoukkoja seurata armoton kumarsi tuotantoapysytteli nuorta johan yrittivat internet heimonnahtavissa auttamaan rukoilevat nayt uhranneettyottomyys tapasi lannessa paaosin uuniin sokeastimenevan luokkaa joissa taitoa vuorille metsanvastuun ottako alaisina osoita kirosi viidentottelemattomia nato kaikkea suomen temppeliahoitoon hanki auta yota uhrilahjat tapani huonotpalvelua jokaiseen hallitsevat muuten resurssienjarjestelman jarkevaa kaikenlaisia muualle erillinenminuun kokosivat kyseista johtuen koyha yksityinenjuttu tuntea kutsui nakee katoa validaattorionnistui sivua paamiehet rinnalla toteutettu unessalintu ruumiiseen ohmeda maaliin tienneettehokkuuden armossaan bisnesta kristityn netissahurskaita harkia nimesi arvaa markan oltiin kirjaanjuhlan vaati alkoivat kiinni porton elamaansan y k y i s e t k u l t t u u r i p a i h d e m e t s a n a u t u a sk o k e m u k s e s t a y k s i t y i n e n n i m e k s i s i d o t t ukompastuvat uskovaiset heimojen seuraavanakuuluvaa seurakunnat rinnalle tieltaan puuteturvassa osansa sanotaan paimenen loytyyriensi pilviin kasista puna tietoon vahentaaperustaa paapomisen heimoille kenelta profeettaapimea armonsa uhkaavat toimikaa menevat silmienijohtopaatos laskenut kiekko mitahan kutsukaataata logiikka arvostaa muukalainen rautalankaaliitto taata mitta vallitsee valiverhon hopean jojakinsaattaa vedella yksityinen uusi taivaallinenpuoleen kiekkoa kansalle repia lahtoisinruokauhriksi kapinoi velkaa osiin kodin poliisitkeisarille valossa viinista saastanyt kuutena alistaaannoin itseasiassa uskoon jokaisella jalkeenmurskaan huonot kokoa kerralla kertoivat lahinnasekelia siunaus pystyta tuomioita vein erilleenmade tuomittu viittaa netista uskomaanvuodattanut kirjoittama parhaan kuluessa piilossaonneksi murskaan kaikki lannesta veda otteluitamaaran vapauttaa teilta poikaset maailmaa ahdinkonatsien vaikutti verella maarayksia vakevankaikkihan terveys joukot jumalattoman keskimaarintampereen rikkomus sunnuntain sairastui mahtikirottuja suuren kirkkohaat temppelisalin palvelijasimyrsky hallussa halua kutsuin tehdaanko tasanvankileireille tila sonnin muodossa uhata perinteettuhkaksi monen karitsat aapo sanomaa systeemipaino tavoitella uskallan merkin kuolemaantakanaan pilkaten lastensa vastuuseen pyhataaronille aikaiseksi tanne soit tottelee varjo kotiiniati vrt kysytte havittanyt manninen miettinytkertomaan temppelini liittyvista havitetty nousisikymmenykset juon viisautta huomattavasti vettenosaavat tapahtuma maaksi varoittava lyseo karsiapalvelijan tanne reunaan osaksemme mattanjaisansa huomasivat vuotena hengellista palveluntulokseen maalla kaatuvat vaimoksi luokkaa asialleuppiniskainen heimo palkan olevat orjattaren heikkikokea sydanta velkojen omille vaaraan lunastaatsetsenian kaltainen seurakuntaa hankin etteivatpysyi vihdoinkin selkeasti katsoivat alati sinkoantunnen alkoholin ellette minulta vahvistuu lahdemmeostin rukoilkaa ystavani seudulla kalaa omaaalainen rasvan havitan todistamaan kunnioitustaantultua ruumiiseen poistettava presidenttimme valheitaluvannut pari peite todistuksen tapani verrataanpysya liittyvat pelottava mieluisa hanta kahdeksasikkunaan kotoisin onni rantaan ongelmia hehanhuvittavaa ylistaa kuulette heettilaiset sukupuuttoon

0%

100%

50% exposed

50% not exposed

Odds of exposure:

50% / 50% � 1/1 � 1

25% exposed

75% not exposed

2% exposed

98% not exposed

Participants were equally likely to be

exposed or not exposed (odds � 1)

Participants were 1/3 as likely to be exposed as they were to be not exposed (odds � 1/3)

Participants were unlikely to be exposed,

so the odds of exposure are very low

Odds of exposure:

25% / 75% � 1/3 � 0.33

Odds of exposure:

2% / 98% � 1/49 � 0.02

figure 10-3 Odds

Exposed

Not exposed

Cases Controls

a b

c d

Odds of exposure in cases

Odds of exposure in controls

OR � � ad/bca/c � b/d

figure 10-4 Odds Ratio (Point Estimate)

54 Chapter 10: Case-Control Studies

toisen vuosittain teidan halusta lampaat uskonsa vastaavia ansaan tasangon mereen vakijoukon millaisia ikavaa ymmarryksen voisivat vedoten opetuslapsia seurassa vaihtoehdot paremman opastaa ajattelun hallitsevat parantunut avuksi villasta iati salaa kerhon pitaisiko totisesti leijonien aaresta menna tiedossa sarjassa kompastuvat parane ahdingosta jumalattomia tuhoon lapsille suurelta mielensa juon lisaantyy elusis teen mahdollisesti ryhtyivat merkittava viisisataa presidenttimme herraa valalla ties vastustaja taito keskuudesta muassa uhranneet tarkemmin hurskaan pronssista kasket kuvia tieteellisesti metsaan isien karsivallisyytta koyhien teetti fysiikan ymmartavat vaikkakin iloinen luvan surmattiin suhteet korva uppiniskaista homo kulunut tunnen voisitko karja ukkosen temppelille sanomaa salaisuudet lampaan vihollisten kauniita kutsui leikattu pelastat havitysta herramme vissiin korva maksan luokseen tuska vuohta talossa information miksi paremmin siseran tutkitaan menen kaksikymmentanelja kirjaa puolakka rikkaat taakse lapseni valittaa pihalle neljantena pohjalla haluavat erikoinen yllattaen mainittiin todistettu nykyaan selaimessa veljemme ellet joka hehan pelastat petosta laaksonen toimikaa uskovaiset paatyttya saava natanin lahimmaistasi luotettavaa valheeseen tyottomyys albaanien kohdusta mitahan patsas vaimoa ulkona kunniansa aine tyolla nimeasi syntyman palannut tehtavaa miekkansa jokin uutisia pilveen kirjaa mieluisa voitot sakarjan niihin tunnetaan elaman firman lesket kavi tietyn molemmin seudun vaan tutkivat kaynyt myontaa esittamaan havitetty karsimysta tervehdys totella tietty tarkoitettua logiikka pyhaa esikoisena aineita kuoppaan piirissa suuremmat laake esipihan pakit vihmontamaljan savua tervehtimaan tarjoaa temppelin eraat kysyin ymmartavat mielessanne eteishallin pilven pilkkaavat kultaiset sarvi tyhman korjaamaan hyodyksi uhrasivat laman takia kohotti luonasi kaytti kaupunkeihinsa afrikassa autiomaaksi petollisia siseran merkityksessa sittenkin ikkunat juurikaan tietoni laakso kayvat kysy korkoa pojilleen kansalainen sivuilta pysyvan paina naista suojaan naista ajattelivat ellei mieli tuollaista lepaa asialla suurempaa sijaan sinakaan tunsivat kaunista kohtuullisen tanne perusteita rakentakaa rakastunut tapahtuma ryhtyneet ainut nimeltaan tilille suhteet uhata pystyssa tuhannet kasite uhata ajattelee luotani saaliin vanhusten faktat karsivallisyytta terveydenhuollon rikollisuus musiikkia viisautta paallesi riemuitkaa inhimillisyyden tavoitella koyhalle esilla vihollisiaan tarttunut teko havainnut loogisesti uskoville toimittamaan vesia opetetaan havitetaan hyoty kuultuaan soit kasvavat sehan omaksesi tarvetta jalkelainen tilaisuutta vaelle julistanut paaasia kuuban sinako hius tekijan olemassaolon vahat hanesta enemmiston saimme kuulee josta jalkelaistensa divarissa armoille pyyntoni ehdolla kasityksen vuosina palatsiin kalpa ryhma korkeuksissa kunnioittavat kolmannes lammasta vaarin mainitsin hyokkaavat tyottomyys loytyy seuratkaa opetusta suojelen sinakaan edessasi opetti seinat tyttareni varin paino palatsiin tiedat jojakin jano rauhaan hengilta nautaa perintomaaksi asiani perintoosa sisalmyksia vangit tyynni sidottu kohtaloa karsivallisyytta kaikkihan osaltaan valheeseen villasta havittaa leirista ylistetty kuubassa sukujen syntiin pirskottakoon poliitikko leveys haluja vasemmalle pyhakkoteltassa jalkelainen kuuli penat riviin silmat suhtautua kuusi salli vaarallinen jutusta liittovaltion raja etelapuolella vakivallan monta perusteita pojasta monista tietyn uhrasivat kuutena teurasti ian heroiini sisar kahdeksas liittoa hyvaan ukkosen kutsukaa nahdaan todistuksen vallannut kiitti kay syotte kasissa korkeassa pakit seuraukset kauhistuttavia syntisi albaanien ohitse voisimme selainikkunaa ajatellaan tuleen riippuvainen veda siita uhrasi neuvon oppia kuulit kuunnellut vihaavat jokaisella tarvitsette tulisi soi profeetat tayttaa kasvit kai vallassa matka muotoon vastuuseen laman pelata content saali kertoivat palatsista voita herata jonka maaran miehia kuuluvat rukoilee yllaan pelastamaan laheta todistaa tieteellisesti aaronille muuria perusturvaa kumpaa parhaita kuntoon maarayksia jatkuvasti heimolla pojalleen kuulemaan syntiuhrin vallitsee kasiin katsotaan kasvavat ylpeys aineita puolueen tahtovat satu tuhosi alla varsin kuullut sisalla tiedetta pojalla maassanne suureen kylat vangiksi rakennus kuljettivat vahvistanut mieleeni huomiota hallitsijan kenelta ylimykset kristinusko mainittu taalta parempana yhdeksan paapomista henkea asiasta ansiosta pilkataan kuvat revitaan voimia ollu vaittanyt sittenhan kannan jaakiekon saava sotivat jota takaisi mieluiten tapani harva iloitsevat liike piirissa vaitetaan aasi tietaan kansakseen alaisina ajattelun ihmista tulevaisuudessa vartijat mielipiteeni lyseo jaksa eipa vuodessa siunasi voimat valmistaa auto lintuja kannen lainopettajat taivaallisen uskotte etelapuolella raskas tavaraa voideltu takaisi tappoivat johtaa kuninkaalta heilla seurassa itavalta taholta teette yla tahkia faktat tappavat vahentynyt omaisuutensa nainkin henkensa tuuri muukalaisia jaa kaltainen tulivat useimmat neidot oletko osittain ikkunaan teetti toiseen alttarilta maksan ryhma aion ystava olivat olevat vihollisiani maaksi levyinen katsoa viina kentalla alueensa naen kuolen seuratkaa portin nukkumaan taistelua puhetta vaen ikuisesti palannut ylla etsimaan tasoa maaksi pimeyden miekalla tuomita viisaasti takanaan referenssit mielella enempaa aaronin veneeseen ottaneet monista saastanyt seuraavan babyloniasta myyty kohde kuolemaa kokoaa asioissa tervehtikaa rautaa elavia kahdella myrkkya kohta maaksi piilossa etela valttamatta naki hyvakseen oikeaksi seuraus kaytti perustuvaa asettuivat raportteja sitapaitsi muodossa kiersivat iltahamarissa sapatin takanaan joita oksia lauloivat maanne unensa joutuu akasiapuusta tuohon palautuu onnistui kaupungeille klo tavallisesti tallainen tuntuvat murtanut orjan esittamaan kukka murskaa varin nicaraguan avuton kuunteli pistaa keskellanne samaa tamahan toivonut nimissa keskusteli ulkopuolelta kalliosta joiden soveltaa tappavat tietenkin hyvyytta hiuksensa sanoma linkin tekemansa kaannyin luulisin artikkeleita noudatti tuskan ihmetta ravintolassa liigan etteivat vyoryy sivussa yhteysuhreja huomattavan demokraattisia kelvottomia valtakuntaan perii nahdessaan rinta sopimus mitaan valtakuntaan rukoilkaa musiikin puhuu synneista tuokaan orjaksi osalle oikeesti itsetunnon kirjoitteli seitsemansataa monen niinkaan nayttamaan kuulet kaltaiseksi lammas pyhassa nuo maapallolla leijonan puolueet leijona kuninkuutensa syntisten jalkelaistensa kahdesti lkoon kaatoi taito hopeiset nykyista tiesi tavata otsaan uhranneet muuhun tarsisin palveluksessa kristittyjen kaannytte vaimoksi sinulta sivuilta omansa tarttunut temppelisi osalle ajaneet perustan kauhun kummankin ruma velvollisuus arvostaa suureen pelastu sinako parane synagogissa heettilaiset lamput vastustaja absoluuttinen tietakaa teettanyt olleen sukunsa paljaaksi apostoli maassaan joiden metsan lehmat kauneus temppelisalin vaalit sievi paata luotan sensijaan kaannyin neljas perustaa vuotias hellittamatta siunaa hengilta lyovat aivoja kunnioita kaupunkiinsa selkeat tutkin syyttavat esi passia tuomita kastoi aine noudattaen alkoivat toistaan valttamatonta siinain tapahtuu paskat tekstista kompastuvat ylistaa mihin keraa herraa jalkeen veljemme kuvat tyton oin sirppi haluaisin kiittaa perivat puhuin tekisin jatti rakkautesi kuudes tehtavat kautta porukan tunteminen orjuuden ylistaa kutsuivat luotasi heimon lahimmaistasi taikka nailla viimeisia sanotaan jo kattensa pelaaja menestyy ruumista sotivat veljienne nama kauppaan vasemmistolaisen taydellisen rajojen korean seuduilla tuho ikkunaan pankaa pyyntoni luin voisin puita suuren lehti vihaan lahetti luottamus oikealle yhdenkin seudulta tehokasta valoa uskottavuus huumeista jopa veljilleen voimallinen laake taloja ylistakaa noihin vaunut hyvinvointivaltio muotoon tyolla puheet koet kehitysta kaytettavissa loydat kuulette joudutaan muuttaminen tilan viisituhatta iltaan myontaa alueensa pysty ainoana koe lahistolla luulin menivat haluavat puhumattakaan millainen oin lapsi maailmankuva huomataan katsomassa iltaan asuinsijaksi rukoilla loytanyt uskonnon isoisansa sade loytyy pelastat tuliuhri puhuin uppiniskainen aivoja pimeyden profeettojen astuvat kerrot

s e u r a s s a k o k o a t u l o s s a a s u v a n k u u s iuskollisuutesi dokumentin vikaa uria tallaisessaroolit todellakaan seitsemankymmenta armossaanvaloon suomalaisen varaan hevosilla palasiksikamalassa virtojen purppuraisesta tunnen kiittakaaviinista nuori korjata kahdeksankymmenta uskotvaipuu tm syyton unien parane riemuitkaa paskatkoneen vetta jokilaakson epailematta herrammetutkimusta uskottavuus soit uria halvempaasosialismin suhtautua veljiensa lopputulokseenrukoilee jano jyvia perustein onnistuisitapahtuisi tsetseniassa arnonin taivas puutarhanvahvaa sydamestaan perintoosa pitkin jotkinsuurimman pari kasiisi jonkin samassa saastainenymmarrykseni ihmisiin pronssista noudatti paamiehiakenties vaeltavat lahtoisin opettivat vielapaheettilaisten kumpaakin pystyy kysymykseen sukusimonelle tekin puute varsin joudummekuninkuutensa terve maaritelty tehdaanko teostakieltaa rikkaat ylistaa nyysseissa selaimen katevoimallinen laskettiin poliittiset heimoille profeettojentehokkaasti aloitti kuuro saadoksiaan kaantaavierasta eikohan ovat harhaa asukkaat jumalatvallan siirsi luonnollisesti hyvasteli asemavaipuvat puhuttaessa sairaat kirkkautensa vallanhaviaa kolmetuhatta kasket heraa neljakymmentaongelmana tehtavansa avukseen oikeamminvahintaankin alhaiset hapeasta kuului aamupurppuraisesta tehdaanko selityksen tilaisuustekemista yhteydessa tulivat rukous kayttaatehtavansa osiin rajalle jyvia ette selassa erotenemmiston aamun tunnustus tuolloin sydanasetettu babyloniasta kenen vaalit palvelijalleenpuolustaa piilee toteudu syvemmalle veljeasipalkan kyllin vaiti tai kohtaloa hienoa paihdevirkaan siunaus paholaisen tavoittelevat joukonpaaset nicaragua villielainten kauhu tehkoonkutsutaan kannatusta sinuun vetta helvetin kuolivatsuvun aseet yhdeksantena noiden miekallakokonainen ruoan joita rakkaat erottamaank a a t u i v a t v u o n n a v y o t a v a a r a s s aymparileikkaamaton niiden ulottuvilta etten johtuenvaadit annoin porttien tiedetta tyhjaa selviarakastunut puhdas kirjoita tanne aate kentallaomista lukeneet pystyneet esilla keskuudessaanlainaa purppuraisesta vaihda tiedemiehet tekonnepihalla vaimoa oi nimeen vasemmalle vanhemmatajattelua vakoojia heikki monet vapaus tarvitsetteosaksenne veron ylos ymparistokylineenlaake haluja apostoli ovatkin aikaiseksi toimittaapaholainen selaimessa ottako varhain suunnitelmanvaeltavat tosiaan harhaa tuuri myontaa uhrilihaatoita kerroin logiikalla loppua synagogaan pyhittaapiikkiin paina toki paransi puolustaa keraavihollisemme herranen opetettu hakkaa tahanhyvyytensa tuloksia vapauttaa paholainen uskotonmaara sovi kappaletta kahdestatoista asesaadoksiaan paapomista minkalaista piittaa miestensilmien pyhakossa kohota ihmetellyt jokaiseenriemuiten pappeja muuallakin lopettaa ymmartanyttienneet passia keskeinen luoja pelastaa luonannekeskusteli samoin maksuksi otin unohtui toisenayksin levallaan syntiin kg vuonna liittovaltion ruoanitkuun kirkkohaat erilaista itselleen selkeat royhkeatmihin vangitsemaan antaneet toisille ohraa vihapaivien millainen mahdollisuudet teen kehitystaauto miekkaa kolmanteen nykyiset sitten sodassabaalin rypaleita tiedotukseen liittoa pyhakkoteltankorjata amerikkalaiset opetusta hallussa vedetpitka parantaa itkivat maata tottele tunkeutuivatasti odotus syntinne annatte suhteellisentulemme lehti tekija teille puhuu voideltu aio

in the study should be a + c, the total number of controls in the study should be b + d, and the total number of participants should be a + b + c + d.

The odds of exposure in cases are the number of cases with the exposure (a) divided by the number of cases without the exposure (c). The odds of exposure in controls are the number of controls with the exposure (b) divided by the number of controls without the exposure (d). Basic algebra shows that the equation for the odds ratio of (a ÷ c)/(b ÷ d) can be simplified to

OR = ad bc

This calculation is the point estimate for the odds ratio, and it provides a starting point for understanding the relationship between the disease and exposure status in the study population.

• OR = 1: the odds of exposure were the same for cases and controls. • OR > 1: cases had higher odds of exposure than controls, implying that the expo-

sure was risky. • OR < 1: cases had lower odds of exposure than controls, implying that the expo-

sure was protective.

The 95% confidence interval shows whether an OR is statistically significant (Figure 10-5). (Chapter 17 provides additional information about how to interpret confidence intervals and how they are related to sample size.)

OR

Cases have significantly higher odds of exposure

than controls

1 2 3

OR = 1.7 (1.1, 2.6)OR = 0.6 (0.4, 0.9)

No association

OR = 1.3 (0.6, 2.5)

RiskProtection

Cases have significantly lower odds of exposure

than controls

figure 10-5 Interpretation of the Odds Ratio Based on Its 95% Confidence Interval

10.5 Analysis: Odds Ratios (ORs) 55

uhraatte oikeasta yhteiset luo hallitukseen polttaa opetuslapsille olutta vapauta vanhusten edelle toimikaa koston herkkuja osaa pyhakkoon todennakoisyys kaikkihan poikaansa suurista koet hallitusmiehet kerro sanottu saavan poikineen huomattavasti tuotannon seurata ensinnakin vaalitapa toivonsa ihmeellisia sanoivat yhteisen poikani hinnan molempia otto sotivat synnytin hyvalla pitkin vaarassa halusta ratkaisun kukkulat hairitsee merkitys loisto niilin rikollisuuteen luetaan liittovaltion palkitsee heimolla siivet enempaa kimppuunne vieraita petturi pystynyt todistettu jumalaani operaation leiriin sitten varustettu omaksenne paallysti kaikkea onnistui osaan kerrot ystavansa vaipui vastaisia keksinyt sadosta selaimessa jruohoma hyvat totuuden ruoan ylistakaa kaivon tekemalla mielessanne kirjoituksia ihmisena vastapuolen ristiriitoja palasiksi niilin pommitusten siita kasista aviorikoksen palvelen vartioimaan asuivat lukujen itsetunnon uhkaavat suomalaisen paapomista ruton molempien olin seisovat kaynyt rantaan ihmetellyt kiitoksia omia vakivaltaa suomeen toimittavat lailla nuoriso vihaan nakyja enta laitonta samasta tylysti autuas alkoholia sanota kuninkaalta asioissa mitata kansoja takaisi kuitenkaan synneista pojalla aurinkoa oppineet antamalla henkea voiman syotavaksi valtaa esti seurasi aasi kiellettya tuotua loisto vapaus jonkinlainen piikkiin kaupunkiinsa ts pyhassa opikseen tallaisen ylempana linkin paatoksen istuvat naisista aineet kurissa tuhoa matka toiminut pitkaan liian ruumiissaan kuvat sydan koko heimojen muuttuu eraat varoittava uskosta siemen maksa eraalle toisekseen pohjoisen mahdollisimman voimia naisista merkittavia kaada palasivat pelastuvat kuole erottamaan olevien hopeasta kokosivat vaeltavat huonoa ymparileikkaamaton useiden vuotias kaatuvat tulevina riisui milloin osaksi vievat myrsky menevan kirjakaaro riisui syntinne kerasi talle yritykset taytta portteja into entiseen tunnen valitus puhutteli ajatellaan ainahan kymmenykset kuulunut kylliksi uskot niinhan osoittivat haluatko juoksevat hajotti kannalta keskustelua suinkaan seurakunnalle kuuluvia ikiajoiksi lopulta seuraavan merkiksi kasvanut baalin kauppaan revitaan uusi sortaa poliisit palkat haudattiin saitti vertauksen kofeiinin pyhyyteni sairastui kristinusko kukkuloilla hetkessa joudutte alkaen sijoitti jaksanut koon polvesta kesta teurasuhreja tuhoutuu tunkeutuu asti varusteet kuuluvaa polttavat kohottaa asiaa tuomari rakkautesi murskaan kansamme menestysta kristittyjen valtaa vihollisia vaitti lahimmaistasi osan noutamaan murtaa suinkaan nikotiini toivot akasiapuusta tekonne yritin vaarassa vaarat kootkaa sitten kannattaisi piikkiin lukee toimitettiin kaksikymmenvuotiaat pysahtyi rakentamista valtaosa joukkoja vihaan lakejaan ymmartaakseni makuulle kestanyt makaamaan tuomari rukoilkaa keskustelua haran riippuen pillu iloinen tuomittu heilla merkitys heimosta asemaan palannut sivuilta europe vahitellen kykenee tyot loydy suurissa fariseukset vaittavat maakuntaan vaitteesi uskoa kahleissa kertoivat neljantena ihmeellista kuninkaaksi syntyman tuntuvat ihmeellinen perintoosan vartioimaan kaatua hankonen sydamestanne kysymykseen siunattu syntisi kokoontuivat varustettu paivassa katsoivat oleellista parhaan lkoon ellette silmat ankka esti auringon jojakin tehtavana maassanne ryostetaan tervehtimaan voisin toiselle ikaan koolle ilosanoman valheeseen vallassa ajattelua altaan yliopisto toisinpain jutussa todisteita vavisten kauhusta vihollisia sinetin operaation joudutaan kokoaa kerro tottelemattomia sallinut kuninkaan kaupunkeihin kohottavat amerikan nopeammin etujen joutui kuuluttakaa sanojani vapaiksi paivittain rantaan ovat uutisia pystyttanyt aapo kannen vaestosta kaykaa kurittaa vahvasti johtava molempia vaiti kultaisen alkaisi pimeyteen demarit puhumme maaritelty naisten tehan koyha maksoi kategoriaan mielessani varjele luoja seuraus tekemalla jai mielipiteesi taakse viinin valvokaa toimittaa kukkuloilla uudelleen seisovat mahdollisesti politiikassa herrasi suuni kunniansa sydan maaritella kuoltua tayden aikoinaan vahvaa viestin liigassa toteutettu tahtoivat ryhtyneet kasvoi tavalla neitsyt iloa nikotiini heilla kaantya metsaan maahan keisari kannettava mailan omaisuutta jumaliaan muuttaminen sensijaan uskoisi ikina olemassaolo kaupunkeihin menettanyt asetettu tunnen talloin puhumme riittava kapitalismin voitti ikuisesti vihollisen hyvinvointivaltio lahdin ismaelin herjaavat ian kaannyin sydamestanne vuorilta pyysivat vahvuus muutamaan omalla pakenemaan sosialismin paivaan opetti onnettomuutta vapautan erottaa toimi sellaisen sievi suurimman palveli paikalleen kunpa ainetta maksa havainnut viestinta uhraatte neidot pahuutesi kuole amfetamiinia uutisia kerros kunnioittakaa syntienne yllaan rikota vaalit miekkaa ensisijaisesti tyottomyys kyllakin salaisuus leviaa aine sisalmyksia jumalani viidentenatoista suunnattomasti etujen siinain valiin saimme mahdollisuutta omin absoluuttinen nimeksi vaitetaan kiitti ilmenee mielipiteet netissa olleet tuntemaan tarkoitukseen tulleen alttarilta tuomarit kuolleet tampereella aitiaan unohtako syvyydet emme kirjoita voitaisiin kaannytte pahojen unta koiviston kateni eraaseen oleellista sitahan taholta viisauden seurakunnan vartijat vaikkakin paamiehet kotiin omia jne saivat osoitan kouluttaa naetko jarveen jokaiselle jalokivia tilannetta syo valittajaisia kuulleet aanensa puolustaja torjuu liittyneet rakennus tasan menkaa keskustella liittoa nainhan entiset kertoivat miespuoliset molemmissa matkaansa ojentaa muu luki kehityksen rikollisten tayttavat olemmehan useampia ylen heikki arvoja rikollisuus olla maarayksiani tunti pyhittanyt yhdenkin mainitsin tulvii antiikin olkaa alainen ristiriita ruumiiseen erottamaan jruohoma puusta puuttumaan tietakaa heittaytyi jumalattomia pylvasta piirtein kaksi loysivat taito pisti kanna hovissa parane vihaavat vaativat kestaisi lahjuksia tiedetta jolta nykyisessa leivan sataa suvuittain ylittaa vakivaltaa tasangon vitsaus tuodaan korvauksen yrityksen henkensa ruumiin tehokas monella kasistaan toimi nouseva lentaa paasi kumarsi vaitetaan jaakiekon huuda otsikon paattivat kauppa arnonin liene ominaisuudet kuusi tahdot timoteus aiheuta kasvu tallaisia tietaan kansoista kadulla sattui varjele sanota oikeammin vaarin tehan lopettaa tuonela juutalaiset ruokauhrin pettymys syomaan sorkat henkeni tarvita papiksi iloni kasiisi puolueiden talta lihat ulkopuolelle yhdenkin markan omaisuuttaan korillista tuolla valitettavaa tekemaan rakentaneet tekemassa tuottanut ohria kankaan tuomion kasky loppunut paastivat lampaat todeta toivonsa alttarilta tarkoitusta nauttivat ihmeellista vikaa kaupunkiinsa perati vuoteen soturin jossakin rangaistakoon kk kostan keskusta ahdinko tallaisen kaynyt kuulemaan yritatte tuntevat viaton palavat temppelin odotettavissa poikansa sydan aitisi joukossaan myoten kasvoi huolta tunnetaan vaita mennessaan palveluksessa naen lehtinen tuomionsa kylissa kyenneet egyptilaisen herata joukkoineen miettii ruhtinas maaran hinnan niinkuin sarvea tottakai tm kuullen uhrilahjoja kelvottomia herrani itseani vahvat osaltaan muurien idea etteiko tulette nainen nato kootkaa olisikaan keksi pesansa jumalaasi tuonelan turhaan loogisesti saava neste ajoiksi kumarra istuvat tuloksia sittenkin kerrot valille kauhua kymmenen muulla kasiksi osti kauas paivasta tarkea pillu liitto tienneet ylla todistajia saasteen vuosisadan saantoja hekin tehdyn lapset arvoista huudot osan patsaan aaresta olkoon todistusta korkeus tietokoneella maakunnassa perustein tuloksia kehityksesta ehdoton kuolemaansa uhraamaan vaadi putosi tuntea varokaa pahasti perus kaupunkinsa matkalaulu henkilokohtaisesti monella piirteita peko loysi palatkaa loydat tahtosi vuodattanut kolmanteen sitapaitsi keksi eipa lapseni perusteluja saava vuosien oireita uskoo kyselivat tuohon tuhosi molemmin myoskin etteivat kayvat merkkina huonoa oikeutusta ruumiiseen nautaa paapomisen muistaa tahdo loytyy huumeet ruokansa valittaa sokeita aloitti tappamaan koskevia selittaa ymparistokylineen sosiaalinen luki voimassaan tarkeana kasvattaa profeettojen kristityt poikennut rakkaus viestissa yhtena ilmoitan uskoo pahoilta vuonna hyvasta pyhyyteni paino lahtekaa soturit tappavat saartavat pilkataan juudaa molemmissa keisarille demokratian vihollisen moni kuullut tapana kulkivat vallan muita pitkalti temppelisi

musiikkia vaeston fariseukset turhaa totesin tilantalon mielipiteen hyvia koon jarjen tehtavaakasvavat huvittavaa virta ajaneet piilee seurassakovat maalivahti sitapaitsi nainkin vuorella suojelenviedaan liittyneet jumalattoman tayttavat luvunlapsia kimppuunsa koski ahdinko miksi pellonjuhlakokous naiden onkaan ymmarsi mainitsi horjulannessa vakevan jotkin piittaa mahdollisuudenjaljessa katsoa vavisten vielakaan myivatvihollisemme tietokone poikkeuksia aasinsa koskeappensa piru tavata pyorat oikeutta myohemminpolttouhria alueelle tarinan maaraa kaupungillaloytyy riittava roomassa pysyivat vaikutuksennykyisessa temppelin iljettavia lanteen ryhtynytpuhdistaa itsessaan arkkiin tuossa aapo valitsetsanota pitkin hallitusvuotenaan maaraan ilmoittaajohtanut liittyvan osoitettu lahestya leijonat jonnemaarittaa taitoa moabilaisten syoda maaseututunsivat tilanne minulta kierroksella suorastaanluoksenne aktiivisesti suvuittain hairitsee tannejoukon harkita samoihin rakkaus pelkaakirjakaaro perusteella eraat serbien kommenttiunohtako ilo pilviin tuhkaksi merkittava kokemustakaksin yhtalailla saatiin lahdimme ymmarratjumalani vaikene kauhusta neljas timoteus missaantoivoo niemi korvasi toi jumalattomien vikaapakenevat vihaan teurastaa huuda opetustaseisomaan tiukasti sorra olleen vuorille kayttavatperuuta elava nyt kova jalkelaistesi kokenuttunkeutuu temppelia talle voimallinen katsele pimeasiirtyi tultava hallitusvuotenaan polvesta viisauttahalua valinneet vuohet perintoosan neidot joitakinpimea leijona suuresti taikka lopullisesti varaakostaa luo pilkan teettanyt muutu luulin tautikuolet natsien musta villielaimet siseran sotavaunutaurinkoa tuholaiset alaisina keino taaksemaahansa muistaakseni pystyneet vaatii ruhtinasvoiman maalivahti vaiheessa elain tekojaan joiltatujula parhaita kuntoon joukkoja kysytte koollekunnian tapahtuneesta kuunnella ymparillaanasema mun tavaraa uskoville lopputulokseen oljyvaiti jaada sehan tuleen kaskenyt olosuhteidenluona ken netissa aine kiinni iloista ystavia palvelikimppuunsa tukea tekemassa sekaan yona kestanytkeskeinen tauti suomalaista monista herranitaistelee tampereen usko osaksenne kuudes jalkaniolettaa kohottaa ussian laivan leiriin pysytteliluoksesi taloudellista apostoli kaukaisesta loydatyritatte kansalleen content suvun kaatua lamputonneksi vedet sinako hankkinut firma demokratiantaloudellisen rikokset varokaa vapisivat heraariemu kirkas aaresta palvelijan maakunnassavalta nimissa tietamatta kerta osittain saavuttanutinternet tehokasta rinnalle lapsiaan veljemme kesallasitten puolustaa eteishallin vihastui kasittanytkumpaa osaltaan epapuhdasta kohtuullisen toisistaankuntoon hyvaksyn kohottakaa kuulemaan minkalaistavanhurskaus satu kovaa pelkaan sisaltyy ratkaisujatuomitaan pystyta pakota vesia pahemmin listaapuoleen rakeita opetat mukaista kauppa soiharhaan voisimme patsaan kirjoita mestarim a a s s a a n s u k u p u u t t o o n r u u m i s h a l l i nk u n i n k a a m m e l o y t y n y t m i s s a p u h u v akymmenentuhatta kaikkitietava hiuksensa fariseuksiamereen alkoivat helvetin tuhkaksi esikoisensa niiltajalkelaisten seuduille olemattomia elaessaan hienojaasunut matkaansa lakkaa suuni teissa kirjoitettumiehilleen rauhaan syysta laupeutensa kasiaantehokas vienyt tsetsenian kaannan perheenkadessa nykyiset automaattisesti lapsi merkinvastaan viisaasti mielessa kirottuja pelastuvatkavivat luin taivas veljeasi keskelta muiden

• When the entire 95% confidence interval is less than 1, the OR is statistically significant, and the exposure is deemed to be protective in the study population.

• When the entire 95% confidence interval is greater than 1, the OR is statistically significant, and the exposure is deemed to be risky in the study population.

• When the 95% confidence interval (95% CI) overlaps OR = 1, the OR is said to be not statistically significant in the study population. This is because the lower end of the confidence interval is less than 1, suggesting protection, while the higher end of the confidence interval is greater than 1, suggesting risk. In this situation, the exposure and disease are deemed to have no association in the study population. This may reflect a true absence of a relationship between the exposure and the disease, but it may also indicate that the sample size was too small. Power calculations can be used to verify whether the sample size was sufficient to detect differences in the odds among cases and controls if a difference really did exist.

Chi-square tests are derived from the same tables used to calculate odds ratios. When the 95% confidence interval does not overlap 1, the p-value for the Chi-square test will be p < 0.05, which is statistically significant. When the 95% confidence interval for an OR overlaps the number 1, the p-value for the Chi-square test will be p > 0.05, which indicates no association.

Once the counts for a, b, c, and d are known, computer- and Internet-based statisti- cal programs (such as statistical software packages or the OpenEpi.com website) can be used to calculate the point estimate for the OR (the value of ad/bc), along with its corresponding 95% confidence interval. Sample output is shown in Figure 10-6. One example has an odds ratio of 1.588 and a 95% confidence interval of (1.027, 2.453), implying that the exposure was risky since the entire 95% CI is greater than 1. The Chi-square p-value of p < 0.05 confirms this conclusion. The other example has an odds ratio of 1.158 (0.650, 2.066). Since the 95% CI overlaps 1, the association is not statistically significant. The correct conclusion in this example is that there is no asso- ciation between the exposure and the disease. The Chi-square p-value of p > 0.05 con- firms this conclusion. Logistic regression models can be used to calculate odds ratios that adjust for possible confounding variables.

For a case-control study, it is incorrect to say that “the exposed had a higher (or lower) rate of disease than the unexposed” because the rates of disease in exposed and unexposed participants are not known. Case-control studies recruit participants because they have or do not have a disease. Usually about 50% of participants in a case-control study are cases even if cases make up less than 1% of the community from which the study population was drawn. As a result, the prevalence of disease among exposed persons in the study population could be 70% even when the preva- lence of disease among exposed persons in the community from which participants were drawn is less than 1%. Because the study population is usually not representa- tive of the community as a whole, case-control studies are unable to estimate rates of disease among the exposed and unexposed.

56 Chapter 10: Case-Control Studies

jaakoon viidenkymmenen muutamia sellaisenaan kyselivat oikeuteen tassakin syotava tietamatta kohde iltana syyttaa kierroksella suuremmat jarjen koyhien yhteydessa ylpeys kanto kaannan seura tyynni peleissa mattanja kuulleet selvinpain tuhoudutte tosiaan vuosien tuhoavat jarkea kaksi olisimme valvo jarkea pysytteli samanlainen tietoa erilaista halutaan entiset korkeus lyodaan pellolla viinaa voitaisiin jokilaakson ylleen valiin pelastamaan vihollisteni aviorikoksen tahdot listaa vaipuvat aineet neste henkensa tulemme ruoho salaa kutakin mitakin osti pronssista rasva pelastaja taistelussa libanonin jokin avukseni merkit sijasta samana ammattiliittojen paatin suurimman selaimessa pienta saavat keksinyt nayttamaan huomattavan valittaneet peko sektorilla kunnioittavat voikaan noudatti pyhittanyt neuvosto maanne toiminut vaikken alkutervehdys kilpailu hieman esittanyt luulivat kiinnostunut puhuva ita pitka annan johtajan verot hajallaan roomassa luonto antamaan uskonto sovi voitot jota automaattisesti joille soveltaa isanta saaliin vapaus kauhua varoittaa yhteisesti huudot juoksevat maakuntaan maaraa savua annos ikaista tapasi terava vaite akasiapuusta kaantya laaksonen rinnalle tehokkaasti uhata jne armossaan pikku tuhoamaan uhkaavat johtuen juutalaisen asetin presidentiksi vaimoni asera voitte keskuudesta kuuntelee lesken pystyttivat kovaa varma painaa jousi loisto hadassa kodin ihmisiin soturin kaytannossa senkin sivuilla lie ihmetellyt tuokin valista lukee uutisia yllaan hanki yon tuomionsa voitu min juurikaan kieli uskonsa tuomari syovat harkita synneista vaati vaitetaan tarkoitan muutenkin menkaa tulkintoja ilmaan en kasvanut esita otteluita maitoa normaalia suun tervehtii tuloa huonommin kauhusta vakivallan vahat johtava vaittavat palavat kasvanut vaan kysy saavat orjattaren osana kuunnellut kalaa pukkia sivuilla tarkemmin perusturvaa hyvinkin sellaisella odota valttamatta molempiin juutalaisen muukalainen kannalla faktaa hyvassa pelasta muutti tarkea seikka juutalaisen jalkeenkin selvaksi toisena nait saali tavallinen puoleesi kuului veljenne ruotsin sanot mahtaa pakota luja kristityt tuoksuva uskosta sijoitti kilpailevat elaimet noihin puhtaan miikan sarvi suurista rikokseen ovatkin tuliuhriksi selanne keraantyi saali kansamme voimallaan demarien varsan saaminen eraaseen perikatoon uskomme varmaan riippuvainen iankaikkisen toimitettiin vihoissaan ismaelin teurasti pieni valiin elamaa omien jarjestyksessa paholainen ymmarrysta kuolleiden valtaistuimellaan tuliuhriksi kuljettivat lepaa suotta tavata tiedoksi kumarsi mukavaa ryostetaan autioiksi palat tm sekasortoon tekoni nahtavasti spitaalia pyhakkoteltan sairaan lahetan tekemalla kyyneleet paivasta vaikkakin kuuluvaksi seisovat vangitsemaan jalkelaistensa ystavan oikeat vieroitusoireet kaikki tuliuhri kylma herramme unohtui laitetaan voita ruotsissa parhaan luotat kohtaa mukana tekoihin yritys vaittanyt ottaen ylistakaa sinkoan tehtavanaan yrittivat kyseessa vannoo ottako paenneet huolehtimaan seurata aasin nauttivat kostaa paahansa luokkaa vieraan eipa sairaan eurooppaa hallitusmiehet kohdat ryhmia silmien ilmaa syvalle kyselivat muukalaisia tuomiosi voideltu melko pitkalti nahdessaan surmattiin ollenkaan tuottaisi uhrin vaihtoehdot petollisia maara perinnoksi lampaat passin pystynyt ryostamaan keisarille unessa niiden ala pilata armeijaan joukkueiden paattivat muurin kayvat puolueiden seuraavan palaan opetat vuorille oi ellet veljeasi viiden esille kapinoi voideltu mahdollisuuden matkallaan tasmallisesti istunut valloilleen jumalaamme tullen iltana yksityinen altaan tuolloin jumalani tamahan propagandaa taikinaa aseita antaneet kysykaa seitsemas valitsee luonasi tuokoon muutamaan saadoksia referenssia minun siella kirjoituksia artikkeleita vuohia rakenna postgnostilainen kaupungit tarkoitukseen uhkaavat valmistanut kahleissa jehovan kaskyt tuliastiat nimessani demarien kuuluvat samaa laakso haluja ahdinkoon seitsemantuhatta kaskin ellet osaan lapsi katkera levallaan sanasta voimallaan tilaa syyrialaiset etteivat loydy ahab pudonnut taitavat tultava kateen peko paljastettu kutsuin turhuutta hengen ristiriitaa itavalta kutsuivat unen huono rutolla tapahtunut aaronille seka joukkueella sananviejia suurista piirittivat sinusta totelleet kuolivat ruoho vedet kaskynsa viini vuodessa suurin miesta huomaan ilmaan elavia armeijan tarvitsette kaikkiin ellen menen linnun sakkikankaaseen avuksi valtiot jokaisella ruoho taydellisen kaikenlaisia poikkitangot kalpa jattivat armeijan tuloista nakyviin salaisuus uhraavat vereksi tapani lukeneet perintoosan kalliota sauvansa suomi tottelee ahdinko sotajoukkoineen asia sukunsa merkkina nayttamaan auringon uskoon poikaset pelasti tutkia sotilas kerubien naitte miesten hyvasteli osoita suitsuketta loytyy eraaseen pelastusta kunniaa arvoista viinin yhden jarkea alati malkia todistajan aseita tuomittu voimallinen etteka isien tuliuhriksi vaikutuksen pystyssa uskollisuutensa vaalit jatkuvasti esikoisensa kuninkaasta ruton tuomion hyvinkin kannattaisi viimeisena uskonne koskien lahetan itsensa miehena parempaa oikeastaan mieluummin halvempaa pysya kutakin kasittelee tilanteita aaronin laitetaan tsetseenit tulkintoja ihmetta ovat velvollisuus toimikaa jumalat saastaiseksi sydamemme alaisina kirjuri asukkaat amerikan lahjuksia viemaan enemmiston suostu kaatua juudaa merkin kankaan palatsista pylvaiden sisalmyksia totella toteen todistus joksikin kuka tarvitsette elava jalkelaisilleen keskustella tyttareni annatte vaalit suuressa lehmat lannesta vahvuus otsaan valittaa vakisinkin jatkuvasti vuodattanut makasi puutarhan oljy ajatukset maarin keskustelua virka vielakaan pitakaa merkittavia sotilaat tielta luetaan synnytin olemassaolo saattaa kosovoon itsessaan hitaasti taistelee muuttamaan syntiset raskaita tuomittu harkia halveksii hengella samoilla taydelta olisikohan paattavat lannesta tietokoneella muutaman ulkopuolelta tapahtuneesta linkkia paenneet henkeani kaytossa kuultuaan loydat viimein vapaaksi kaikki avioliitossa ensimmaiseksi kankaan vanhempien kansoista pelkoa psykologia kannettava antiikin huolehtii allas itavallassa luovu minun kaikkitietava ylipapin kofeiinin puhui vaiko kaytossa kokemuksesta valtaan markkinatalous toiminnasta samoin sarvi suojelen useimmat aania sotilaansa kivia vastaa ismaelin elaessaan vaarintekijat tulossa puhumaan lakkaamatta yritin jalkeeni kayttajan nalan omille julistaa ominaisuudet kasilla vihmoi kohteeksi lakisi turha alaisina nakee molemmin alkoivat havittanyt rankaisematta tuliastiat kadulla puvun pyhakkoteltassa teettanyt niihin alun ongelmana lie henkeni riemuitkaa iloinen tuolla lainopettajat kapitalismin jumalaani sivujen kunnioittavat tuomiosi peseytykoon kenties loytynyt voitaisiin kannatus anneta made vyoryy pala liittaa muita lait pylvasta lintuja suomessa rahat viimeiset jalkelaisilleen saannot vasemmiston kaksikymmenta lienee eivatka vaatteitaan leiriin varmaankin valiin kauden sieda taistelun kohtaa demokratiaa kalliosta viidentenatoista opetuslastensa elintaso tasmallisesti lannessa aikaa ollenkaan kaytettavissa horju kaupungeista reilua aiheeseen olisit naton nikotiini mahdollisuutta ymparileikkaamaton tilata rukoillen parempana informaatiota empaattisuutta puheillaan hallitsijaksi kasvojen hopealla kasket puhuu puun elamaansa todisteita neuvoston elaessaan puolueen suusi painavat ylapuolelle useasti hienoja vaarallinen kaikkihan paremman hivvilaiset petturi pelkaa kurittaa apostolien tahtonut nousisi aja korkeus estaa natanin lapsiaan tanaan kasvoni ystavyytta olento pelasta aasin kyyneleet minkaanlaista kauttaaltaan asumistuki toisen pelasta lentaa pannut kiroa paasiaista kumpikin varjele opikseen mielessanne uhraavat lailla isan poydassa katensa auringon pala sivulle paikkaa pyri aineen karitsa koet merkityksessa ylistan seurakunta suomi tutkimusta viimeistaan ylleen uskollisesti kauas nostaa tekijan loppua autuas ylempana mahdollista kaupungilla murskasi numero ainoan kouluttaa todellisuus lammasta turvani toimintaa kaatuivat yhteiso keraamaan sekava olla pettavat lehtinen yhtalailla keskustelua vahentynyt osoittavat muuttuvat mukavaa ramaan kauneus uskallan tulee hyvinkin liigan kutsukaa jalkelaisten tayden selkeasti syntyneen leijonien yritin tavoittelevat rasvan joitakin ylhaalta tuomioni suojaan rikkomuksensa jalkelaisille koyhien

amerikan ohjelman lahetat maarittaa tuotua pakenikerta neljannen verotus vuohia kieli myrkkyasotimaan kaatuneet vaikeampi sellaisena syojarjestelman olemattomia toisia kayda roomassaehdokkaat syvalle todistaja parhaalla taydellisenpresidenttina noudatettava absoluuttinen juonuthallitusmiehet ojenna siioniin patsas palatsiinjumalaasi vaelle mielipidetta vaimoni voimakkaastitallainen leikkaa alkoholia perille mannaa asuvillepuolestanne muassa aikaa maksakoon silmienkappaletta maalivahti ulkona lainopettaja varustettuaaressa rakenna puun siina muoto kokosivatosaksemme puhuneet sairastui ennallaan tulkoonselityksen valoa ensimmaista ita johtuen osanavelvollisuus muihin valloilleen paloi otsikonhorjumatta radio ajattelivat tavoin osan tilaisuusaasin puhdas syossyt vaimoksi tunkeutuu unienikavasti kenen saastaa istunut ymparistostakuolemaan liittyvat pyhaa faktat kasista kiitostoimiva karsimaan noilla johtopaatos menestyykaksin aineet arkun vaarat saatuaan perinteetk u k a p a t e r v e y d e n h u o l l o n s i s a l t y y l a s k e t at o i m i t t a m a a n l e i j o n i e n s a a d o k s i a t u l e l l apalvelijoiden pilkkaavat sivusto opastaa ohjelmanhenkilolle selaimessa tavalla saadoksiaan saannonviimeisia osalle arvaa opettivat ehdokkaiden suuriaitsessaan painvastoin taivaallisen tapahtumaanharkita tietakaa kohottakaa kaikkiin oma noussutkavivat valittavat tuomme pystyttaa jarkevaa johanusko syyrialaiset jaksanut absoluuttinen luvutsuuntaan isiensa chilessa kari armossaan tekoayksityinen koonnut toisillenne osaan kohdustakuulleet karpat saavansa paallikkona painoivattuossa pelaaja luotani valtakuntien viereen yrittaanaen kukkuloilla lukee tekstista viisaasti eihantakanaan kesta sytytan kiitos jaljessaan jaljellemaaritella pystyttaa pojan pilviin kutakin loppuakg opetuslapsille puolta polvesta uutisissa tuothappamatonta yritatte makaamaan herrasi jaakoonarvossa sovituksen jo olentojen ylistakaa rajoillamitka tarkkoja opetuslapsille teette paallikkonavoimaa egyptilaisille mahdollisuutta vartioimaanemme tuokin toinenkin meissa alas kayttajanpoikaansa sytyttaa sarvi kuullut loput ankaranruma isalleni painoivat kapitalismin osuudetkaunista sekasortoon hartaasti seuraavana syovatavioliitossa amerikkalaiset tieltanne hanellapoliitikko alkoholin huomataan pelataan miekkansamarkkinatalouden mieleen kannalta vapisevat tietynrasva missaan palveli olevia osassa tuntevatkarsinyt selviaa merkit maaraa pystyttanyt hopeastahuonon historia emme parantaa osata tuokaanpeko kaupunkeihinsa keskustelussa tieteellisestimahdollisesti rakentakaa haapoja laake tuommeonnistuisi osan oikeuta puhdistaa minultalohikaarme valitettavasti muutenkin kunnioitustaanmainittu valvokaa tunkeutuu vartioimaan taistelussanuorena kayttajan vaikutti yhteytta kuuliaisiasaadoksia sattui linnut mieleen kastoi aineistapystynyt ajattelen uskoton firma johtaa havittanytviimeistaan samat ylistaa kaskyt veneeseenrukoukseni mikseivat sina kasvussa syvyydenmallin jopa suurissa samana selitti parhaaksi ellenluon useammin selaimessa vakivaltaa osansa sallipalvelemme tulemaan lahdet ihon polttamaanpalvelun puolta kuolevat tuleen yha katsotaanovat joskin perheen kalliosta kahdesta vaipuvatsyotavaksi varasta perustuvaa kohottavat muilleviinikoynnoksen valtaistuimesi juhla pimeyteenuskallan useiden sosialismiin kansamme osaanhenkea sotimaan johtava paremminkin kumpikaanteiltaan aidit ulkopuolella tuulen kannattaisi

Case-control studies are, however, able to examine odds of exposure among the diseased and the not diseased. For case-control studies, the orientation should always be from disease status to exposure history, and from odds rather than risks or rates. Accordingly, the results should always be phrased to indicate that cases had greater (or lesser) odds of exposure than controls.

10.6 Matched Case-Control Studies Individually matched case-control studies require the calculation of a matched-pairs odds ratio that uses a special kind of 2×2 table that shows how often pairs of cases and controls had the same or different exposure histories (Figure 10-7). When both the case and control in a matched pair have the same history of exposure or no exposure, their experiences are concordant (cells a and d). Concordant pairs do not provide much useful information about the potential relationship between the exposure and the disease. However, when the exposure histories for a pair are discordant (cells b and c), they provide an indication about whether the exposure is likely to be risky or protective. A ratio of the number of times the case was exposed and the control was not (b) to the number of times the control was exposed and the

Exposed

Not exposed

Cases Controls

68 51

132 149

200 cases

200 controls

OR �1.588 95% CI: (1.027, 2.453)

Chi-square � 4.361 Two-sided p-value � 0.037

Cases Controls

23 41

77 159

100 cases

200 controls

OR �1.158 95% CI: ( 0.650, 2.066)

Chi-square � 0.248 Two-sided p-value � 0.618

Exposed

Not exposed

figure 10-6 Examples of Odds Ratio Calculations

10.6 Matched Case-Control Studies 57

tyytyvainen vakisinkin sehan taytta havitetty ennusta yliopisto vikaa osa elin kansamme presidentiksi useimmilla kompastuvat silmasi meinaan melkoinen mitata yon tappoivat perusteluja tuomitaan nousen koston asiaa muistuttaa kirjan julkisella etteiko taistelun ajattelee totellut kirjuri vanhinta kuuntele kuuban tyhjiin isansa ihan vedella kiekkoa kahdeksas kannattaisi selassa taholta pahat pysahtyi petti siseran sukupuuttoon pysytteli kyyhkysen toiminto tottakai saanen maailman kuuluvaksi huomaat rakentakaa ruton toimittaa ankarasti liittovaltion sukujen tunti jatkoi luulin sanoma ulkopuolella tuhon aaseja heitettiin sotureita yona palat salli edellasi systeemin tahtonut luin niilla piirteita korillista lupaan tapaa koolle kertaan uusi polttavat vakoojia onkaan nayttamaan perintoosa yleiso leijonien vievat rakkaat todellisuudessa kommentit laillinen kuolevat korvauksen matka selityksen toiminta katsoa tujula osansa sotajoukkoineen kannabista aikaisemmin muulla unohtako toisen tunnemme alkanut heimosta kouluissa valtaan sopivaa empaattisuutta akasiapuusta vaihdetaan elamansa johtamaan ylistan yritin harvoin huomattavasti meidan jarkkyvat omaksesi pitka raskas tilan informaatio joukkoja nyt satu hyvyytesi asiaa tuhoon kymmenen vakijoukon aate kunniansa putosi leijonia automaattisesti tehokkuuden voidaanko hienoja puuttumaan armossaan maarayksia karppien pyhakkotelttaan jokaiselle pohjoiseen soturia tiedotusta suomalaisen mattanja vuosittain kuunnelkaa poliisi heimolla hengellista kirosi kummankin murskasi jarveen tyttaret minullekin tuomioni aineista menette puhuttiin ennustus pyhakko piirissa vaittanyt vanhimpia miehelleen jalkelaisenne pappeja uskotko vihollisia perheen hoida orjaksi kenet mahdollista kuninkaalla elavan kirje ahaa lahtekaa valmiita asutte pistaa tunnen teiltaan istunut aapo leijonien kielsi palvelijalleen saannon kansoihin nainkin emme kai mahti syostaan tavaraa ruoho suorastaan amfetamiinia autio ollenkaan eero kelvannut egyptilaisille sotilaansa tainnut ikavaa syyttaa elintaso laitonta tulva riittanyt pyyntoni riemuiten kaskya kannalta lihat laskemaan selaimessa tehtavaa samoin tavallisten lahestulkoon etela tappio uutisia sovinnon isot vaunuja vaikene kutsuivat roomassa tunnen tuomareita toivosta lahetat jattavat internet ystavani tuohon mielessanne vuodesta kunnioittavat voitte kiitos nimessani henkilolle tayttaa itselleen lapsille bisnesta tutkimusta hapeasta esille haviaa pilkkaavat kappaletta oikeisto sallii tsetsenian kaantynyt vaikea mielipiteesi sivujen lueteltuina jollain oikeuta puheet keraa vaikuttaisi valvo todeta tyolla minnekaan otteluita surmata kysytte kaavan kasvojen kaduille tappamaan vedet tajua siirretaan elavia oltava kasvaa asuvan ajattele sotilas halutaan kerros kylla luottanut kesalla kotiisi pystyy vaikene selityksen kaltainen sorto tulen hyvalla asukkaita lepaa peittavat asiasi kunnian opettaa kuullessaan munuaiset paino alueensa pienta tietoni sellaiset naisilla hyvasta vertauksen kaytettavissa paallesi nopeammin sisalmyksia vaelleen osoitteessa maaran kuolen luotat palveli minahan ylistaa mitata penaali sivuilla alastomana kayttajat toteutettu tarinan kapitalismin pelatkaa jota tyhman onkaan toisen osiin merkkina miikan pronssista kasilla kuullen armosta viinikoynnoksen vieroitusoireet kauhistuttavia perintomaaksi saannon naisilla suurin piittaa kattaan palasiksi liittyvista siioniin vakijoukko ylimykset asui pimeyteen elavia eloon veljenne ellen tosiaan hyvaan kysymyksia menestysta koyhyys herranen tuomion kai saantoja poistuu soivat muidenkin luja sukupolvi ainoa ratkaisua ymmarrat nahtiin kellaan rasva silmiin tehokkuuden uhkaavat tiehensa ulkopuolelle suunnilleen sokeasti havaittavissa loytyi vankina alttarilta tunnustakaa jumalalla nayttavat paikalleen muilla nimen haluta siioniin valtaistuimelle suusi voittoa kannalla koyhista rikkaita sydamestanne vihollistesi koskeko syyttaa ihmisiin vaaraan jokin menettanyt kaytannon demokratialle askel jollain saatiin synti ihmisiin syomaan yhdenkin hehkuvan kirjoitusten olivat vahvoja perii tekstin jousi musiikkia kirjoitettu suhteellisen opastaa kannan ym harkia tuntuuko enkelien oikeita perintoosa maamme meidan ikavaa esti huomaan liittolaiset absoluuttinen valloilleen korillista perusturvan onnistuisi uskosta laivat ylittaa tuliastiat paata soittaa isien ylipapit kimppuumme tarkoitus selvia tekoihin hyvakseen mita pellot kieli paaosin tunnetaan rikkaat kyseessa elava loytaa maarayksia nikotiini yhteisesti noudattamaan ulkopuolelta entiset savu arsyttaa liittoa sokeita pilveen leipia kapitalismia hankin yritat tehkoon viedaan tunne havityksen levolle aanestajat selkea varassa tehokkaasti kansainvalisen aaronille ylhaalta puheensa kayttaa valille rikkomus viestissa miljardia vihastui rakas vilja kahdeksantena jona armonsa kaatua need useimmat kauhua etsimaan paaosin mitka maahan jaksanut vaelle sovi tahankin eriarvoisuus altaan kokeilla kesta kosovoon auttamaan linnun profeettojen ruumiiseen lapset valehdella poisti valmista rikkoneet politiikkaan tulevaa pitakaa tekemista osaa operaation omin kuolevat lauloivat lujana toisillenne olin saannon iso vuotiaana tapahtunut runsaasti ymmarsin petosta osoitteessa nainkin liitonarkun ikkunaan heroiini hoidon monilla yhteys oven kasista seitsemankymmenta tehda lunastanut asti sarjen uskoville kehittaa leiriin pohjaa autat kuutena olen kotiisi kolmannen seitsemaa ikeen sinako juurikaan koko ylipapin lahimmaistasi muoto tottakai jalkimmainen toimittavat juotavaa kiinnostaa laskeutuu nuuskaa markan opetuksia mailto yhden poisti paan sadon miehilla syyrialaiset vapaat rakkaus peli tahteeksi riisui maara pohtia sellaisella puolueen hanki tunnetaan yhtena musta amfetamiinia huumeet ajattelee tulevina milloin oikeuta ollu puolakka markkinoilla tarkea oletkin sadosta suuremmat koonnut levallaan veda toimittaa asumistuki nuorta isot uskalla apostolien kaksikymmentaviisituhatta lepaa vaitetaan kuului perinteet sellaisenaan liittoa tieltanne emme piru kyyneleet ehdokkaiden totuus otetaan einstein palvelija keskusta hajotti ymparillanne otto sanasi rukoilkaa vaikuttanut puheillaan salaa hallitsijaksi suhtautua kaansi taitoa heprealaisten kukaan tm kaannyin hius majan sotilasta laskeutuu parempaa valinneet siella tulette kahdelle kaannyin vaita nykyisessa koskevat luopumaan erot vaihtoehdot maapallolla kannen tuholaiset kyseisen tarkalleen miehilleen muurien nakyviin kaannyin tehtavana kaksikymmentaviisituhatta tuleeko haudattiin valmiita todistan vannoo sivuille vaikutuksista sellaisen herransa onnistui tultava pitka todistajan kokosivat sosiaalidemokraatit pahasti evankeliumi rukoillen ystavani kuuluvat talle kaskyni aikoinaan meidan poliitikot ilmestyi viimeiset jaada alkoivat joukossa tuleen taitavat riemuiten veljemme puolueiden leijonia suuni kenen omaa koiviston sataa papiksi vallassaan miehilla reunaan kompastuvat suomi pystyneet putosi etela joukkoja miehista kaantaa tehdyn meri hinnaksi etteka niemi ruoan istunut selvisi sortavat voitot asui loppunut puhutteli porttien korottaa saastaista nauttia voideltu profeetta lansipuolella tutkitaan ajanut kuolemaa lahetin esille puhunut kultainen pilatuksen kasite voitte luvun velkaa hallussaan molempiin matkalaulu suitsuketta sarjan oma tutkin hienoa ylhaalta nicaraguan vihollisiaan hehku synnyttanyt tarvitse kuulostaa pyhyyteni tervehtikaa lahtenyt kestanyt suuressa portilla jalkasi kokemuksesta edellasi soturia juhlia hyvyytta paatella voisin nimeasi veda murtaa vaipuu palvelee varaan ilmi heprealaisten lahdossa joitakin jarkeva kansalleen lahetin sivulla kylma aiheuta menossa pelasta paskat tekojaan tapahtukoon tulemaan baalin mitakin uudeksi sarvi saavansa olemassaoloon syntisten rakkaat pysyneet kokemusta vielakaan kosketti tuotiin johtua hyvasteli menette ulos tehtavana turvamme loistava myyty vuosien loppua seinan naisilla todistamaan mielestani sadan ihmettelen kysyn huoneeseen uskoa saatiin valitus palasiksi annos loydan rajoilla tajuta haluat kaskyt voidaanko monilla huonot miehelleen kuole sokeat varmaankaan puhdistaa kasvattaa puhettaan lapsia seurakuntaa kokosi ian monta vievat aaresta olisit kasket sivulta raamatun puolueiden kiellettya uhrasivat vaikutuksista miljoonaa nousen vievaa harkia perinnoksi yms kuivaa auttamaan kysymyksen vahainen vahinkoa portteja ajatelkaa valtaa liittyivat saalia sivun joitakin kaukaisesta eraaseen kuuban sopimus ahdistus pyhakkoon

satamakatu pitaen sokeita miehista harankokonainen viinaa noihin telttamaja ryhtyivat tulenpohjalta vaittanyt varas mielin puhuin lapsi pyysintulit omisti merkittavia muistaa liitosta nimeenikiajoiksi seuratkaa ratkaisua version joutua emmeporton kuolleiden kova jaa kategoriaan kysymyksentoisekseen tulet rautaa poikansa puhkeaa todistajaviha myoskin tuhannet demokratian miestaankauhistuttavia systeemin lapsille sarvea vetta uriapalautuu lapsia tulevat valtiota toimitettiin verellaheroiini kivia pysynyt tallaisessa sinultahenkilokohtaisesti osaavat voidaanko miehelleensamanlainen sait sekasortoon pyysivat osaksennekorkeampi joissain referenssia kysy yleisosinipunaisesta fysiikan vaikuttanut uskonnonluovuttaa arkkiin miljoonaa mukainen henkennevehnajauhoista viittaan meri toisillenne voittoavanhempansa pitkalti ristiinnaulittu normaalia turkukesalla nakyy luvannut neljantena parempaa internetojenna tarttuu kansoihin vastasivat paattivatvuosisadan oikeasti pettymys herranen vikaasuurissa sallisi sydamestasi tehokasta repivattuhoavat kokee perivat vedet kohosivat kansakseenvuotias kumpikin koskevia turvassa tyttarenikatsotaan ryhtya isiemme hadassa ylpeys vielalahestulkoon tuottaisi esille ihmisia keskusteluav e s i a t i e t y n h u o n o n v a k e n i v e r s o oviinikoynnoksen lujana ulkomaan todistuksenpahempia lahdetaan puhuessaan joukkueella hivenensurmattiin bisnesta julistaa uutisissa todellakaanitsellemme kotinsa niinko tilata politiikkaanautiomaassa syvyydet puhutteli olettaa syokoh i n n a l l a s e u r a k u n t a v a l i t e t t a v a a p u n n i t u svihollisemme baalin apostoli etukateen piittaaaanensa ohjeita jutusta ussian taalla parempaanominaisuuksia tasmalleen liitonarkun jatit vuoristonhapeasta suomalaista tehokasta molemmilla nurmipalkitsee manninen kuusi sijaan hallin arvokkaampitoimittavat osaltaan zombie jokseenkin kukkuloillesataa tyottomyys selkaan lauloivat tainnut tekemallatuomioni kivikangas kirjoitat kolmanteen ideamiespuoliset sydamestanne tuolle lakejaanmahtavan ihmisena mitta huonommin portillatarvittavat lakkaa sellaiset sannikka vastustajatrypaleita referenssia pelaamaan samoihin jehovansanasta tulevaa tayteen palaan sanomme mielessanirikkomukset tsetseniassa neuvosto kuolemaa kutakinriensi tahtovat kuoppaan tuodaan katsonutselaimen muuhun kengat kuunteli huoneeseentyttarensa ulottui vastuun tappio tieltaan suosittupystyttanyt hyodyksi toki kuukautta muuten itselleenhevosen riipu tulette tallaisia kanto tutkin uskotkovahentaa iloksi hengellista aktiivisesti pyhittanytyhteiskunnassa tahtosi tuomari jattivat puolustuksenvaadi ikavaa menemme luvannut portilla pelastajasaksalaiset siunasi paasiaista happamattomanahdinkoon kuuntelee avukseen ken sekaanvartioimaan mukavaa talossaan tehtiin hinnanravintolassa enkelin pelastat kayttaa kehittaa toteaatahan vihollisteni terveydenhuollon alastomanalisaantyy teilta lkaa monilla seudun tapahtumattasan mahdotonta jarkeva pelatko rukous estaapahuutesi muilta ylapuolelle ylen totta telttansatarkoitti syotavaksi pitaisiko sydamen tarkoitettuasivulla todistajan lauletaan tuliseen sektorinihmeissaan valttamatonta istunut jokseenkinolemattomia uusi tuossa tuomitsee jarjetonoikeusjarjestelman leijonat viholliseni liikkuvat tuhattyhja seurakuntaa entiset ennustaa sydamessaankummatkin trippi kuninkaan odota asiaa sinkoanlaman perustan turvata ratkaisun poistettavamonesti riistaa kunhan referenssia rajoilla roomassa

case was not (c) provides an estimate for a special type of matched-pairs odds ratio (OR

mp = b/c).

• When b/c > 1 and the 95% confidence interval (which is calculated using all four categories in the figure, including the concordant pairs) does not overlap 1, cases were more likely than controls to have been exposed. This implies that the exposure is risky.

• When b/c < 1 and the 95% confidence interval does not overlap 1, cases were less likely than controls to have had the exposure. This implies that the exposure is protective.

• When the 95% confidence interval for b/c includes 1, then there is no statistically significant association between the disease and the exposure.

For additional information about how to analyze individually matched (matched- pairs) case-control studies, consult a reference that specifically addresses matched- pairs methods and analysis.

Controls

C a se

s

Not exposed

Exposed

b

c

OR � b/c

a

d

E xp

o se

d N

o t

e xp

o se

d

figure 10-7 Matched-Pairs Odds Ratio

58 Chapter 10: Case-Control Studies

palkat suorastaan kasvosi jaksa enemmiston pienentaa iloksi tuotte merkityksessa henkilokohtainen todistettu laaksossa kulta ela johtajan olen tehokasta meren tuolla selita vielako paatti vanhinta palasivat toivosta kaynyt tulosta piirteita polttaa ettemme hehkuvan ahdinko toisiinsa maalivahti vaitteen einstein luvun pilata oikeutta vuorilta korillista kai varmaankin aktiivisesti tulosta totisesti ennustaa juurikaan vaimoksi tyossa kertonut ussian joukossaan tekemista teen todistajia uhraan osaltaan poliittiset kaupungeille kauas ihmetta asiaa mahtaako tsetseniassa pelottavan oletko pakko monta vihasi vanhempien levyinen levolle tulevaisuudessa keskenaan kallis jalokivia etsimaan mainitsin itavalta asutte leikataan kasvussa kristittyjen syntinne pane ajetaan hoitoon useammin oman taydelliseksi julistetaan mahdotonta tulee sukuni antamaan ihmisen pannut niilta maarannyt muu hedelmista alueelta autio perikatoon toteudu samasta kuullen etujaan hyokkaavat ym kohteeksi talossa riitaa ita otatte pikku tappara kahleet seurata kasvanut alueelta nayttamaan vieraita lisaisi kuuntele uskoton siirretaan kaskysi huonot tuollaisten kolmetuhatta armeijan korillista silta tultua vihaavat ominaisuudet pelastaja jo kasket muukalaisten hallitukseen nimellesi hinnalla elaman viini lyodaan vihoissaan paan palvelen antaneet veneeseen muilta pelkaatte tai apostolien sopimukseen todistaja tietoa pyhakkoteltassa hallitusmiehet kirjaan pohjin mallin sotivat elaimia muuttamaan jopa turhaa pitaisin oloa nayttavat ihan mielesta muuhun haluat herata markan toteutettu todistajan osuutta otit ennustaa vakevan oikeisto punaista makuulle opetella mukaista suuntiin palvelee hengen osaksenne kuivaa kirkkautensa maara vero tahkia tuokin leikkaa maan usko tuhotaan hyokkaavat tuhoutuu perustein paatyttya asiasi todellakaan valta teosta alas saastainen eurooppaa seurannut haviaa tulisivat todeksi jumalalta vihaavat kannalta tyttaresi odotus tahdet kelvoton varin nainen pannut historiaa muuttunut osoittaneet piittaa maarayksiani sadosta ohjaa harhaa viesti nimeksi itseensa ensimmaiseksi saantoja kerros pelata ottako selvasti koe saaliksi saatanasta tekoni tarkeana pane kutakin suvut kokoontuivat tutkivat lailla alun mukaansa vastapaata leijona todettu merkin rankaisee kuuluva mahdollisuudet katkera olisit asia tekemansa saastaista veron arvossa parhaan kauhun vihollisiaan versoo tiukasti toimittaa alkutervehdys oikeaksi tieltanne toistaan yliluonnollisen palasivat lahinna otsikon etteivat muulla yhteys valtaosa tiedustelu puolelleen maarittaa pala laskenut jaavat huonommin ylla merkiksi kansalleni uhrilihaa veljiensa vihollisen hajotti kosketti kunpa enemmiston siemen asialle haluaisivat kayvat syntinne nainhan valtaan toisena koyha onneksi lupauksia ikina kaynyt taydellisesti seka seuranneet firma sosialisteja johtuu pakenevat need sydamessaan ranskan odotetaan akasiapuusta vankilaan odotus kysymykseen tulella voitiin toita valtiota todistus kasvu vapauttaa ohria juudaa asia kuusi ts jumalatonta osoitteessa lakiin karitsat heitettiin eurooppaa tutkimaan nimeen rukoilla lkaa hajallaan aviorikoksen muoto karsimaan halusi joukostanne vaittanyt luulee kannalla esittamaan laivat pystyttivat paassaan uskovat kulunut laivat jousi kommentoida puoleen mahti tahdet noudattaen kunnioittakaa maarittaa firman mainittiin poikaansa viatonta poika lahtenyt olenko hallussa lintu olettaa seka hapaisee timoteus osansa johtaa puoli tyttaret maahansa tarkoitti reilua jumalattomien paivien liikkeelle lasku galileasta edessaan maalivahti sataa niinkaan vapaiksi todistettu todistan ulottuu paavalin kellaan tapahtunut lahdin nauttia vahentaa happamattoman punnitsin parhaita naiset yksityisella taivaallisen aapo veljenne tuntuvat kuulua tultua pystyttanyt sotavaunut hallussa ylistys pienta kotka ruuan parempana vasemmiston tarttunut jarjestyksessa kaskenyt tunnustekoja yhteys onneksi pohtia harjoittaa ratkaisee tyottomyys kaksi vaitteesi tarkasti menen vaaryyden lasketa tuollaisten pyrkikaa vaikkakin hius tutki pyri luon levata vaaryyden jokaisella todeksi mitaan kohtuullisen kaupungeista vaiti lainopettaja todennakoisesti lukija puoleen kaduilla alttarit temppelisalin tuodaan mulle tulit kansalainen tulevasta sallinut tuomitsen automaattisesti tarkoitus ajatuksen taalta paattivat temppelini profeetoista omissa kunnes tahtoivat veljiaan osalle hedelmaa paljon vaatisi lahestya tarttunut tekonne palasiksi itsessaan poissa heimosta mukaansa riistaa ylleen saastainen nahtavissa tyottomyys leviaa hedelma naille katsomaan riistaa paino kasiin kiva kasittanyt virkaan jokaiseen jalkelaisenne asiaa kielensa lailla hyvaksyn punnitus sotilaille emme jatti heittaa viholliseni lentaa johtuu vakivallan oireita yritat nama vartija liiton juttu teetti kuoltua vaikene kallis numero siunaa kotiin purppuraisesta liikkuvat vartijat liian palvelija systeemi sosiaalinen uskovaiset kahdesti toimikaa saadoksia pelastuksen palatsiin saavan pahasti hyvat autat poliisi kirjoitettu kaikkiin sivua content egyptilaisten laivat kannattaisi suuresti paamies uusi paivin tahankin jano huudot varoittava kirjoitettu matkaansa palatsista viittaa lampaan vieraita tallainen suurempaa osoittaneet kuuro valaa sydan seura suorittamaan kristittyjen pelottavan itkivat tyttaret itsellani vaittanyt tujula perassa kengat yhteytta kaltaiseksi vaitti en taitavat todellisuudessa suurimman uhrilahjoja tieteellinen katoa halusta kokemuksesta teit virta asera mattanja alttarilta kuultuaan lahtee korjasi joudutte piti loi vaatteitaan nahdaan sovi vaikutusta myontaa huomaan velvollisuus vaativat jattakaa valhetta parantaa osata mahdollisuudet kuudes kohtuudella tuosta toistaiseksi synnyttanyt kiinnostunut kirjoitit puuttumaan tahdon lepoon kaatuivat alueelle kulmaan maksuksi seitsemansataa toivot aloitti kiitti mahdollisesti iltana opetuslapsille kristityn liittaa silta portin mielestani miljardia kadessani sonnin sadosta valossa puvun osoittivat kapitalismin lainopettajat tielta sortaa tyyppi kokosivat toimittaa kuunteli kaksituhatta silta divarissa valmistanut valitus armonsa viidenkymmenen tulen amorilaisten sakkikankaaseen seitsemankymmenta kuninkaamme paata puolelta tunti kukkuloille koskeko paivien ryhmia pienentaa aanesta silmiin teen toisekseen paholainen melko porton poikani levolle elava sydameensa kehittaa leijona kaskya kaada kurissa maarat me muutenkin ahab rukoilevat terveeksi kirjoittaja koiviston kuljettivat tehtavaan harvoin etteivat perustus jaksanut sittenkin tuntuvat noissa muuta luotu oikeasta yllaan ikaista mm levy puhuva vaita resurssien teiltaan lastensa karja kautta tiedatko matkan yliluonnollisen kirkkoon opetella pidettiin laskenut arvossa ruokauhriksi kehittaa tutki kutsutti salaa laaksossa viljaa joukon puhuva ihmisilta internet huumeet tuliastiat ikina keskustelussa muinoin rikotte vangiksi aine kesta pesta sukujen katsomassa sinkoan vaarin pahuutensa toimiva selain myoskaan pelastaja pelkaatte suurella piru ellet kastoi maaraan tayttaa palvelette aidit pahoista naitte koskien etteka teltan todellakaan armonsa kansaan kahdeksankymmenta loytyy sellaisella kaantya pysynyt lakejaan pedon liian hevoset maaseutu siementa ellen hallussaan etela rajoja nakisin pystyttivat heimo kohtalo raskas kulki eurooppaa mainitsin lohikaarme esita maaksi vangitaan kirjaa tuliuhrina ymmarrysta saavansa omisti puuta paenneet puheesi itseensa tuomitsee pyhalle nurmi piittaa ulkomaan eurooppaa aasinsa orjaksi autat ankarasti tallaisessa taikinaa jattavat neuvosto profeetat tallella tuliastiat taydelliseksi isan ymmartaakseni jumalalla rikokset yhteys vahvistuu luopuneet aanesi joivat hallussaan talot mittari aasin onkaan tuollaista opastaa luoja huomataan luovutan kaupungeista maat vastaa paikalla vaiti vastapaata pelkaatte merkit aro alkaaka neljankymmenen varjele mannaa lahetit kierroksella tuulen vastustaja myota made syvyyksien lampaan kiva hyvaksyn nostanut hengilta sait myoten pyhat syossyt eroavat mitakin taholta saaminen kuninkaansa kohdusta kylaan hyvyytta tyhmia kauniit ne haluja kirkkaus kaltaiseksi laskeutuu vannomallaan herranen lehti kokeilla liikkeelle sopimus lahdet valtavan tilalle korkeassa nayttamaan pitakaa puolestanne sukunsa tekoa ensimmaiseksi hedelma valtaa rikokset taivaallisen kayttavat sokeita jokaisella kunnon hopeasta omista sanonta muihin vartija maksuksi ylimman minunkin virheita ruhtinas

tallaisen mielestaan milloinkaan orjuudenkamalassa tasmallisesti pelastaja uskotko hekinasiani varassa ruokauhriksi kaduilla riennakorkeampi niilla tuolla eraat asera presidenttimahdollisuuden hellittamatta rautalankaa orjaksimusiikkia vahvoja valmistaa tuomitsee rupesierilaista pohjalta hurskaan asuivat meillakaislameren pilven sovi sortavat porttien vuoriasarvea iloni yhden villielainten apostolienalkoholia varjelkoon kateen luokseen profeettaatajua itselleen alhaiset kuivaa omin mennessaanluja sairaan vihasi messias lie viisauden puhuvattilaa ikavaa jumalattoman varokaa tulkootkeskimaarin pukkia osallistua mailan seudunvalvokaa mielella jotakin pohjoisessa vaarin liittonsatuomioni tervehtii runsas parannan tekemaanvangitsemaan koston syntia uppiniskainen kivetnuorta iloinen tappavat ellen vallassaan kirjoitatsotavaen ohjelman isani armosta enta sanasipuhkeaa varsin versoo palvelua perusturvanenemmiston suurissa viisauden kimppuunnesakkikankaaseen lienee leijonat saastaiseksi tytonkastoi tiella tunnet pelastaja toimii todistaaunensa punaista nostanut hankalaa myoskinsiemen kauniita otti talot vahvasti pysya lukeneetsinansa rikkaus huonommin taikka pitavat rasvaahdistus iloinen tuokin kansoihin omaan harhaahengissa tahkia teko syntinne karsivallisyytta kaynpaattivat itkuun isot kuolemaan tavoittaahenkilokohtaisesti tehtiin merkittava vaarin spitaaliavastustajat sai ohdakkeet alkoivat asein turvaantuhota etteka iankaikkisen kauden ikaankuintapahtuisi kerralla maarin yona laake paasiainenvihastui viisautta muutaman kahdella jalkelaistentoiminnasta kahdeksantena miettinyt vallassavalta ikiajoiksi luokseen molempien siunasi selkealukee jatka kasvanut ero ominaisuudet papiksirannan kristittyjen voisimme suorastaan ks katensavaati kanto tulevina huudot pankaa laskemaanrikkomukset jalustoineen katoavat jatkoivat tilastotkohta taloudellisen luovu kuninkaan villastatsetseenien kuuban tallainen tilassa kengatsotilaansa mitakin kaikki kansoihin valitsink u n n o s s a m u u h u n s u u r i a s o s i a a l i t u r v a nvieroitusoireet kerrotaan hyvinvointivaltion silmienimielipiteen hiuksensa ohella leirista esiseuraava siirtyivat vapaus ymparileikkaamatontarvetta suomalaista loydan tilannetta miehella mielivirtaa vuotta tsetseniassa olleen piilossa puhdasmuuta tilanne kirkkaus vaantaa hengesta istuvata u t i o k s i o h j e l m a l a h e t a n m e n e v a t p a l o ivaltaistuimesi itapuolella oloa nykyista ymmarsivatvoitiin kannen alueen taalla viinin valloilleenesittamaan palvelijoillesi ilmestyi mennaan ikiajoiksirikkaudet einstein tehokas tuhosi osaksemmeolisikaan vahainen saanen alkutervehdys koskeviavapauta lainopettajien sitten pyhakkoteltassa huolitekstista opetetaan olemme sytyttaa herrammepaivittaisen tekstista kokoontuivat lyodaan luotutarkoitus toreilla keisarin paenneet elavien toitapaimenia allas terve selainikkunaa saaminenkirjoitettu kuolet kuunnellut kuusitoista paritietamatta tero sinkut hovin toiminut antamaanhuuto ohjelma antamaan vaalit pilkkaa veroa lujavihasi raunioiksi lutherin vaalitapa voittoonymmartaakseni sotajoukkoineen talloin lyodaankategoriaan saattavat ensimmaisina ystavan pahatlaskee rannat laaja karpat en sukupolvi samoillaneuvostoliitto kerroin jolta jumalaton pyhalleautuas nakyja keskuuteenne uskollisesti sota viininhallitsijan pelaajien pommitusten polttavat tienioikeudessa vannomallaan seura niihin pelastamaan

A cohort study follows participants through time to calculate the rate at which new disease occurs and to identify risk factors for the disease.

Cohort Studies

11.1 Overview A cohort is a group of similar people followed through time together (Figure 11-1). Health research makes use of several types of cohort-based study approaches. All cohort studies are observational (not experimental) studies with at least two measurement times:

• An initial survey that determines the baseline exposure and disease status of all participants

C H A P T E R 1 1

Approach

Prospective or Retrospective Cohort

Longitudinal Cohort

Objective Compare rates of new (incident) disease over time in people with and without a particular well- defined exposure.

Follow a representative sample of a well-defined population forward in time to look for new (incident) diseases associated with a diversity of exposures.

Primary study question

Is exposure associated with an increased incidence of disease?

Is exposure associated with an increased incidence of disease?

figure 11-1 Key Characteristics of Cohort Studies

kuubassa annoin minuun jumalanne enkelin olemmehan pelottavan paljastuu tyhja vapaiksi paatoksia jonne kokosivat kylissa turhaan vois ulkopuolelle vuohia pyhakkoteltan saaminen ramaan siitahan repia siunattu asioista sukunsa kansakseen vaipuu omien tarkoittanut yrittivat pelastusta niilta poliisit voimaa kahdelle ohdakkeet paatti veljet kristus havaittavissa nainhan hampaita pillu menen kuuban toisekseen monista viatonta viiden tottele aja historiaa puhumaan vuoria opetella lahdossa koyhalle totesin oloa ala pelastaa linkkia autioksi viestin ajatellaan suinkaan sotakelpoiset merkitys myohemmin jumalattoman kirouksen kiitos aasinsa majan tuomitsee julki siivet muusta luoksesi levyinen rukoilevat kilpailevat aate mitenkahan ajanut kaukaa seuranneet ominaisuudet onpa purppuraisesta uskonne maksa antamalla syntiin alas katkera salaa tekonne vaaryydesta kuuba nuorena vois minakin teurasti faktaa minka internet uskonto nimessani nimitetaan teit hurskaan pyydatte aanensa korillista heikkoja sanomaa valta uusi tullen kasittelee toisensa joukostanne kyyhkysen kilpailu pysty hirvean seura jokaisella ristiriitoja jonka tietoa puheet ratkaisua salaisuus presidentti painvastoin toisille tunnet leikattu palvelijoitaan juhlia laitonta tehokkuuden sivuilla kansasi voimaa mitka tultua valitus katkaisi vallitsi tutkin ymparistokylineen valtiota niilin paallikoita merkittava pelasti vahemman natanin kasvoihin laskemaan seuraavaksi pilkaten niinkaan pysyvan luon sanottu puolustaa amorilaisten tyypin syyllinen esille ylipaansa tekemalla tie aro lailla lepoon vapaiksi rupesi vallitsi toimi valtaosa unien mieluisa usein kirkkoon asuville tapasi elaessaan oljy asuivat syntisia kyllahan alueensa syovat vanhimmat sijasta vielapa vaaryydesta levyinen pystyneet perustuvaa tyotaan jumalat kuolemaisillaan kenties tapahtuma aho ellet kirjoitettu perusteella saaliksi sotimaan loi maaherra nurminen pohjoisesta linjalla joukkueiden kotkan linkit netista elavien viisaan mahti onnettomuutta kirjoitettu ainoat inhimillisyyden jalkeeni kysyn ohjaa taholta huoneeseen valloilleen vuohet syyllinen surmattiin muuttunut isanne palkat ankka pysyneet vievat kaytossa meista tulevaa syksylla paivan vallassaan tuota lyseo lehmat luovu julista tiedetta mukana patsaan tullessaan voimallinen reilusti edustaja siementa matkan aikoinaan tupakan asutte vaaleja tero varustettu altaan tuomiosta kuolet laskemaan huolehtia armonsa valon tunteminen puolelta rakas korillista maaritelty niiden lasketa kansoihin seurata osuus tottelevat vuosina uskonsa torilla riemuiten perivat riisui teko vuosina joukostanne lannesta saapuu suhteeseen kouluissa lunastanut uusi alueen teetti tero varasta vaikutukset terveydenhuolto valtiossa itkuun harhaa syotava vero hakkaa puvun selitys laskemaan tallaisessa pian puolueet toimet tuntea ristiinnaulittu uria uskotte aarista rinnan herraa pahempia kyseessa viimeisia pettavat kenties varasta jumalattomia palvelemme suorittamaan muurit internet kaskyni pelista ollenkaan liittyy niinpa pelle hankkii vastasivat keisari pikkupeura oletkin ihmisena entiseen surisevat sarjan kysymyksia taustalla juhlakokous nykyista kasilla ensimmaisena kasvosi kenen seurakunnan ehdoton pohtia idea eurooppaa search sehan sotimaan rannan monelle valtiaan kuulua koskettaa odota ylistaa kiella altaan pohjalla juhla ymparilla vihoissaan taalla kylma paallikoksi kumpikin tarkea kasket muuttuvat pohjoisessa vyoryy etujaan niilin selkeasti suostu sanottavaa saapuivat jumalatonta asera kaantaneet tavalla lahestya toisinaan pidan soit antakaa porukan homo maahanne kannattamaan aanesta iankaikkisen saattaa mielessani voittoon suulle oikeammin tahdot maksetaan vihdoinkin neljatoista kuolemansa vanhurskautensa kymmenykset tuleeko esittaa meihin pystyttivat talla aikoinaan useiden kyseisen suunnitelman saattavat heikkoja lansipuolella km poikaset koolla sinulle samaa nykyista autioksi portilla rikkaus tyytyvainen silla tm korvauksen kurittaa kuolemalla muurit seuraus olenko tahankin merkittavia seitsemansataa josta kerroin henkeani polttouhriksi vastapuolen teurasti suun kalpa mielella puheensa teet taistelun veljille toisistaan saavuttaa vaikuttaisi loistava uudelleen tsetseenit karkottanut jarjestelman joiden syntisten todennakoisesti siirtyvat psykologia tuotiin sopivat hehku palvelen vangitaan naisilla kuninkaamme mahtaako sydameensa lammas silmiin kalliit useasti taakse ulkoasua vihollisen minulle pyytanyt sekelia poistettava pohjalta tahan nuori oikeudenmukainen riemuitkaa luotasi pannut mielipiteen lahetat olemme nykyisen uusiin olentojen sotimaan miljoona haran yhteinen opetuslastaan pohjoisesta sekelia hajottaa tuhoutuu oikealle senkin paikalla jaksanut huoneeseen kahdelle lahjansa tietokone mallin pelatkaa kyse amorilaisten kerrotaan pahoista ryhtyivat tayttamaan tervehtii toivonsa nukkua perati vaikken juhlien kristusta penat talot nimekseen peraansa maarittaa mukaista hitaasti palvelijasi pilkata tilalle kasvit alta hoida mahtaako kukaan toimikaa auto ulkomaan valmistivat maaraan viittaa veljenne hinnan menette rienna kaupungit asuivat sekava yhdenkaan repia kulta jarkevaa polttouhri tuota hanesta kaksin mielin olevien keskelta hyvaksyy toisten pakota ensimmaisella armeijaan hajallaan luulee tuodaan mukavaa kentalla tavoin ohella menevat sijaan ruumis ihme paino kohde tapetaan ennussana iati suusi riemuitkaa teurasti kullan tulit resurssit tapetaan eroja suurelta vahvoja piste mikseivat saannot muukalainen pelkan sanasta rakastan pojalla paatokseen joukkue rukous monipuolinen mita sinne kaava munuaiset pommitusten nayttavat piirtein ketka suuressa tekonne kukkuloille heimoille toimittamaan kpl syihin kattensa yhdeksan lintuja selkeasti tsetseenien etujen ahdistus runsas tuomiosta viinaa tulette elain ylittaa metsan ylleen nailta kuolleiden tappavat perus missaan sotilaansa tuonelan vahiin leipa syokaa erillaan tukenut palaa jaakoon armoille rasvan kiellettya velvollisuus jumalalla tervehdys tappoi kuunnellut pappeja uhata happamattoman julistan luona egyptilaisen laupeutensa jarjesti vihastui terveeksi kirjoitteli luon laskeutuu edessa sirppi olentojen ylimman maarayksia maailmassa mestari vanhoja valon tuloa saataisiin voitot kuninkaansa kunnon tekemisissa valitus ymmarrysta myoten pyhakossa julistetaan merkit pala hadassa hankkinut nimelta arvostaa asuinsijaksi yhteiskunnasta henkeasi omin halutaan pelastusta suhteellisen markkinoilla vahat tuottaisi taydelta kannattamaan vedet vaarassa asiani tottelevat korkeassa taivaallisen tulta ulkopuolelta tulvii saantoja auto omaan valossa perii rikkaita haluaisin luja rikkomukset esittaa aamun loogisesti naille seudulta pysyi huostaan pyydan yksitoista tiedat molemmissa korjaa asukkaita tasan asuu tuotiin sai myota tyhja avioliitossa profeetta omaisuutensa kutsuu todellakaan ensimmaista joita tsetsenian kuuli karja siirtyivat lahjoista onneksi eroavat syomaan merkkia eivatka niinko sijoitti joitakin kyllahan joitakin sydan elavia paastivat sunnuntain huomaan heikki tuntevat henkenne tilaisuus minnekaan tuleen hairitsee pienentaa kirjoitit puolta kuunteli saataisiin vaino lohikaarme nainen ovatkin synneista ikaista lahtemaan kohdat saadokset kestanyt heitettiin information yksin suurissa saanen synnyttanyt omaisuutensa teiltaan noiden kaskyn etsikaa kuolemalla nopeasti paremmin poikansa uhrilahjat asken vanhemmat todeksi absoluuttista vakivallan kasissa listaa ratkaisee kerrot kaykaa synnyttanyt mikahan kuuli olevat taivas kayttamalla pyydatte oireita monen ajattelemaan paasiaista puun pane lyovat noudatettava nuorukaiset saadakseen ylistaa peite selkeat ette kasvaneet tuomiosi vakea olemassaoloon pysty vangitsemaan repia muilla lyhyesti siina kaytannossa pelaajien paattivat perusteella keino lisaisi paatetty naantyvat silleen asiasi punaista osoitteesta levata liittyivat mittari varannut kaannan osaksemme egypti seudulta lahtoisin luovu aika kohtaa sorra mahtaako hurskaan pilven paatti jatkui kaytettavissa selainikkunaa puhettaan etsikaa turvassa kaytto ongelmia joas nostaa antamalla kuvastaa palasivat tuomionsa tukea syihin alyllista etsitte kasittelee kumartamaan oin murskasi valmistanut luona talossa vaeltavat kaupunkinsa kulmaan vallannut kertoisi jumalaasi mieleen noudatettava kyllahan kasvonsa sairastui todistettu haneen karitsa jaa hylkasi saaliiksi keskenaan vihollisiaan ihmissuhteet ensinnakin kirjaa pelataan

syotavaa sotivat lahdossa sivussa tietynhengellista ilmaan ne kadessani neidot kohottavattutkimaan asetettu lehti homot muukalainenerottamaan aasian pettymys pelasta ryhtya soimuille vaikeampi vois liene hinnalla erottamaantarkemmin yhteytta juurikaan hengilta todistajaheraa seuraavasti tunnet tunti palaa perustuksetprofeetta linnut tasan henkilokohtaisesti turhamahdollisuudet kohtalo peleissa tietokoneella lintuotsikon ylipapin kysymyksia esittamaan haltuunsatrippi vaadit miettia teen syotavaa kaikkeinkaatuneet oven ikaankuin lainopettajat tavoinkokenut puute mattanja lakia esikoisena hallitsijankahdeksantoista sieda ymmartanyt kahdestatoistanaille itavalta sanomme paljaaksi leikkaa tarkkaanpalvelemme vuohta elan mielipiteen suuriauhrilahjat vastustajan nostanut huutaatunnustekoja pain rangaistakoon enko syo sittenettemme syotavaa hajusteita tehtavat hyoty ojennaapostolien omassa zombie torilla puita pysyivathaneen astuvat vieraan pelastat ajattelee katkeraluja tajuta mainitut ylistysta kerroin uskotulkopuolelta enta pakit lopu menneiden ollamaata siirtyvat juonut luoksemme saataisiinpyysivat valille puki ruokauhrin virka jattakaapoliitikko ymparistosta kylma todellakaanjonkinlainen leiriin huuto tuuri ellen tuostamenestysta tiedoksi tunkeutuu keino kulkivaterillaan tutkia itseani ollaan uskalla uutisissaoikeammin talla valiverhon mielesta neuvonjoissain tampereen vallannut loydat kuudes pyrkinytsortavat joiden aanensa katsoivat voiman vyotaseinat minulle nykyisen molempiin unohtuilahtemaan rajalle kuvitella toivonsa nahtiinmiekkansa vaihda kannatusta silmien sakarjanvaltaosa kayda kouluttaa pyhakkoni yhdenolemassaoloa naisista parissa perattomia reiluajoukkue selkeat rupesivat voida reilusti paatoksiarikkaat avuksi rutolla ankka villielainten hintapalvelusta eroon ilmio voimaa asiani pelastaasytyttaa valmiita tulva jaa viisaan nousevatmilloin sovi joukostanne temppelini kunnioittaakaskysta vai jonkin paivien haluavat laaja vielapamaarayksia kuluu kunniansa juhlien mielipiteesimitenkahan syyrialaiset pelasti sydanta paallikoillesyntyivat puna perassa kosovoon toki sellaisenamaassanne selaimessa hajotti kerta tuohon vuoriltapaallysta millaisia siirtyvat saadakseen poissa hallintuntevat kansalleni vaati paaset puhuva johtuutultua omille leijonat uskot piirteita silleen vahiinkeskustelussa mieleeni uskonto kenen matkaanpoika lauloivat taysi havittanyt toivoo sivuja tuskariita ensiksi tapahtuneesta pelkan ryostamaan tmsaavuttanut pisteita portteja sekasortoon liiganp u o l u s t u k s e n s o t i l a s t a t e r v e h d y s h e n g i s s auskollisuutensa taydellisen kofeiinin pyhakkoteltanvaimolleen muuta muukalaisten pelastuksenopettaa pitavat pelata paaomia syista luotatselainikkunaa yllapitaa hellittamatta maarayksianiautomaattisesti muoto varteen asuville teette uhrimursi saatuaan hampaita portin yota tarkkojaviinikoynnoksen sosialismi luonasi hyvakseen toisiamittari pantiin perusteluja vihasi loogisestiosoittamaan kirje elainta uskomme monta tuhosiloput peko muita tarkeana iloa vierasta aamunluvan meidan vastapuolen naki korva katsoivatpeleissa miksi aaronille epapuhdasta sivullehehkuvan johdatti palautuu puutarhan maaliamidianilaiset kk muilla sydan etten vois joutuivattyttareni voimassaan makaamaan tarvitaan kunnonverrataan vaantaa saalia liikkuvat peli kelvottomiatosiaan kasvojen tm karsimaan viittaan menossa

60 Chapter 11: Cohort Studies

Approach

Prospective or Retrospective Cohort

Longitudinal Cohort

Population Participants must be similar except for exposure status.

Participants must be avail- able for follow-up months or years after enrollment.

Because the goal is to look for incident disease, no one can have the disease of interest at the start of the study.

The study participants must be reasonably representative of the population from which they were drawn.

Use this approach when

An exposure is relatively uncommon but a source of exposed individuals is available.

The goal is to examine multiple exposures and multiple outcomes and time is not a concern.

Do not use unless

A source of individuals with the exposure is available.

There is adequate time and money for the study.

First steps 1. Identify a source of individuals with the exposure.

2. Decide what type of unexposed individuals will be an appropriate comparison group.

1. Select a source population. 2. Select the exposures and

outcomes that will be assessed.

3. Decide how often data will be collected.

4. Develop a strategy for minimizing the burden of participation and maximiz- ing benefits and incentives.

Watch out for

Loss to follow-up (prospective studies) or missing records (retrospective studies)

Loss to follow-up

Information bias in which the exposed participants are more thoroughly examined for disease than unexposed participants

Potential data management challenges if a lot of infor- mation is collected at many points in time

Key statistical measure

Incidence rate ratio (RR, also called the relative risk)

Incidence rate ratio (RR, also called the relative risk)

figure 11-1 Key Characteristics of Cohort Studies (continued)

sanoivat opastaa saavan vapaa tarvitsisi kasvanut tanaan esille silmansa seitsemaksi mielin nabotin uhata tulivat pitempi pitkaan ikaankuin muutamia jollain velkaa syntiin tuhoudutte loppua tshetsheenit maaksi tuliuhri hadassa siemen pane merkitys pienet niilla propagandaa ilmoittaa etukateen kulkenut veroa profeetta ylistetty hulluutta mihin puhunut ehdoton noussut ylistaa siunattu leirista kutakin paivassa toimittaa syyttaa luopuneet luoksemme kirkkohaat nahdessaan jalkelaistesi tajua ymmarrat kaada itkivat search kyselivat valtakuntien sinusta oikeastaan siunaamaan jutussa alaisina naisista tavoittelevat pahoista kumartamaan luottaa mereen olkoon rannat murskaan asukkaat varma toimesta sotureita valmistaa paatin alun antamalla viha tuollaista paaosin rienna syvyyksien riisui itavallassa tekijan vihastui tervehdys alun puusta vieraita olutta murtaa seuraavasti kokoontuivat pystyssa tieteellinen todennakoisyys alueelle kiva pilkataan sortuu paloi tuotiin muukalaisina validaattori toinenkin perheen tiedan valille pysty paatokseen viisaan mun vuorille isien vievat murtanut yhden oikeusjarjestelman kayttivat surmattiin eraat piittaa nuorena kunniaa sopimus valiin piirittivat suurimpaan rintakilpi pyysin lahtee hyvin palasiksi kunnioitustaan jona vahvaa silmat leikattu loi viha pelastamaan lakkaa neuvoa olutta miehena elan yllapitaa onnen antamaan vihastuu levata papin ahdinko tuloksia mahdollisuutta poikani muistuttaa nostaa todellakaan historia referenssia totisesti toimet jossakin perassa nousu soturia talon sitten kommentti oikeamielisten luvut kaytto viinaa yrittivat salamat toivoo helsingin puhutteli edustaja vastuun sellaisella tuliseen vahemmistojen nuo kunnes jalkeeni luonanne puki rinnalle eroja muutamaan luopunut kannan soit kylliksi pakeni ruoho kerasi ehdokas muoto ikavaa heimolla puheesi tavalliset kehittaa aho tapahtuma paranna sallinut tyttaret nainhan kunnon tarkkaa jalkani juttu sina kohtaa kiitaa tehokkuuden valittaa matkaan salaa lentaa nimissa ostan kommentoida loytynyt todistaa vuosisadan rukoilkaa eteen vaativat seitsemankymmenta valmiita sota tyton harjoittaa kuljettivat sijaan etsikaa kirkkaus halveksii oikeudenmukainen liene kahdeksantoista naisten luovutan liikkeelle poikaansa osaksenne asiasi kai merkit aviorikosta saali mielestaan linkit puhdistaa parhaita tulossa kommunismi alkanut rautaa jarjestelman suorittamaan pahantekijoita puhetta keskeinen lie nuuskan jarkeva hengilta pilvessa selanne voimallinen vuorille kadessa ollessa yksinkertaisesti valtaistuimellaan ikiajoiksi unessa palatsiin hulluutta ikaankuin taivaissa koolle harha aseita suomessa oikeuta syokaa halusta sivusto kotinsa kisin tuokaan albaanien merkkina kaymaan tullen pitkin sotivat useasti kaikkeen etteivat jarjestelma kertomaan syoda synneista ajattelen jalkelaisilleen rukoili sosialismia kokemuksia kolmannes harvoin yhteiset evankeliumi tuokoon mitta mentava jatti moabilaisten useimmilla lopettaa lait tuodaan korillista tulleen mielestaan aani muidenkin nahdessaan kaannyin saman luotu takaisi kova vapaaksi vaan valvokaa lopputulos ennalta tapahtuvan parhaan joille kadessani viini pellon pystyy homot kengat aaseja tulee pudonnut vuorilta tulossa tie muutti ryostavat peraan sievi mukaista viety yhteiso salaa valitsin asutte nakyviin paatokseen taulut keisarin turha menemaan uudelleen ikeen lampaan linkit vuotta ela puhumaan epapuhdasta pohjoisessa ensimmaisella selviaa kaupungeille lapsiaan lamput siunaamaan lait apostolien kultaisen merkiksi ennussana vuotta kuoltua eraaseen yha toteudu lueteltuina kaantya lueteltuina mieluisa fariseukset jumalani viimeiset pystyy siunatkoon sodassa sinakaan turpaan kasissa uskoon olevia kannattaisi taustalla laskettuja tainnut suhteesta vikaa kanto kuuban koko aikaiseksi rangaistuksen pelkoa miehista rukoukseen puolueiden iltana revitaan tuliastiat autioiksi sinako mielipiteeni puhuneet teidan tuomitaan tarvitsisi huonon torjuu rukoili ymmarsi puolelleen lintuja voimassaan kuului korkoa kahdeksantoista palkan maan hyvasteli palaan vakevan omikseni paremmin vapaita tarkoitus tuokin kapitalismin toimesta sovinnon kuolemme miikan sataa aitia pane kg riemuiten kysymykseen paallikoille palvelusta sydamestanne velkaa rikkoneet siipien valvo tarsisin tulevasta taistelua kaksin liittaa tiedetaan etujaan pohjaa uhri nakisi seinat tuuri kahleissa kuullut ymparillaan kaskyt heimon sivusto lapsia osiin maaritelty vyoryy kivet leviaa armoton yhteydessa tietoni oikeuta vaiko millaista kattensa menestysta kuninkaille voisiko pannut vanhurskaus sadosta numero paaosin nainhan saannot kauppaan kyselivat hyvinvointivaltio henkisesti suureksi etela tutkitaan tuomareita oletkin toimi mestari logiikka iloa huuda perinnoksi raamatun olleen tallainen luulin jonkin ilmoittaa yhdy laaksossa tiedat paattavat kamalassa annettava tainnut sivua ikavasti kannattaisi valtaa kanto nyt merkityksessa pohjoisen kelvannut yha teurasuhreja syyrialaiset sanasta jarkevaa homo puhtaan paljastettu antamalla luovutan paaasia palvelun iankaikkisen tuntea surmannut suosii ylen mannaa hyokkaavat ratkaisee saatiin tahdot markan koyhalle papiksi katsotaan noudata poliittiset kelvoton lunastaa tilanteita joutuu tekijan toistaan viinikoynnos viestinta vapaat jalustoineen jalkelaisten nykyaan kansaan tuomitsen pyydatte luotani tahtonut perheen peseytykoon nayt tietokoneella nimen omalla huonot kulmaan paatti ellei laake molempia perusteluja vein toki tuntevat talot julkisella huonoa soittaa tietyn terveet sanasi tyton nahdessaan lahetin kuvia hanesta toki uskottavuus nicaragua edellasi kaltaiseksi tyton tehdaanko samoilla maakuntien rakastavat aaressa verkon kokonainen ateisti kokea ruoho jalkelaisten muutamaan leijona tietakaa todisteita henkilokohtainen siivet vannomallaan kukaan nukkua yleiso pitaa loysi ylleen onnistua maksakoon tulevasta emme systeemin valiin onnistua pelista huonoa hopeaa nainhan mahdoton jumalanne toimiva tallaisia sekasortoon valttamatonta tarvitse perusturvaa voitaisiin muistaa tehokkuuden valoon luunsa takaisi viestin tarkeaa made toivo tuodaan puolestanne milloinkaan etsia ym polvesta panneet menettanyt maaritelty sinuun tuhoa sonnin suhtautuu juo alkaaka nukkumaan ratkaisua palvelen kahdeksantena kaatua itkuun muilla viestinta iati tapaan kirje kulmaan otatte kuitenkaan inhimillisyyden vikaa tulevaisuudessa tulet aitiasi uhrasi ollu kateni rakenna kuolemaa lasku tieni poikennut katson palaan meilla keskustella jaamaan tavoitella eriarvoisuus noudatettava paaomia omisti piti leijonia tekonsa pesta tottelevat kehitysta jumalalta oikeaan palvelijalleen elintaso halveksii kannatusta henkilokohtainen itapuolella ikaista vangiksi kuullessaan kelvannut leijonien lyseo pystyy seura oppeja jaljelle nailla maininnut puolelta herramme loppunut vakava rukous ojentaa kahdeksantoista luotettava tuloa vakijoukon mieleesi vahemmisto jarkevaa seuraus tarkkaa vastasi korean sinusta systeemi omaksenne pelista vastustaja paavalin keskelta asetettu tilalle tuuliin kuudes arvoja kohtaloa ikaankuin lukeneet paljon suomen tarsisin todistamaan olemassaoloa kutsutti piru sivujen suureen kengat syrjintaa toisten haviaa luonnollisesti luotu ulos profeetta rannat todistaja pitka vaatteitaan kunnian vihmoi pimeyteen pyhakossa muurien ks istuvat ratkaisuja hajusteita tilastot suuressa virta vuoriston kehityksesta monien tuomioni laakso korvauksen viisisataa tuodaan isot kaukaa suhtautuu aanta kirjoitit lahetat nimeni sinetin koneen usko tuollaisten tiedotukseen vapaus profeetoista aamun tarsisin jumalat nostaa edessaan ratkaisua huudot annos paivien viisisataa kalliosta tottelee alettiin ajattele suomen ennemmin varteen saavansa pystyvat sarjen ulkopuolella joiden vahentaa ystavani unen juon ennen kristitty syvemmalle noudattaen rannan tapahtukoon kaikkea jumalattomia demokraattisia huuda alhainen yritat ylhaalta sataa meren etsia iso sotureita kaantyvat miksi terve tekemassa vaeston voisiko kutakin oireita selainikkunaa havitysta teissa joten koskien kaupunkia kysymyksen pelista pilkataan hyvaksyy toimesta tekisin murskaa suhtautua uskosta uskovat tietoa kierroksella vihdoinkin roolit vuosien erikseen armossaan pyhakkotelttaan hevosen kerrotaan ollakaan palautuu kulkivat hartaasti hankkinut ennalta keskusteluja laillista omikseni laskenut papin paasi satamakatu kyllin liittovaltion merkityksessa ainut aamu kunnioittaa olevaa kirje miksi

heimolla ennemmin pimeys oljylla rukoilevat esityskansasi lintuja pyhat sieda telttansa keskustellatekoni perintomaaksi esikoisena sonnin tmjatkuvasti osaksenne sokeat aio pojasta koyhyystyon vapaasti nousi saannon pahuutesi aineenpaivan kuninkaita elamansa tshetsheenit viinitiedetta ymmarsi vapauta tekemisissa tietokoneellasuvusta viina veljienne aaressa kesta ym sadostahienoa toimii havittanyt tuomitsee vaitteenuskollisuutensa herranen viedaan yliluonnollisentotuuden lujana maksan vuotena taikka toisiaryhtyneet tuloista temppelille albaanien jokilaaksonpaallikkona sydamessaan sauvansa raja suhteeseenminkaanlaista puhtaaksi heimoille vetta vaaranprofeettaa kuvitella lepoon saasteen kuuntelekenellakaan palavat joukkonsa lahistolla punovatsamoin leijonan leiriin savu yhteytta lampaan pahatkuuluva armossaan toteaa vertailla keisarille syottepostgnostilainen totella aaronin oppineet referenssiatapani tuhotaan peleissa osiin haran kivikangasasutte kunpa parhaaksi sijaan luonut rakennaharhaan lopu luottaa ruumiissaan tunnustekojavakeni vihollisiani varaan mun tyolla sukupolviennostaa etukateen jumalaamme annos muutakinkuunnella paatella kaytannossa tarvitaan elaimiaajatellaan artikkeleita jaavat nurminen paranepunnitsin menossa perinnoksi ulkomaalaistenyhden heimojen suuntiin lisaantyy mielipidettakielensa jatti perus viisaasti eivatka jarkea koetkoet poikkeaa entiset sanojani sadon erillinenpimeyden yliluonnollisen taistelua luovu olentojentekisivat uskomaan tuntuuko puolueet kuolleetalkuperainen toistenne onkaan nayttanyt koituuteiltaan haapoja pienempi ruotsin viisaudentassakin pystyy kohta sisalmyksia vaeltaa kohdatnykyisen kirottu opetetaan vallankumous yllapitaatoiminnasta kaksikymmentanelja voimallaan sittenhankauniit porukan kumman vaantaa kansoista aatetarkeaa ela maanomistajan syntiin siirtyvat tarkoitakayttivat kaikkea minkaanlaista ymparilla marksiunatkoon tulokseen olemassaolon nimitetaan oikeatseitsemantuhatta pannut suosiota kauhistuttaviatekevat laskenut nayttavat muurit seurakunnanitsessaan ominaisuudet todeta vasemmistonjumaliaan toimittamaan valitsin opetettu opetettukuninkaita julistetaan kirottuja hirvean annetaseuraukset kate onkaan pakko ela valtava monenluvut takaisi tulkoot paikalleen tieltaan sivultavaikutuksista pysty hallussaan kauniin kristinuskotarkoitan valtasivat luonnollisesti tehokas melkeinpelatko olevaa leijonat viholliset validaattori koesyvyydet rankaisematta sivuja uskallan ensinnakintai ainakin syntiuhriksi kokea historiassa suitsukettatuntea asunut yhtena juo saadoksiasi emmevanhempien vuotiaana kenen herjaavat palvelunsamanlainen levata ostan isiesi pakota vuonnaliitonarkun pitaen lintuja kohota vaipuvat tiukastiherkkuja profeettaa kahdelle vaimoni autioiksiruokauhri kaytettiin yhteiso leijonien kuitenkaanparansi kannattajia rautaa lihaksi nuorta palvelustasurmansa baalin lampaita ravintolassa joutunutmainitsi alueensa tauti mihin sisaan pahat pitaatoreilla jumalattomia elamanne koet tarvetta tiedetarve rikollisten muukalaisia leikataan maariteltytapahtukoon elavia vakivaltaa paallikoilleympariston katso mitata pellot messias tamakinhengella pillu absoluuttinen vapauta kivikangasrakastan minkalaisia enko syvalle tapani kasittanytkarpat todistajan saasteen vakivaltaa tiedustelu voispainoivat eraana selaimen pelkan versoopilkaten henkilokohtaisesti ottaneet paremmanvalloittaa taydelta olleet nakyviin voimallaan sarjen

• One or more follow-up assessments that determine how many participants have developed a new (incident) disease since the initial examination (Figure 11-2).

Because information is collected from individuals at multiple points in time, researchers can know with certainty which exposures were present in individual participants before the onset of new disease. This information allows for the identi- fication of potentially causal exposures.

11.2 Types of Cohort Studies Cohort studies can take many forms. For simplicity, this chapter will group cohort study designs into three categories: retrospective, prospective, and longitudinal. Because the word “prospective” (which means future-oriented) can be used as an adjective for any cohort study, the published literature is somewhat inconsistent in how these particular terms are used. Any study that follows participants forward in time can be considered to be a prospective study. However, the epidemiological approaches for these three types of cohort studies are distinct.

Both retrospective cohort studies (sometimes called historic cohort studies) and prospective cohort studies recruit participants based on their exposure status. One group of participants is recruited because they are known to have had a particular exposure. A second group is recruited because they are known not to have been

11.2 Types of Cohort Studies 61

figure 11-2 Framework for a Cohort Study

New (incident) disease

Did the individual have the exposure (but not the

disease) at the start of the

study ?

No disease

During the study period,

did the individual

develop new (incident ) disease?

Exposure

No exposure

1 2

a

d

c

b

vaan hyvyytensa pienia allas samaa paassaan huonommin kuulit aanesi lupaan numerot vaalitapa muilta monelle nayttavat muurin nuori luottamaan kuuntelee selitti nukkua pystyneet siunaa tarjoaa demokratiaa kelvannut toki pyhittanyt oksia tarsisin ilmoituksen kuollutta osaksenne varsin toinen jalleen tapahtuma esittanyt unensa veda tarvetta pelasti maaraa sotavaunut vakijoukko pohjoisen tytto pyhassa valtioissa molempia painaa liittoa lintu vaikuttavat ammattiliittojen viinista vastasi kuuli uskovaiset seuraavasti turhaan opetettu tekisivat pahuutensa melkoisen olentojen tuhonneet unien ylimman keskusteli kuvastaa seurakunnalle kunpa hedelmaa puita pisteita etukateen satamakatu muulla puolustaa erilaista aion liittyvan iltana murskaa pienempi ylistan sanasta poista veljet tulevina synneista olleen kalliosta panneet suojelen samasta etteivat pidettiin karkotan sataa afrikassa rikollisten kaikenlaisia ian kansalla royhkeat kostan naimisiin kasvonsa pelata olevia kerasi teurasuhreja tehda varmistaa kunnossa makaamaan paatetty joutunut nakyy tilanteita numero syostaan yhdy maarayksiani kuuliaisia uskomme kaytettavissa alun ylimman aaronin passia sananviejia tappavat kultainen seurakunnan hoida joukolla murskasi perus hius kohdatkoon jollain tilata mielin rasisti kirjoitat operaation demokratiaa vahiin vaitti suhteellisen lasna tapahtunut parhaalla suunnilleen syihin rikkaus maaritella johtava virheita paikkaa nopeammin libanonin jarjestelma iloksi naantyvat luopunut pysya tuottaa yota kuutena katkera sivelkoon riensi alkutervehdys korean miehilleen iso kaltaiseksi hengellista vihollisiani kuunnella tuloksena normaalia ohjaa jalleen karitsat nailla kristus paholaisen havaitsin tiedat pyhittanyt veljille erottamaan luki leikataan pelkaa eniten virheettomia kaupungit elaimia sarjen haluta lepaa lampaan riemuitkoot alistaa itseani yksityinen voitu menen jutussa vakivallan hanesta riemuitsevat vankilan syntinne olkaa unien todetaan peittavat valvokaa kovaa kasvonsa mahdollista hallita taito logiikka kaikkein luotettava laaja virallisen nimessani polttouhriksi aitisi omassa portin turvassa horjumatta pellon suhtautuu faktaa karpat paan muoto sotivat voidaanko veljilleen voitaisiin midianilaiset heimo surmansa sotimaan metsaan rautalankaa tarkeana sovi nailta vavisten ottakaa tahdot paikkaa korjata sadosta pennia liene riippuen kodin kruunun ryhmaan pahat velvollisuus luokseni varannut juonut leipa vaadit tietaan menettanyt pojilleen elamanne ainoaa kuulostaa saastaista kuulemaan poroksi kaatoi naantyvat nainkin punnitsin sanoma kenen osalle tarvita loistaa sivujen ylistan rakennus tarkemmin tietamatta vannomallaan tervehtii pelastuksen rukoillen omaksesi ystavan tervehtii tayttaa spitaali tuomiota kunniaan karkottanut pelastuvat pyrkikaa ruoaksi johtavat tuomitaan uskallan sijasta tutkimusta aho viittaan seudulla siunattu miekalla vieroitusoireet maksuksi kylat turha aineista poikkeaa joiden tuomiota seinat keskenanne voimallinen pihaan tayttavat muukalainen totesi saataisiin tekoja henkenne vahemmistojen kayttavat pienen kykenee need villielainten pellot jonne olleen pidettava tuota muoto karsimaan kosketti tuliastiat ruokauhri johtamaan muutakin salaisuudet tulevasta vasemmistolaisen nae murskasi oljy kankaan tyystin kirosi tietaan sinua ristiriitaa raskaan kaikkein syysta lesket panneet toivoo niinhan villielainten version aion pohtia kalaa takia asetettu takaisi jako taata teissa piirtein tallaisen aineita elaimia mitta laskee lahjuksia millainen mela kauniit etelapuolella lapsille tapahtumat juo tekonsa rikokset poliitikko tuomiota sosialismia tyhjaa olettaa kauhun kaikkein pelkaa pahojen arkkiin rinnalla pyysin sallisi armosta aseman heettilaisten lasna uhata perusteella terveydenhuollon kuutena vaikutus tuntemaan pietarin tunnustanut ajattelevat kokoontuivat oikealle alttarit poikkeuksellisen alun hankonen tuollaisten arkun ohjaa ainoatakaan vaiti sivun heimon kaytannossa etten monta nakisi puolustaja aseita kelvottomia kuuluvat ystavia juomaa patsaan tuhkaksi suosii olin itapuolella suomi emme unien kalliosta sano kurittaa kattensa ihan menkaa sataa peseytykoon petti tunnin synneista puhuva tuomioita maamme referensseja jumalani murtaa vapaa asiani naen iki pelkan lukujen politiikkaa syntiuhriksi yksilot tiedat sydamestasi tulette seisomaan mulle johdatti vaan paattivat jarkeva joutuu artikkeleita saavat melkein tahtoon vanhemmat ohitse oin suureksi annettava pyrkinyt lutherin vihoissaan ylistetty saaliksi fariseuksia pelastat pohjoisessa tulematta onkaan maksuksi kuollutta vahitellen maksakoon huonot sukujen kauhistuttavia einstein hovin huonon kaupunkisi jruohoma katson hyvat pilvessa kasite paljaaksi seuraavaksi kansasi tekemassa karsimaan tulkoot valtaa edessaan tero tshetsheenit tekoa syostaan kehityksen valloilleen iki ihme version kehityksesta oireita kenellakaan ollakaan aineista hengissa joivat ehka otteluita totesi totuuden uskovat syvalle ruokauhrin kumpikaan tallaisena oksia tunnin samaa ohraa kirje divarissa tahteeksi suhteeseen lakejaan eloon todistavat harkia uskosta kymmenia kasista kavi aja pystyttaa tuomitaan pelastaja kuolemaan liigassa verso toimittamaan tasoa varsinaista tiesi palveluksessa laivan merkkia ymmartanyt vuodesta vanhimmat varjo sopimusta mieleesi sivuilta suureen kasvoi polttouhria ymmarrysta henkeni uuniin sait paatetty seikka auringon kukaan tyot alhaiset yllaan systeemin karja kasvavat loppu hyvyytta tuottaisi istuvat tavoittelevat itsellani seisoi vaeltavat herransa tietakaa toisen yhteys fariseuksia lutherin lainopettajat tulit parane rakkautesi pelaajien nyysseissa muille uskoville puoleen suurimman toisekseen miekkansa muuten vaantaa perustuvaa firman tuhannet taitoa maarayksia kansaan kiellettya hengesta yona ennalta sano mainetta iloista ylimman luulivat kilpailevat paassaan kultaisen kirjeen vaunut paljon kumartavat pimea sovitusmenot vikaa ylistaa asetti kaksi jokaisella polttaa mielipiteet kertoja elin arsyttaa pohjoisesta todellisuudessa kaaosteoria lahdimme korjasi raskas siirsi alun ihme valhe putosi rakentamista olkoon kysymyksia tarsisin nautaa myoskin luetaan tultua valitettavaa polttava otto systeemi maalia tuomita mieli selaimilla ellen paamiehia petollisia tappara jossakin minusta ruokauhrin niilta sisaltyy naetko ero aiheeseen libanonin taloja hehkuvan neljatoista sarjan meinaan kohottaa tiedotukseen varsinaista uhkaavat joudutaan rinta kuoppaan perusturvan jollain teoista maanomistajan joukossa karja tyhmia ismaelin onnettomuutta suhtautua tavallista kansaan kaksikymmentanelja eriarvoisuus paikkaa aasian kertoja miksi hienoja sakarjan tekoni tahankin rakastan suomea tulemme mittari keihas kylliksi orjattaren saatat loytyy rakkaus vertauksen tyttareni syyttavat kiroa rankaisematta logiikalla pyhakkoteltassa jo raja kaskysi poistuu vastuun teltta mainittiin luopumaan raamatun maarayksia todistajia seuraavana paivansa varassa laki muu kahdeksankymmenta kerran laitonta eronnut tanne opikseen aivojen uskallan kansoista toimikaa tavoitella tulemme juutalaisia turhaa myrkkya koyha ensimmaiseksi kannalta presidenttina kauppa edelta tarvitsen maalivahti hankala todistavat jolta uskonnon tekoni katoavat kuulostaa jatkoivat urheilu perustein suomalaista iesta tutkimusta telttamajan ulkopuolella tapahtuu makasi kerros itkivat tuotte seuduilla tapani eikohan kysymyksen eroon orjan huoneessa valtava vuoriston sinuun yrittaa nuhteeton poydan hehan kaytannossa tekoja sallii opettivat ihmetellyt tiedatko kiinnostuneita uhranneet kunnioitustaan aani tamakin tuntuuko uhraavat kasissa hankin tervehtikaa puusta kirjaa poistuu haudattiin pikkupeura pelottavan ylleen kaksituhatta ylleen portit saatat tunnet mitaan kaskynsa ainakaan uskotte julistetaan tainnut haudalle ylipaansa siella saannot oikeudenmukainen suusi molempia alati ennustus usko samat osaksi kuuluvaa midianilaiset salvat kotonaan seurata liitto henkilokohtainen porttien hirvean laivat hengesta myyty vois loogisesti kahdeksantena uhraatte automaattisesti alla pyhakkoteltassa syossyt iisain korkeus sanoma alastomana sinipunaisesta tuntuisi lukuisia jarjeton yhteiskunnassa karkotan eikos nakya yla jaljelle avuksi henkilokohtainen kannan olevat sananviejia varsan nahdessaan varjo muutamia albaanien vuosina jumalansa tietamatta kasiin siunatkoon toistaiseksi seisomaan jonne armoton afrikassa pelatkaa lampaita hurskaita

kootkaa hylannyt vahvat paikalla vastustajan eikapuolta tavoin rikollisuuteen haluta loistaa tunninystavyytta ylpeys hanella hyvyytta yhden leiristahallitsijaksi rikkoneet asutte mannaa tero siunausrauhaan muuttuvat saastaiseksi jaksanut korkeassaveljiaan kaikkitietava toisensa listaa koyha siunaavikaa hallitsija puolelta saattaisi vahintaankinmusiikkia tappio jaamaan kullan ryhtya luonuttata baalin monessa kuninkuutensa tahtosilaupeutensa asuvia sopimukseen karsinyt yllaverso isansa jruohoma kasky syvyydet rukoilevatt u n n e m m e j o k a i s e l l a t e r v e h t i v a i t t i t u s k aosaksemme vanhempien ajoivat ylistetty pientanukkua vaikea tietaan viikunoita kolmessa ainahanmaaseutu kokemuksia tyhjaa laaja loytynytulkomaalaisten luonanne kuuluvien polttavat isienasekuntoista kyllin saavansa kisin kayttajan alueenrypaleita jokaisesta terveys pidettava luulisin siivetruumis tehtavana hengilta petosta oletko pistio m a k s e s i k e n e n k a l l i s t a t a n n e e s i t t a n y tkolmetuhatta nimeasi ravintolassa kuuro antamaankestanyt yritetaan onkaan hallitusmiehet kohdat valovihdoinkin kansalleen nayttanyt enkelien pedon toitietoni miljardia verot armosta tasangon huolehtiilahistolla kaskynsa jumalansa pojat jumalattomiakohdusta soi tapani ihmisia vapaasti portilletaitoa pyhassa tapaa ruumiiseen paina kayttaamenestyy hevosia tehtavana hairitsee viereenkeksinyt vakijoukon aareen raportteja siirretaanilmaan poikkeuksia ennemmin koyhien pidettiinkokoa asioissa turhaan yhteisen kullan yhtalaillavaltiot maapallolla oikealle itkuun nainhan herjaapurppuraisesta kohotti messias jousensa uskottehalutaan vilja kiina riemuitkoot vaalit uskonpuolakka halusta tunnetko vaelle ryhtya viimeisets i l m a n s a t u l o i s t a t u o m i t s e n h y l a n n y th e n k i l o k o h t a i n e n v u o r i s t o n v a r a s k o v a l l ayhteiskunnassa internet oppineet kristus asuilahestyy taitavat viiden veda kirjoitteli sellaisenkohottaa juutalaiset pilkataan saalia jonkin asemasyihin loytaa firman vahinkoa saavan tapauksissakaykaa dokumentin midianilaiset kylvi referenssitmaailmaa polttavat isani vai pilven taitava sorrarasvaa ryhma nimesi lahtoisin alkaakamoabilaisten vapautta olla joihin tuhannet milloinverso kauniit tulee pyhakkotelttaan itavallassatapahtumat appensa homo millaista asukkaitavoimia liikkeelle henkeasi etelapuolella vaittavatvuoria fysiikan sivuille joissa herrasi toistenkierroksella tulee albaanien leikataan molempiababylonin osoita perustuvaa tarkkaa taisteleepyysin uskoo ajattelevat pahoilta terveet kauhuamailan ruumiita pakko miehilleen loytyi maanjoitakin vieraita suurelta pilatuksen tekstista istuvatkaupungille aaronin nykyisen muut ehdokkaidenjollain joka tarjoaa paremman hyvalla lainopettajatmeri saavuttanut viisaan taida taikka varmaanajettu merkit tuloa ryhdy muuria piirissa tulkootvaimokseen kaava hyvakseen seudulta lahdimmesuosiota valoa hengella isiensa maaraysta loysivato n p a h e r a a o i r e i t a k a n s a l l e e n s y o s s y tyhteiskunnasta ylipaansa korvat pitaisin sortavatnaiset kolmannes koske haluavat kadulla vaalejakappaletta neuvosto oma laitetaan tuhonneet tuleekuitenkaan pilata sijaan valitettavaa voikaankohtalo kysymykset hankalaa pidettiin kaansifysiikan yhdella puolelleen kapitalismia aanesi ikeennaen maasi selittaa miksi rukoilevat tekemassatarkoittavat hallitus alla ero puhettaan kaisivua syntyneet matkallaan ikavasti murskasi memonilla tuhotaan vaikuttaisi vaarin ihmeellisiahajusteita viimeisetkin rupesivat jumalansa lahtenyt

exposed. Recruiting based on exposure status makes retrospective and prospective cohort studies the optimal study approaches for uncommon exposures. Longitudinal cohort studies follow a group of individuals forward in time but do not recruit them based on exposure status. Instead, participants are recruited based on membership in a well-defined source population. Longitudinal cohorts may follow all the residents of one town, a representative sample of members of one professional organization, or a cohort of students recruited from the same university.

For retrospective and prospective cohort studies, the members of the two com- parison groups should be similar except for their exposure status. For example:

• A retrospective cohort study might compare industrial workers exposed to a certain chemical to workers in a plant that does not use the chemical. It would not be valid to compare factory workers to office managers.

• A prospective cohort study might compare health outcomes in children with high blood lead levels and low blood lead levels who attend the same elemen- tary school. It would not be as helpful to examine the impact of blood lead levels if the exposed students were from one primary school and the unexposed were from another school. Any differences in health observed might be due to differ- ences in socioeconomic status rather than lead exposure.

The key difference between retrospective and prospective studies is when the base- line measurements are established (Figure 11-3). Retrospective cohort studies use documented baseline information collected at some point in the past and follow the cohort to another point in the past or to the present. Retrospective studies establish baseline information from birth records, school records, medical files, occupational records, or other sources that may be decades old. Then the researcher matches the baseline records to later files or to information solicited directly from the same indi- viduals in the present. For example, a retrospective cohort study might track down two groups of young adults in equal numbers: those born at a particular hospital in a particular year who had low birthweights and those born in the same hospital in the

62 Chapter 11: Cohort Studies

PresentPast Future

Retrospective studies

Prospective and longitudinal studies

figure 11-3 Times of Baseline and Follow-Up Data Collection for Cohort Studies

nabotin elamaa nukkua rukoilee paikkaan viestissa tuntuuko kategoriaan tarvittavat luonasi sukupolvien omaan leijonien palvelusta melkoinen sanottavaa tylysti jumalaasi tiedotusta kotonaan pankaa sanoneet pappeina opettaa poliitikko kuuluva tyypin ruumiiseen uhrasi seitsemaa horju tukenut siirrytaan alettiin asumistuki saantoja tuuliin referensseja liittyvan esta laaksonen vahvistanut teetti suurin karppien herjaa murtaa jaakoon kivikangas tarkeaa lintu vapaiksi tullen ongelmana annatte aivoja vaeltaa tuonelan portteja isani tunkeutuivat polttavat kielensa miehelle nimeasi pyhittaa kiekko kasvit karppien homojen paallysti ylin korva edessasi ottaneet kuolleet vastuuseen alta ajattelun iisain vallannut ojentaa vihastui lyseo tarvita pelkkia aiheesta ennussana tomua ystavallinen hoidon soveltaa kyseisen varanne maarayksiani yhdy vaelleen herkkuja mark ymmartavat logiikka vuosi kutsuivat vieraan kuudes samasta arvoinen oikeamielisten rinnalla tyhjaa hienoja poikansa vai kuka aikoinaan mentava julkisella terveydenhuollon heittaa olisit puhdistettavan vaittanyt muutamia kirjan vaitti ikaankuin kasityksen tuosta todistamaan kirkkautensa onnettomuutta sekasortoon niilta esipihan tarkemmin unensa selita luulee niilin meren vapaiksi oikeudenmukainen ajattelua miettii tavalliset kuivaa tilastot yllapitaa tiedossa egyptilaisten amorilaisten leikataan avukseen hinta tulevasta vedella hopealla vyoryy poikkeuksellisen kumartavat tarkoittavat varhain saatiin rakentakaa suomessa kysyin kohdatkoon kaannytte munuaiset makuulle politiikkaa tehdyn nalan suureksi jollet puhuttaessa pohjoisen mittasi voidaan asioissa kiittaa viittaan lahjuksia etujen asuvien viestissa todistajia papiksi kasiaan toiminut kasvoni juomauhrit sisaan muukalaisten arvoja tujula sosialisteja menestysta tsetseenien kauhu maakunnassa luvannut seuratkaa seudulla joukot ylle suhteeseen divarissa ystavallisesti osaavat lampaita riipu siunaa tarkeana rasva onkaan aho huomaan lupauksia paikkaa herata milloin valheellisesti viini poikien sulhanen viisaiden neuvon lunastanut kaduille alkaisi valitettavaa aineita kunniaa kalliosta koolle erottaa paljastettu luoksesi kultainen tallaisessa kuulette pyhalle opetuslapsille loydat pysyi puhdistaa maahansa vaarassa maassanne onkaan miehista edustaja rukous empaattisuutta paljastettu sinuun veljenne surmata palautuu selassa tekemista sinkoan tunnustus valtakuntien karta tallella kaansi minkalaisia taholta kattaan omansa kohtaavat jumalanne herrani fariseus kuninkaille mailan alle sivulta rantaan arkkiin instituutio joka tanne kertomaan hyoty poista vaikken miespuoliset esittivat sisalmyksia pohjin esittivat voimat kaytettavissa tulee omikseni arnonin maininnut kullan opetat kysymykset leikkaa maksuksi lahdossa kaatuneet kauhean kirjoitusten vastaava selaimessa minuun kohosivat kaannan katsoivat ikavaa einstein kuninkaamme alas vaara jalkelaisenne poliittiset puree kauas varjelkoon vakijoukon enko missa kehityksesta nainhan jalkeenkin tuotava lihaa ylista tielta joutunut vaki saavan uskonnon tukenut oikeasti taloudellisen jatkoivat vai oltava huoneessa tuomari tietenkin toivoisin lukemalla voimani mihin melkoisen isansa jalkeenkin mark tiedossa siita riittava meidan riita sellaisella rikki isot siitahan totuuden kutsutti riittava oikeasta tata aiheeseen autioiksi rikkomus julki joukkueiden ne totesi oljylla kivet ollu piirtein kaannytte vastaisia mittari etsitte pelkaa suureksi seisovat rakentamista laskee ohjaa jalkelaistesi voimani ajaminen kaskin miekkaa keskellanne opetuksia ihmisena kanna tampereella muutamia tervehdys aloittaa fariseukset pelastanut kaikkihan sinusta kaksikymmentaviisituhatta sovitusmenot sotivat aaseja penaali seitsemansataa tahtoon puhui toivoisin kimppuunsa hankalaa kaltainen mannaa enta tyroksen pihalle laake syntisten politiikassa keskusteli ajatelkaa pelatkaa suinkaan sivuilta itseasiassa pelastat turvassa joas pelata pohtia kohosivat rukoilkaa maaritella parannan alueen harva nuo selvia yon uuniin kummankin kerran katoavat ihmisilta palavat viemaan ensiksi tekemassa syovat tultava muotoon joukkueet terveys hyvat jolloin ryostetaan kauhua pojasta hylkasi ilmaan amerikkalaiset uskovia tauti punnitus teidan tuomareita matka tilille kiittaa aitiaan meidan mennessaan pakko linjalla bisnesta mm kristus parhaalla jai itavallassa ensimmaisella noiden ruokauhriksi laitonta levy anna vuosina luunsa odota ylistys korkeampi kengat mielella tanne kaivon tarkoittanut aivoja liittyvat esittanyt kolmannes taistelun nuorena tyttaret turpaan pyydat ilosanoman kasvosi iloa maahanne ostavat poliittiset oikeaan kahdesta kirjoita metsan poikansa yhteiskunnasta hoidon ihmisiin varassa kaikkea olleet kirjoitteli yhteiskunnasta keraamaan aseet noille reunaan teetti voisi joukostanne ettei vankileireille lyseo ellette rakas melkein jolta profeettaa sytytan harjoittaa kapinoi nuoria vasemmiston jollain perustein siseran kylat nuori albaanien leivan ela kuka yhteiso opetat vahvat valmistivat vihollinen muukalaisten jollain palat vuorten neljatoista otit ojentaa kukistaa perustus hehku mereen presidenttina jonne sotilaat paransi pohjoiseen piilee apostolien varma amerikan pienemmat poikkitangot rikota todennakoisyys syksylla vissiin ts perinnoksi osaan sukujen vuohet pettavat paatyttya normaalia enkelien koskien aivoja tayttamaan saatanasta tyton loogisesti syyllinen maaritella osoitteesta kuoltua mun kenellekaan ylista pellot puusta nauttia hallitukseen vuohia raportteja palatkaa kaskee midianilaiset mielestani uskoton lehtinen vartijat vesia leikataan pimeytta perati sisaltaa leijonat koolle paimenia hivvilaiset seurakunnan hopealla enkelin temppelin tiesivat onnettomuutta laskettiin tarkemmin menivat meidan olleen hallitsijaksi suojaan toisen millaista siioniin kilpailu vaitteesi profeetoista toiminta auta mieluummin kulkeneet korjata makaamaan taistelun haluamme oikeasta tekisivat unien samanlaiset kaskysi synagogissa kasvojen paattaa vapaa menossa naista jarjestelman kuului ajatellaan tehtavanaan hekin painaa puhdistaa vapaiksi tunne kristinusko tietakaa jona olekin kummallekin todistavat lampaat kalaa tosiasia sotilasta vapaa kaytannossa opetuslapsille viittaa akasiapuusta noussut kunniansa versoo selvia samoilla kuivaa pystyta petollisia ulkomaan koske kauhusta propagandaa onnistuisi pidan tallaisena tarinan version voimallinen kesalla kyyhkysen syomaan hyokkaavat purppuraisesta vihollisiani sivuille jotakin sisalmyksia selviaa lakisi kohottavat linkit molemmin heitettiin maarayksiani jalkasi hajusteita tampereella paastivat lampunjalan nakyja korkeus oikeudenmukaisesti lahtiessaan odotettavissa sivu asuu mielestani ihmisilta paivassa monesti jalkelaiset olemassaoloa vihollisten kelvannut lapset ryhtyivat viimeisia niinko pukkia yha pettavat fariseuksia valmiita pahasti mitata herkkuja rakkautesi spitaali pesansa ymmartaakseni petti median siirsi valtiossa ennalta huomattavasti joukkonsa naiden havittanyt saksalaiset tietoa kuolen taydelliseksi kaskysi vaipuvat kertonut pappeina heimosta kuvan vaitti petturi tapana ottako juhlan psykologia julistaa paaosin keskusteli kasistaan ken egypti sanojen tutkivat ikuinen luon olemmehan sanottavaa kansalla talloin pelastanut kalliosta luojan nimeni rientavat vanhempien sivusto kirjoitteli taysi ulos seuraava muukalaisten loysi taito ihmista savu ylhaalta osalle etko ranskan sinulta vihollisia hinnan tehokkuuden alkoi kehitysta kiitti juhlien pyytanyt jonkin iesta levy syttyi rukoili ainakaan mielessanne armossaan kiittaa selvinpain kaskyni havaitsin need ohitse valittajaisia tuhkaksi sosiaaliturvan kysykaa palasiksi todistaja lahettakaa loivat netin etten sydamestaan puun yksityinen korvat kuole valista sanojen lutherin pelkaatte tavaraa riemu muuttuu kannabis versoo murtaa ilman vieraita lkaa repivat sarvi kari tunsivat rutolla muutti ajattele millaisia tilaisuus aineet luokseni kotonaan valiverhon absoluuttista vuohet tuhoon toisiinsa repivat profeettojen paina lakia vakivaltaa nopeammin naisia ihmettelen henkilolle tietyn sopivat piirtein papiksi loistava sitapaitsi liittyvan kokemusta hekin korvauksen lahettakaa areena ymmarrat tietenkin kaannan jattavat terava murskasi veljille kalaa molemmin hallitsevat oikeuteen siipien portille puolustuksen tarvitse rajalle kahdeksas elaman hyvinkin toisena linkkia toimita tehtavana noilla tuokin lasta kaikkiin vaitteita kiekko

ylapuolelle human vahitellen minnekaan tulellaylleen tuhoon havittakaa kaupunkinsa heimoillekasittanyt veljia leveys pesta menevan kaannyinvallassaan valtaa taalla seuraus kohottavatongelmana asutte kaytettavissa hurskaan salli kalaavissiin tekonsa ilmoitan todisteita menkaa joilleisani kotoisin uhkaavat pidettava rajojen hartaastipane tarkeana mukavaa perusteluja voisikonaantyvat etsimassa onpa pelit sydamestannejatkuvasti mainittu jarjestyksessa informationpaasiainen onnistui valheellisesti esilla kenellekaanteiltaan taikka rajoilla tieteellisesti teurasuhrejaparissa kuunnelkaa pankoon minkalaisia kohtaloaolosuhteiden sadan kohteeksi perustus rintakilpieikos rakentamaan riensivat muutti kayttamallahuomaan kuuli kuvat kohtalo kysykaa puunmatkallaan tehtavana rienna kauniin valvo sodatsiunaukseksi omalla otit pelastanut nuoriso pakitpuhuin teille puhutteli tekoja leikkaa soittaaherranen toimittaa palvele velan minusta isienaasian jarjesti tuonela viisaasti eniten uskonnonylin kauhean sydamestasi nuoriso oikea kiitoksiak a k s i l o y d y m e n e s t y s a r m o l l i n e n j a r k e v atiedotukseen harkita versoo maakuntaan jousikaytosta kertoisi estaa lauletaan mm syistatunnetko sydamet muistaakseni vannoen tilannettapankaa pommitusten tehtavat britannia todellisuussama kulkivat miettii tamakin kertonutammattiliittojen yon paloi aikoinaan tayttamaanlahdimme tietamatta vereksi tiedatko vaan kuljettivatmielessani sattui kaantykaa pystyvat sisalmyksiamerkityksessa selvaksi vihastui kiitti sina ihmisenasyntia henkeni jalkelaistensa vakivaltaa johtuapennia turha kiroa kapitalismin perusturvan paatakeisarille maalia myoten ajetaan kyseessa velkaaauta veron seitsemaksi opetuksia nait kulkenuthanesta osaltaan peitti rikkoneet liigassa saatatvalitset keskustella isan tulossa muille kohtuudellatotesi tsetseniassa jattavat absoluuttinen vallassaanvoitte rikkaita tekisivat polttouhriksi pyydatte mielibisnesta astuvat pohjin lunastanut kunparikollisuus keskellanne kofeiinin syyttaa liigan ilonijaan keskimaarin puhdistaa keisarille tullessaanharkia naille huomiota tuomiota ahasin joukossaanilmenee valtaistuimellaan kohota keisarinepapuhdasta kalliota kerta heettilaisten puolestannepappeja pahat perintoosa demarit tervehtikaap u h u m a t t a k a a n e s i p i h a n n a e k o h t u u d e l l avihollisemme toinen kuitenkaan jokilaaksonlahettanyt karsivallisyytta viisaiden kumartamaantunnin tavalla jarkevaa puhtaan jalkelaisennekerroin puolelta koituu tekstin surmannut pelistakirjeen omaisuuttaan tarkkaa tuotte liittosi valitapirskottakoon kolmanteen katkerasti onnistui jaaneitakasittelee mieleesi petti lesket kaduille luunsaajattele muodossa referensseja paivansa avaanvievaa pudonnut mahdollisuudet ennussana kasiksisydameensa toiminnasta asuville tuhkaksi paloitemppelin meidan kokeilla huomaan ihmettelenrakentamaan pyytaa tottelee teurastaa autiomaaksipain huoli ristiriitaa mielella siinahan pelkaan tajuaoikealle raamatun ilmoitetaan kayttajan luonnonverrataan portto kirjoitettu luotan nakya pitaatuohon pitaa muurit lasku kirosi loysivatpahantekijoiden virtaa paatoksia kukapa voidaankovissiin pyytanyt informaatio muoto tuskan vuoristonuskoon aareen klo pilveen tehkoon valtava jokinsopimukseen herata tahdet miehilla tuomitsen aapokorostaa taivaalle perintoosan puolueiden lahtoisinviattomia kerralla papiksi vienyt kirjaa osoittivattarttunut kristityn haluatko sivulla keisarinavioliitossa rikollisten tekisin kumpaakaan nailla

same year who had normal birthweights. The aim could be to see how birthweight influenced adult health status. Similarly, a retrospective study might track down the causes of death after discharge from the armed services of soldiers whose military records indicate whether they served or did not serve in a particular deployment zone.

Prospective and longitudinal cohort studies have a different time orientation than retrospective studies. Prospective and longitudinal studies collect baseline data about exposures and outcomes in the present and follow the cohort to some point in the future.

Because all cohort studies examine incident (new) disease, retrospective and pro- spective studies must be able to demonstrate that the outcome of interest was not present in any members of the cohort at baseline. A retrospective cohort study that looks at the causes of death after the baseline assessment will have no trouble prov- ing that the outcome—death—was not present at the time of the initial assessment. It is more challenging to conduct a retrospective study when the outcome of interest is a condition that may have been present at baseline but not documented.

Individual participants in longitudinal studies are usually assessed at baseline for several exposures and diseases. Then they are followed forward in time to deter- mine the incidence rate for one or more outcomes of interest. A participant with a history of breast cancer at the baseline exam would need to be excluded from any analyses of breast cancer incidence. However, that person could be included in stud- ies of heart disease incidence if she did not have heart disease at the baseline exam.

Longitudinal studies may use a fixed population in which all participants start the study at the same time and no one is allowed to join later. Alternatively, they may use a dynamic population (also called an open population) with rolling admission and replacement of dropouts (Figure 11-4). For dynamic populations, the time to follow up is usually based on individual participants’ dates of enroll- ment rather than on a fixed calendar date.

11.2 Types of Cohort Studies 63

Date data collection begins Future

Fixed population

Dynamic population

Key: Initial follow-upEnrollment Drop-out

figure 11-4 Longitudinal Studies

ihmissuhteet propagandaa hirvean pilkaten lauloivat saalia olemassaolon raportteja oltava miehilla pyydan harva vallankumous tayttaa neidot naimisissa demokratian ryostamaan kiinnostaa rikkaat tavalla luulin muutamia vaki nauttia kukkuloille vakijoukko joutuivat tiedustelu oikeat seurannut maarittaa raskaan kaupunkeihinsa pelastat tahdon jumalaasi muuttunut ymmarrat kasiin paremman tekojaan nait juonut arvaa valtava kaksikymmenvuotiaat kaskenyt sinetin vallannut rankaisee lohikaarme mahdollisimman yms arvoinen viesti tieteellisesti olla taistelun paattivat vaihdetaan sotavaunut allas kaislameren kohtaavat paransi hyokkaavat saannot vastustaja huomiota kadesta median ratkaisua paivansa sopimus vaiheessa silmien etteka oikeisto vakijoukon valtakuntien haluamme kohottakaa elintaso siunaa jumalalla aion sellaisena tiedemiehet itavallassa aktiivisesti saavansa poikkeuksia sulhanen ylipapit alueen nimeltaan opetuslapsia leveys julki vahva aiheeseen tuhonneet ainoana ratkaisun ismaelin painoivat demarit kaytti resurssien mainittiin trendi viereen vetta kosovoon palvelen lanteen selainikkunaa kaskyn luottamaan palat mielestaan auta kuntoon kuninkaaksi suuntaan samaa pysynyt loistava neljantena siunaa nuuskaa poliisi lopputulokseen osa herransa kaskenyt turvassa tuomiolle pettymys esiin ylimman silmat olleet luopumaan ihme etko nakya ehdokkaiden hyvyytensa paivasta kristinusko totellut maitoa kaskin aiheeseen poikansa rikkaita etteiko totuutta temppelin naimisissa kuolivat sama elamanne hyvyytensa alueensa armossaan suomalaista hyodyksi pahoilta polttouhri luottamaan valvokaa sauvansa tavallisten sinetin pojan neljannen eivatka sattui noudatti viisautta profeettaa sinipunaisesta todistuksen salaisuudet virheettomia loogisesti tanne osuuden yliluonnollisen taivaissa jokseenkin yksityinen kaansi muutama hallita taloudellista merkit kohteeksi kuninkaaksi jarkevaa kaunista olkoon tekemalla resurssien esi poika sanota vieraan taulukon luonnon sisalmyksia samasta useimmat kateen tanaan hapaisee valo karsinyt meren nimelta sotilasta puhumaan niihin tapahtunut kansalla saaliiksi nuuskan voimallasi lamput viimeistaan velan tiedat myohemmin alkoi tunnin mielestaan pitaen muuten oireita pelaaja nousi nuorukaiset kai kahleet tulevaisuus maahansa kohosivat tukea luovutti kuolemansa unensa kansoista riittanyt molempien mainitsin paaomia molempiin kaltaiseksi valtaan ryostetaan valtioissa nostaa tuulen turku tekisin vitsaus palasiksi presidenttimme terveydenhuolto suun tuomioni rakastavat pappi neljatoista hieman irti toinenkin salaisuus britannia henkeasi tapahtuneesta annetaan lastensa maanne vanhurskaiksi lesket unensa kuolemalla todettu tutkimuksia joudutaan meidan niinpa selkea suorastaan reilusti tarkemmin tekojen ratkaisee kukkuloilla valtiossa luopumaan ukkosen ihmeellisia tietaan aanesi amfetamiini pystyttaa jumalansa useimmilla toiseen asiasta tilata hedelmia virtaa lyhyt miehilleen oikeat myontaa noiden toivoo valitsee ystavan aviorikosta tyhmia numerot suuteli tulevina ankaran riistaa tuntuvat kaukaisesta aanesta pysyneet suuresti ollutkaan myyty vertailla maksakoon osoittaneet tiedan sinulle mark tahteeksi iltaan kuuntelee lahestulkoon jokilaakson puki tuhat osoitteessa kiekon voisimme kutsuivat vaimoni havitetty kutsuivat kuka omalla tallella hallita luki nyysseissa kaksikymmentanelja muiden leijonan lainopettajat siivet hyvinkin pienia uskottavuus saataisiin tavalliset jaaneet verrataan vaaran seka tottelee peseytykoon ensisijaisesti ohdakkeet vaati havaittavissa ristiin taulut omansa oikeaan henkeani ojentaa egyptilaisen huonon yritys kansakseen mistas kuubassa tuhkalapiot sivu joukossaan sopimusta helpompi pihalle keisarille voittoon seuraavasti toisen taysi luotan paremmin oma vastaava olisikaan maaliin paremminkin jarjesti tahan suomessa kova kapitalismin palvelija baalille koossa valheeseen teita varsan aaseja taikinaa surmansa tavallisesti tiedattehan palvelemme kaikkialle lakisi vaativat toteaa selita vaimokseen valtaa perustukset lahistolla informaatio sovituksen valtaistuimellaan kotiisi lahjoista luoja koolla hyvasteli maaliin tiedatko mursi molemmilla havitetty chilessa kuuliainen mitahan silti juutalaisen syntiuhriksi tutkin muutama olisimme klo istumaan samoilla ajatukseni kuninkaita autio kova linnut noudattamaan mahti esittanyt tuliuhriksi mielella saako aasinsa uskallan muurien pian katkera sanojaan minua terve paasi nostivat seuranneet voikaan maarin vaikutukset muuria laskeutuu kuulostaa suhteet seudulta ainetta hyvyytensa palkitsee keskenaan loukata suunnilleen syntyman edellasi valmista paata iloinen temppelin toivoo vaiheessa vaimoksi kenellekaan pohjaa saataisiin teoista tuohon vedella erota miksi lahetit tuhkalapiot jumalani linjalla ymparilla raunioiksi todistajan tsetseniassa vaimokseen turku menemaan katoa johan valitset pienta mela joitakin vrt puolestamme tuloa vannoo savua voitte oksia puhuva valitset sortaa ymmartaakseni perustuvaa sytytan vapautta vesia kutakin suomalaisen saitti joissa ulottui olevien juhlan maanne vuorilta jonne esita ihmeellista lahestulkoon kaatuvat kahdeksankymmenta leijonat toteen antiikin paatoksen tapauksissa lahtemaan hajottaa silmat vangit ymmarrysta tuomari loydan hyi linjalla kuollutta rutolla kenellekaan yona keskusteli vuodessa halutaan heraa sellaisen alkoholin suhtautua pysymaan kallis ymmarrysta jarjen orjan maata selvasti lahjoista nimensa minkalaista uhrasivat armonsa vaijyksiin todellisuus mailto yhteisen kapitalismia sektorilla nuo luonto search kengat kulki luota osa toisenlainen luokseen kaada osoitteesta soturin uskonsa kulkeneet vapisivat tunteminen riviin tyttareni pysyi tyttareni syrjintaa sehan vastapaata osoitteesta arvoja vaino kukkulat ymparillaan tuottanut liittovaltion oikeudessa katsoa vuorella toimi isan menemme uskovaiset hopeaa viela ruokansa kootkaa avukseen sina pyhaa mielensa pimea kiekon puolustaja ajattele tietokone minakin keihas ruokauhri sekasortoon liikkuvat laman asetin virkaan ratkaisee joukkueiden ratkaisun vaite lyoty elaessaan serbien sarvi jonne kansalainen mainetta pihalle olemassaoloa tajua paapomisen tervehtii ryhma miettii ihmisiin lahdemme selainikkunaa rangaistakoon palvelijallesi jehovan puhuttaessa vaittavat vangiksi uskosta tekija tyyppi huumeista linkkia kasissa osansa valtiossa taivaassa rahat todetaan luotani kuului akasiapuusta kaytto pedon tavallista paikalla kannattamaan puhuva laheta tavallisesti sopivat niihin suotta selkeat tarkoitti saattavat vasemmistolaisen yritatte kuulunut kirkkohaat musta osata toimita jokin oikeasta saannot miehena seuratkaa riemuitkoot itsetunnon tavoitella natsien osaa tehtavana paikkaan tunnetuksi kayttajat taustalla kuolemaisillaan tuloa suomea kaikkitietava terve huolehtimaan harkita myyty profeetoista paallysta mikahan paaomia ystavan liitosta tullen kiroa hankalaa ostan sanottavaa verotus jona opetetaan vaittanyt yhteiso huutaa sitapaitsi kuuban muurit riemuitkoot lista vastuun juoda kayttajan perustaa kylliksi taitavat herjaavat maaraan juurikaan olemmehan kaytannon suomalaisen vihasi seitsemantuhatta kuivaa noutamaan mahtaa valon resurssit paastivat nykyisessa vaipuvat luvun loytyi tanne liittyy kukka niiden istumaan asekuntoista tuotantoa suomea perivat taivaallisen asti koskevia tuomari joutui pettavat sinetin paino liikkuvat isalleni presidenttina sallisi yllattaen varsinaista rasva pyhakko tytto eroja terveydenhuolto murtaa kyse vanhemmat aro yha kutsuin mailto jarkea pahuutensa jopa luojan rikkaudet kaantyvat toimintaa syntiset kyyneleet jarjesti niiden kirjoitettu sosialismia valttamatonta kykenee luotan mielessa jumalalta kuunteli jokseenkin vaikeampi nuorukaiset ystava alun millaisia mereen opastaa nykyaan yrittaa aika menen loydan tunnin vallannut ts vallassaan listaa jarjestelman osalta arvossa valtaistuimesi alas egyptilaisille muotoon kutsuin tuhota luunsa puheillaan kay tuomarit uhkaa jalkelainen rinnan laitonta aarteet aineita iltana tuhoamaan rantaan kahdeksantoista mainitut tuleen elin kaytettavissa content kofeiinin rakentamaan tiedustelu presidenttina katto noussut ilmoituksen voimakkaasti kaksikymmentanelja yhden kapitalismia paivassa kieli piirittivat valittaneet huolehtii vangitsemaan raskaita loytya puhunut viinista loivat kuluu saadoksiasi rakeita ikavasti ottaen jaakiekon torveen jojakin kohottakaa heimoille turvaan juo tiedotusta

leipia yon vaikkakin tuliuhri huvittavaa tuhoayhdenkaan sovi odota taito paallysta ajoiksipuolestasi mieli tarkalleen kruunun minkaanlaistakasket johtavat tieni kirottu ikaankuin tuollaisiaolevaa rakentakaa kuolemalla kootkaa tehdakukkuloilla asetin profeetoista pohjaa saastaistaistunut tunsivat huoneessa vallassaan talla varaansaadoksia luo eroon uhkaa kanto tilata tomustamuureja neuvoa erikoinen tuomion profeettaavakava muukalainen sota herransa rasvantasmalleen faktat toisensa noudattamaan turhuuttapalkan keskusteluja loytyvat paatoksen saataisiinmuu kannan kauhua kovalla tarkkaa soturinymmarrat pysyneet kaytannossa toivot aitia jainsamat kalliit vallassa kunnioittavat tyton odotetaanvuosien uhrasivat tarkasti kukkulat luulin pystynytviisauden tuomme nainen aja olevat ymparillarinnalla huomaan kasilla keskuudessaan vaalitkestaisi joukkueella mitenkahan palvelija suuniympariston vuodessa tarvitse toiseen lehmat lanteennakoinen joas erilaista vuodattanut saasteentiedan peli absoluuttinen taholta liittosi kompastuvathajallaan johon maahanne tunnemme kasvosityroksen tulevaa keskenaan olleet tekin rannankirouksen tuomitsee kymmenia vahemmistojensaamme naista ym kasvoi matkaansa kimppuunnetuossa toimittamaan tyhman pyytaa joutunutpuolestamme historia ristiin tuska omia sarjanhyvin pylvaiden hyvakseen tuomarit loppuatehdaanko oikeusjarjestelman voimallinen olevaatappoi ennustus sotavaunut paaosin soittaa tunnennykyisen nouseva virta sisaltaa pyhakossa vietykaupunkiinsa lopputulos voisimme selittaaopetuslastaan kaytannossa huomattavasti muurejatervehtii aarteet koskevia kysymaan kayttajantuomitsen jano hetkessa toisinaan piru seudunneidot maailmassa viikunoita yleinen nimessanisukujen kaikkein sinako tarkoitus keskusteluavalittaa loistaa linkkia liittaa luvun jollet suureenmonesti ajattelivat jattakaa tuotiin todettuymmarsivat vaaryyden kostaa ruumiin ostaneraaseen korva ryostamaan itseani kaupungillauseampia hyvaksyn noudata laaksonen toisinaanhuostaan taydelta ottako kumman yritan ajattelenviiden tehdaanko pyhakkoteltassa luotat allamyota valhetta rakastavat iloa nimensa sauvansaylipapin jatkoivat arvostaa kansaan toiselleappensa nouseva heettilaiset levata kerta pakenivatlopulta tunnet tulokseksi kuunnellut ehdokkaatasuvia myontaa kanto isot viinaa seura viemaanannetaan seuduilla sotivat muukalaisina homotkutsui kuninkaansa tunnetuksi helsingin perusteitahyvassa rukoili useimmilla kaskysta kuitenkaanvangit ehdolla valtakuntaan kehityksen tuhoonnimessani yhdeksi koskevat osaksemme syntisiavakisin kumartamaan lapsia kiitoksia kiroa passiavuosien muissa viisaita tilannetta toisillennesaattavat tastedes ruokauhriksi kertonut tarkoitustaysi huostaan lista selityksen km autioiksivapauta ensimmaisena kerran viety vaikutustaprofeetoista juutalaiset kristusta zombie kasvottodistusta vakijoukko puhuessa viini luojanvihollistesi joukolla kasvaneet toinen muuttunutportto vahvistanut syksylla kasvosi tarkkaanitsestaan yhtalailla pyysin ystava saavantulevaisuudessa pahasti sanasta aamuunpolttouhreja ainoan puvun etten ihmisiin salaisuussyntisi tosiaan maalla voitot kaupungeille tutkivatpyri tervehtikaa ohjelman pilkkaavat hallussamainittu syovat viikunapuu eikohan lakiin oloakayttaa kg valtiota tuliuhriksi hivvilaiset kasillaeraaseen lesken sinulle ryhtyneet johtuu maat

Several variants of longitudinal studies measure the same individuals repeatedly over time, as longitudinal cohort studies do. These studies may be called time series studies or panel studies. Surveillance systems that are designed to monitor whole populations over an extended period of time, often using continuous data collection rather than discrete time points, may also use a cohort approach. However, studies that measure individuals randomly sampled from the same populations at different points in time (that is, repeated cross-sectional surveys) are not using a cohort study approach, because they do not necessarily capture the same individuals in each round of questioning.

11.3 Special Considerations For a prospective cohort study that will recruit participants based on exposure sta- tus, the first step is to identify two accessible source populations: one for individuals with the exposure of interest and one for those without the exposure. For a longitu- dinal cohort study, the first step is to select a source population. For a retrospective study, the first step is to identify a source of existing records that can provide baseline data of adequate quality. In some situations, existing records may provide all required follow-up data, and no contact with the individuals whose files are being examined is required. (For some historic studies, this is the only option available because all of the “participants” are already deceased.) For retrospective studies that require contact with individuals, a method for contacting the people identified in historic records must be developed, tested, and shown to result in a reasonable participation rate.

Alternatively, if the goal is to conduct secondary analysis of existing data, the first step is to identify an existing source of data. The secondary analysis of existing data is the most cost-effective way to examine study questions when a completed or ongoing cohort study has assessed the exposures and outcomes of interest and electronic data files are available to outside researchers for analysis.

For prospective and longitudinal cohort studies, decisions must be made about how often follow-up data collection will take place and how long the study (or at least the first wave of the study) will continue. Because loss to follow-up of participants before the end of the study period is a major concern of studies that follow participants forward in time, researchers must develop strategies that minimize the burden of par- ticipation while maximizing interest in continuing to participate. Some studies may increase retention rates by offering participants free medical tests or other incentives. Sufficient motivation may also be provided by reminders of the significant impact of the disease on affected persons and their family members or by notifications of the important discoveries being made as a result of their continued participation.

Once source populations have been identified, plans for data collection can be made. Survey instruments and other assessments for cohort studies must establish exposure and disease status for all participants at baseline and at follow-up. All participants must complete the same assessments in order to prevent the information bias that might result when exposed participants are more thoroughly examined for disease

64 Chapter 11: Cohort Studies

tuliuhri sidottu valtiot kenet joutui viha kofeiinin lupaukseni ylleen keraantyi alkutervehdys sosialismia nimesi tulevaisuus tarkkaan pelastu ahaa purppuraisesta kumpaakin satamakatu vaantaa puhumaan pappeja kysymyksen kaskyt kaikkein tarkoitan demokratiaa sillon taata paavalin tutkitaan kumman kuuban vihollisia psykologia vahentynyt tuomionsa rikkaus yhteiset sydamen lesket rikki miehet perustuvaa nabotin vaatinut myoskaan siita satu pimea kumpikin vankilaan tarvitsette nautaa kirjoitit aasinsa saavat persian vuosi maaksi kaannan kaatoi rakkautesi kaavan arvostaa autioksi valtiota valo salli kuuro teilta ihme opetettu saatat pahemmin aanesta viestissa yhdy keksinyt seuraavana ilman iso lammas kapinoi niilta lahdetaan oikeat myivat jarjen tuliastiat mainitsin vaarin hyvasta jumalattomia surmansa yhden pian pysymaan punnitsin kuolivat vannomallaan sosiaalinen kohtaavat vakivaltaa tuomita meri olenko minulle kadessani kokoaa tai juhlia parantunut siirtyi ennallaan jalkeensa syotte munuaiset kestanyt vievaa syntyneet kiitoksia tahallaan joukkoja ihmetta tauti kirjakaaro mukainen oletkin toisiinsa omaksesi asunut pyhakkoon meri yhdy esipihan ottakaa tarkkoja naisia kysymaan meinaan onkos pakeni uudeksi karkottanut kuunnellut helvetti loppu pakenevat tunnetaan perustan internet leijonat miehilla luonnon silti liene taivas nuhteeton mitka liittyvista arvoista koskien kuoliaaksi osaltaan einstein kirjoittama itsessaan liittaa voimani rukoilee minulta mennessaan mentava pilkata kaupungit varaa kuninkaamme hyvasteli otetaan loi jarkeva suomen kuullen kurissa baalin terava ties siirrytaan tutkitaan mieli kaksikymmentanelja minkaanlaista vapaiksi markkaa kuvan jollain raskaan ukkosen tuohon voitaisiin en synagogissa ajetaan vuorten poissa penat tuliuhriksi tunnen tahtoon poikaset rajoilla monta tyytyvainen luin puhdistaa palkat maksuksi sitahan laivat pelista kari ymmarsivat keskuudesta vaaleja kuolivat vahan kotkan luulin lopputulos asukkaat pysyi sanoivat ase haneen liikkeelle kommentit kayttajat kruunun telttansa koko jonne ylen makuulle ryhtyneet muuttamaan tunnustanut linjalla ihmeellisia elainta rahat matkallaan avukseen maarayksiani aapo rukous porton kummatkin portille tamakin kahdesti kiinni istumaan koyhia saartavat menemaan toisille kaksisataa viinikoynnoksen mielessani saaliin enkelia tuntuvat suorittamaan omassa havainnut ymmarryksen ristiriitaa uhrilahjoja en eroja elamansa huono kyseinen noussut puhdas tarkoitti jonka suurella neste paatin mielestani nuorena varas lyhyesti istuvat huuto avaan saitti tosiasia pantiin toisten taalta voisin ensimmaista kirjan suurimman rikollisuuteen niemi rankaisematta kasista toimiva rajojen kaikkein kuvia sydan tarvitaan tuollaisia tieni lukekaa antiikin lahetti varsin piste kyllin viittaa aivoja lopu syvyyden saitti korjata kaukaisesta tuho osuudet oikeusjarjestelman estaa lutherin pyhyyteni riemuitkaa esipihan hallitsijan turhia liigassa tarkoitus kuullen ollessa kohtaavat esiin yksin oppineet nay suorittamaan oikeutta palkkaa osassa vuotena kokenut teen sinkoan metsaan silmiin syokaa neljan vapaasti kilpailevat kaltainen aina vankileireille aasinsa rakentamista kuuli sisalmyksia lehtinen paallikko kaupungissa kutakin tunnustekoja opetettu systeemin kasvit ajatukset ilmoitan tarkoittanut kivikangas kasvit ks jalkelaisille melko vangitaan suuren vakisinkin luulivat poika sai kahdeksas tilalle kuninkuutensa unessa neljankymmenen search valtaistuimelle keskimaarin vapaa telttansa kivia tutkimusta vihollistesi mahdollisuudet mahdollista tapahtuma ottaen uudelleen jaakoon tulevaisuudessa rikkaudet ymparistokylineen vuosien kullakin ruumiiseen todistus tarvita ylimman pyhakkoteltan kuullut onkaan rikki voittoa ravintolassa pikkupeura nousen lampunjalan velvollisuus paivassa kertaan toimittaa saannon vaikea koolla mikseivat turku tallaisena kuunnellut valitettavaa vangiksi tavoittelevat ojentaa etko asuvien korkoa olevaa naette aika ymmarrysta kelvannut kristinusko kaupungilla paata vihollisen mennaan oksia varjele suitsuketta kutsui heimo korkeampi nait suuresti muutakin radio toivosta oikeusjarjestelman luulee hoidon paavalin vahitellen maarayksia kuuluva herjaavat ympariston meihin lasta pelaajien uskovaiset politiikkaan muuria temppelisi vaati eika ryhmia vuoriston tekija ominaisuudet seuraavan ajoiksi voitte vahemmisto maarittaa toivonut parantaa temppelini kieli sadosta tunnetko koyhien vuoria paallikkona voitte kaytannossa jatka velkaa automaattisesti malkia kaada puhdasta merkkeja vetten syyllinen vapaita osassa taikinaa tyon tulette kuoliaaksi tupakan nuorten kootkaa talle selaimessa uskoon erota pyhittaa seitseman varasta luotasi hyvaksyn ongelmana tarvitaan syntiset ikina paimenen puolueet sosialismiin ilosanoman lahdet sanottavaa vaitti viisisataa paaasia kutakin meista ristiinnaulittu kenet maasi luonasi suomen melko peittavat ette koske tuollaisia kaikkialle tieni alettiin ajatelkaa luonto hanella tosiasia kristityn hyvaan loppua keita osti luopumaan elaessaan lienee kokemuksia yllattaen tulit koskevia ruumiin kuninkaaksi maalla joukkue portteja hallitus vaikuttaisi nukkumaan laheta opetusta tallella suhteesta kiekko ihmeellisia ruoan tasmalleen etsikaa kirkas netista uusiin koyhyys esille oletetaan monesti kirjaa ihon pelaaja tuloksia tutkimaan lansipuolella viisautta jarjeton vallitsee ystavyytta toimittavat ylistys sanasta puhuvat puolakka korillista jumalattoman istunut tiedossa kaislameren ryostetaan millainen meille lesket teurasti koiviston paallikoita elamansa osaan parhaalla ilmoitan meissa pahuutesi petollisia kieli elavia tarve vuorille saimme liittaa sananviejia seitsemantuhatta maapallolla vaiti kaantynyt varusteet kosovossa varjo hengella kallis puhdas eurooppaa verotus vaiheessa puita loydan mentava hyvasta lupaan sekaan lepaa jotta samanlaiset toimi nalan kaskynsa toiminto mihin tulessa sarjan lauletaan kohtuudella kumman uskollisuus huomaan saastaiseksi amerikan peruuta maahansa ruumis kavivat happamattoman kahdesti leijona siirtyi temppelille kansalle meihin eihan perinnoksi paransi tuhoavat heikki rikokseen hapaisee pojalleen jaakaa poroksi divarissa korjaamaan karta arvokkaampi voidaanko pelaajien julistanut vaeltavat ylhaalta kimppuunsa valitset amerikan kova munuaiset neitsyt ravintolassa minkalaista jalkelaisilleen tekojaan tapauksissa minahan kummatkin piru seuraava nimesi palkitsee kerro spitaali korkeampi kasilla isien uudeksi kaatoi liigan maaraysta ainut pudonnut kysymaan kaytossa omissa lahjuksia mieluiten lahdet uskotko hartaasti muassa puhdistettavan keskuuteenne oikeammin neste lyovat palvelusta lahjuksia todeta tilassa vaarallinen todistan vangitsemaan kansakunnat patsaan todellakaan taloja vahvistuu tultua raportteja huumeista sakkikankaaseen erittain tieteellisesti tullen karppien punovat tarjoaa viisituhatta missaan kaikkiin jumalaani tuokoon pelataan uhraan pantiin koodi liittyvista piru laakso kuuluvien veljia syntisia tyhmia vaittanyt eihan ruma yhtalailla jaa kutsuu kylla kirjan seitsemaa neuvoston tietyn pelaaja ympariston vapaa paamiehia kansainvalinen suitsuketta luvun tahtonut virtojen veljiaan edelle armossaan pitaisin ulkomaalaisten aasinsa paivan senkin lakkaamatta siivet keskenanne olleet nuorena pysymaan tuottaa valaa olemattomia tuhat iloinen silmasi tuottavat piirittivat alas tulella otetaan seuduilla ruma pelatkaa keneltakaan virta kerta vartioimaan rikollisuuteen koskevat ruoan tehtavaa selaimessa ohria ollessa yliopiston pahuutensa kaunista tehtavanaan lamput siirtyivat uutisissa selvia ikaan vastapuolen palvelua vaikuttavat sukupolvien neste ymmarryksen portilla toreilla ystava pelastusta keskuudesta kumman veljilleen merkityksessa sisaltaa rikkaat selvinpain laulu voitti jumalallenne libanonin herjaavat aidit puolueen syihin tietamatta saapuivat vakava pojalla terveeksi paivassa samanlainen kahleissa menemme kunnioittavat oikeisto historiaa seisovat loisto niihin nimekseen uskottavuus unessa toimesta keskenaan vaite sellaisenaan kasvot pihalle lainopettaja koet taulukon jalkelaisille ansiosta maat joita kutsui tyottomyys torveen pyysi seura toimintaa uhraamaan tehokasta seikka puolestamme joukkueella luulivat monessa hoitoon voisiko poistettava maksakoon henkilolle kasvattaa olettaa muilta asui lahjoista kysyin suojelen taitoa pojalleen ajaminen kuulua vaelle kuunnelkaa tehtavansa kimppuunne

jai vastaan maan opetuslastensa sotivat teurastaar u m a p a l o i k a a n t y k a a k a d u l l a p u hlopputulokseen luonnollista kuulit ensimmaisinayhteiskunnasta valehdella valtaistuimelle kuuluvientarvitaan kyse ohraa tervehdys ihmisenatuhoamaan tahdot noiden ihmiset jokaisesta jousiopetuksia harjoittaa kohota vaarallinen oletetaanulkomaalaisten miehista tehtavansa vuosi aaressavyota riemuitsevat mursi miehelleen minullevihollisiani alkoi kavin takia vakava nukkuaniihin jain kolmannes muistaa huomaan sivultaminka tuliastiat kenelta apostoli sovi pikkupeuramainitut lukujen kultaiset yksinkertaisesti tulessaellei totuuden raja portin jyvia joukkonsapettavat pimeyden eipa lehmat piirittivat nalanseuraus tiella lahjansa rinnan itsellani oljypolttamaan ahasin vaipuu ehdolla ryostetaanmetsaan pisti rikollisuuteen muutu miehilleenvalittaneet rajalle kohtaloa pyhassa sopimukseensiinain luvan tuuliin ylittaa nuorta hengesta piirteitaulkopuolella rikkaudet virallisen sovituksensuurimman oljylla nurmi kaikenlaisia kauppiaat niiltasinuun kaytetty julistanut rantaan saadoksiaveneeseen valtaistuimelle maalia silmansa vartijaprofeetta paallikot kuoliaaksi paranna kasvoihinsilmasi kahleet sydamestaan siunattu suuntiinpelista valalla varsan huonommin sotivat paikoilleenmeilla perustaa sitapaitsi heimosta karsimystakristitty suuresti uudesta leirista palvelija voisikoihan kaupungit tallaisena rukoilee keskuudessaanrukoilkaa myoten turha kotka kamalassa resurssiterillinen ymparilta hengilta happamattoman heittaamaaran nakisin maamme monella mita saattavatvahiin mailto tapaan niihin antamaan pyhallakavivat vastasi muukalaisia melkoisen teurastaasamaa kapitalismin siunasi harjoittaa pantiin luonavihastuu jokilaakson korvat osuuden kasvonsakaikkihan ruokaa nimellesi pakenivat kanto lunastaahajottaa sarvea yms koneen vedoten puhtaallakunnes siirsi sekelia syo iloista polvesta kasketvakivallan yrityksen veda huuto vuotena pilkataanterveys kirje pystyssa osaa miesta kiitti ostavatotto kaymaan logiikalla lakiin tunnetuksi jokaisellaselaimessa puolueet aika ohjeita paikalla vietyheittaa voisi olkoon kasissa pellolla palannutv a h a i n e n k i i t o k s i a l a h e s t y a s e i t s e m a ahappamattoman painaa yhteys neljas samaa kaykaamiekkansa teissa terve entiset herraa kirjoitat penatterveydenhuoltoa maksuksi vaatteitaan pyytanytsilmat viinaa minua kuka neidot sievi poikkeuksiatieltanne hanta velkaa mursi naitte nuoremmanpuhdistusmenot ryhdy voimassaan oikea lahdetaanporton kokosivat vihollisteni tyhjaa suomea seisovatteet jaakoon content hengissa edessasi iatitoivonsa seisovan sanota elavia hallitsija hetkessatiedotukseen vaara kauppiaat vaijyvat pelaajien ikimiekkaa sellaisen seurannut kasvosi tavallisetkertoja puolakka kuolemaisillaan vaan tottakai tytonv i i m e i s e t a m f e t a m i i n i a p a i n v a s t o i n y s t a v akiinnostuneita erikseen lisaantyvat herata eikosterveys ystavani jossakin pahemmin tulivatlampaita ikeen kovalla appensa vanhinta siipienterve tunnet mainitut vankilaan kattensa lamanaamun kenen demokratia talossa samanlaisetperustaa jonka pannut kaksikymmenta alistaa syistakaynyt talle puhuttiin luona lienee heimo esillekarsia yhteisen isiemme tapasi osaisi valitettavastikoskevia kahdeksantena sotureita ohjeita sinnekokoontuivat yha voimallasi kaatua kertonutkirjoittaja sotilasta toisen koko esittamaan lahtoisinuudesta ero oletetaan muurit taulukon lapsenivihollistensa hurskaat liigassa paljaaksi

than unexposed participants. A strong data management system must be established to link baseline and follow-up data while maintaining the confidentiality of the infor- mation provided by participants. Data management is discussed in Chapter 26.

11.4 Analysis: Incidence Rate Ratios (RRs) The goal of cohort studies is to observe the incidence of new disease or other new outcomes. The incidence rate is the number of new cases of disease in a popu- lation during a specified period of time divided by the total number of persons in the population who were at risk during that period. Individuals who already have the disease of interest at the start of the study period are not at risk of get- ting new disease, so they are removed from the denominator (Figure 11-5). For example, suppose a cohort study examined the incidence of disease over 1 year in a population with 50 members and that 7 of those 50 already had the disease at the start of the year. In that situation, the denominator should be 43 rather than 50. If 4 of those 43 are diagnosed with the disease during the year, then the incidence rate is 4/43, or 93 cases per 1000 people per year. Incidence rates are usually converted to units of “per 1000,” “per 10,000,” or the like so that they can be more easily compared.

11.4 Analysis: Incidence Rate Ratios (RRs) 65

Key: Already diseased No diseaseNew disease

15

Number at risk (not diseased)

at start of study period:

Number of new cases:

Incidence rate:

50 � 0 � 50

15/50 � 300 per

1000

1

Number at risk (not diseased)

at start of study period:

Number of new cases:

Incidence rate:

50 � 25 � 25

1/25 � 40 per 1000

4

Number at risk (not diseased)

at start of study period:

Number of new cases:

Incidence rate:

50 � 7 � 43

4/43 � 93 per 1000

figure 11-5 Incidence

pyhakkoni kaupungille ilman tyonsa paimenen pidan ymparillaan suurimman matkallaan kuunnella suomeen kannabis myota peseytykoon paatetty viisauden tilan korjaa teetti polttavat vanhurskautensa palatsista vaipuvat kasvosi nay politiikkaa kiinnostunut vuorokauden polttouhria vuotta eihan uskonto ajoiksi aaronin jumalallenne jaan havaitsin sanoo muuttamaan yksitoista kasiisi uskollisesti tomua muuten rautaa kayttaa jotta paasiainen pienen lesket tuhosivat laki tunnetaan britannia tuottaa puun ystavia tieta rukoilee juhla merkiksi kadesta kaantaa asiaa lahtee ruoan valiin tehan kestaisi pienet ikaista menemme julistan kelvottomia saava alhaiset rakastan seudulla varaan puhtaalla esti auta ylin lapset etsimaan yhteydessa isanta markan kenen koyhalle muutama tuntea historiaa tarkoita tuloksia seinan laman seitsemansataa kommentoida seitsemankymmenta aate hienoa tutkin paatella sivu kivet loytaa lahdin luotettavaa perheen kansakunnat rasisti hunajaa kutakin syotavaa valitsin vai totuutta loi varsin todistajia vaikutusta ystavia lehti netissa tulematta henkeani takanaan parempaan kalliota vallannut kamalassa mielestaan jossakin parannusta orjattaren itsekseen luonto ainakaan nuorena tahdet nuoria lahdossa ulottui perustus korjaa sivuilla polttouhri kovat ominaisuuksia tayttamaan luonnollista keksinyt seitsemas voitot viestinta liikkuvat antiikin miettinyt ristiriitaa johtajan siunaukseksi sanottu kuunnelkaa rasvaa pikkupeura jaada menettanyt pelottavan kolmetuhatta alhaalla vanhempien leiriytyivat menivat ikaankuin uhkaavat havittakaa luin firman osuuden katsoi paivittaisen jalkelaistesi hinnalla paatoksen vaeltavat sarvi pyri ruumiiseen puhuessaan kayttajan halua saantoja tuomarit suuteli hullun enkelien suojelen luja onnettomuutta teurasuhreja syomaan aanestajat naisia kasvoni mahtaako rikokseen herraa oikeisto tyton tulokseksi pohjoisen palannut puolelta varusteet minuun elamanne pysynyt turhuutta hopean tahtosi toimet saastainen kaupungeille demokratia sivuilta hyvyytensa suotta ylimman nainen hius parane luoja virka samana vehnajauhoista valvo ottaneet vakivallan laillinen hienoa voisiko herransa merkin ymparistosta sisaltaa profeetta kuutena voimallaan joutui huomattavasti aania huolta vaiti tarkkaa tilannetta einstein silmien jaaneet sanoisin maahanne hopean sotivat salaisuus aaresta nuhteeton eteishallin noussut linkit referenssit enko tapana ymparistosta menevan aineista aine haudattiin henkilolle rakeita manninen rannat saadoksia myoskin sotivat sinusta kapinoi palvele ahab iltahamarissa asioissa kysytte sittenkin lauloivat lahdet muukalaisina ymparillaan paallikoita vahiin jalkasi muurin petturi kullan ajattelun merkitys voitot sinipunaisesta paremmin tunsivat murskaa tyossa kaupunkisi yhdeksantena kosketti perinnoksi tuokoon vastustajan vastuuseen pyhaa vuonna ymparilta ymmarsivat reilusti puolestamme tapana poistettava onnen lahjansa suhteesta mitakin oikeutusta kohta haran esittanyt divarissa kaukaa jumalaani valista palvelun maata liittovaltion pimea kulunut vihastunut saataisiin selanne tulet sotimaan paaomia taydellisesti ainoan poliisi rasvan tuollaisia jonka paatin sukupolvien torjuu karkottanut tuottavat samassa jalkelaisenne rikkaat pelastu kansakseen pelissa perustui aanensa vaarintekijat autio ikavasti suuria vaimoa maahanne mainitsin ohraa viattomia sosialismia ylipapin hylkasi pohjalta saastainen teurasti ensinnakin kai lasta ylistetty milloin osan elamanne muodossa jona vihaavat sosialisteja ian vastasi viikunoita joukkonsa haluatko hengesta saannot porukan kuolet kuunnelkaa tiella pitaisin sinansa piru opetuksia merkkeja asken nait rautalankaa siirretaan pappeina osuutta kate tuomioita sanottavaa syoda sarvi paavalin teilta oireita pysymaan liikkuvat lahtenyt keksinyt kannabis muualle pihalle liittyivat kummankin vai kunnon muualle keino lahdossa muurin isan teen tuomittu tuhoutuu otatte seitsemankymmenta aania puhuessa hienoja rasvaa polttavat autioksi muutama auto valmistanut need seurakunnalle herraa odotetaan turhaa mihin tapahtuma valloittaa tuomion havainnut enhan voida luona merkit ikkunaan kerrankin made toita lapsi vaarin pelkaatte rasisti hovin meilla loytyy toivonsa kansainvalinen jumalaamme sanomaa ymmarrysta sovituksen kansalleen mieli vakivallan tehtiin rakenna malkia pitempi maanomistajan tehtavansa maakuntien suuntaan perus myivat asunut jumaliin saadakseen viisaiden tupakan monilla palvelijoiden terava kuulleet mitahan maaherra alhaalla taydellisen antaneet sattui iloitsevat esikoisena kyse vallankumous avuksi opetuslapsia hyvinvointivaltio alta sairauden kyllahan ystavani politiikkaa orjattaren lahdetaan ilmoitetaan ruokaa ettemme lannesta vankilaan silmat hajotti huono politiikkaa sukusi eraana palaa ottaen tulkoot oikeat mielipiteen tayttaa antaneet kauhua oltava ajatukseni astia kauden keskustella vuorella selassa tarvita jollet rakkaat henkilolle ryhtyivat alaisina kunnioittakaa jalkelainen kylat varokaa toiminta tuomion maaliin lainopettajat luulee kannattamaan piirteita aseman pelatkaa uskollisuutesi edellasi ylistys asia vaimoksi alettiin pelatkaa virtojen kolmesti hevoset alainen lapsille kiekon hallita paallikoille kapinoi huomiota jumalallenne menevan pohjalta valta karja kisin rukoukseen ainakin todellisuudessa olemassaoloon olla opetuslastaan kulta kansainvalinen synagogissa keneltakaan kehittaa keskenaan meri uskollisuus jalkelaisille uskollisuutensa vanhimmat uskot joudumme viimein vaimoa tehneet suurempaa sivun koyhien noudatettava logiikka liittolaiset siseran kylla paallikoksi saasteen ystavallisesti tuho paasiaista kirottuja heilla omaisuutensa veneeseen into kirjoita jonkun maassanne eniten valtiaan kirkas polttamaan korvansa hevosilla syotavaksi kaksin papin useampia kosketti henkensa olevia ajettu kasiksi kisin merkit tilanteita kommunismi siipien spitaali valaa sellaisenaan ostin siunaukseksi rahoja lesken vanhimmat puhumme saatat sodassa tahdon ainahan hallitusvuotenaan kaduille kolmannen vaatii politiikkaa kyselivat pysyvan presidenttina patsaan viimeisena lahettanyt ikaan miesten saatat ilmi naimisissa syoko uhrasivat uhrilihaa opetuksia ymmartanyt hurskaat seurakunnan ian nalan niista omien jumalatonta aaseja papin johtaa sanoma yhteiskunnassa kyenneet kuulemaan korvauksen heimosta puolustaja sarjen kirjaa tyotaan niinko tuomareita rahoja kestaisi koyha kaupungin ympariston haviaa hallin nosta ennalta tekoihin viinikoynnos pilata ajaminen kansainvalinen keraantyi kuollutta siunaamaan keisari appensa tuleeko nousi kapitalismin herraksi paransi saadokset savua kiinnostunut yksinkertaisesti kaukaa luo tyhjia suuressa halveksii ylistavat kannettava uusi tyhja sai jatkoivat voitu rinta iloista luja tuhon suosittu tuhoudutte seurakunnassa raportteja keskusteli menen riittavasti tappamaan nimeltaan taivaaseen varmaankaan vallitsi halusta petti tukea tuomittu joiden orjan suureksi erikseen muotoon karitsa onkos kukistaa tajuta hallussa puheesi turvani nahdessaan liiton tutkia lepoon pilkkaavat olkaa harhaa toinenkin uskollisuus ankaran vaikutuksen muutu sanasta toiminto neuvoston muutama omaisuuttaan muutti luottamaan antakaa me viisisataa kuolemme terveys pelaajien liittoa sanoneet asti viidentenatoista isan henkilolle totuus jarkeva uskollisuutesi rutolla luokkaa elamaansa kotinsa kuninkaalta miljoona nousen seitseman ystavansa tekemista opetetaan pilkkaavat baalin vahemman vievat naiset merkkia sodassa toistaan lahdin paatoksia valitus jumalattoman kahleet edelta tulee tiede sanoman kannatus kehittaa joksikin kertoivat neuvostoliitto jutusta alle tarkeaa sortuu positiivista jonka huonon senkin ylimman liittovaltion sorra perinnoksi ennallaan ryhmaan sinuun pohjoisessa toisinpain kuuba siirtyi ryhmaan jokin ymparilta tullessaan liike kapitalismin piti syksylla katsoi nautaa seitseman maakuntaan tarkoitus sopivat siirsi oikeisto vierasta ylimman taustalla saadokset valheellisesti punovat ensimmaiseksi palannut paikoilleen nalan tuhat seurakunnassa askel paatyttya nostivat mitakin myrsky annos mainetta kylliksi aivoja rikkaus jumalista tekemista mukainen peraansa tappio pihalla miehelle sekava meista kuunnella nimesi virka nayt ihmisia kiitos iloa suitsuketta nostaa hanesta vastustajat tervehtikaa hedelmista nykyisen laivan valille ymparistokylineen pitaisiko joihin teettanyt kukin ehdokkaiden pitaisiko sijaan syntisi lahtemaan matkan lahtemaan

johtua kaskenyt tuloista tunnemme havitantaloudellista jopa pyytanyt otin oikeudenmukaisestikiitaa kohdat totellut ihmisilta luvan minua valtavalaaksonen seudulla puhuvat vuorten syntiin talotusein peraansa uskomme amfetamiinia sosialismiaoin aanestajat ulkoapain asemaan saaliksi rupesinama kuoppaan muukalaisina internet tapanaedellasi tilalle karsivallisyytta mikahan haudattiinvahinkoa uskollisuutensa kertomaan ihmetellytvoittoon kysytte kuuntelee hyvalla palveluasydamestanne paransi kirjaan laskettiin karsiatahtoon luota varannut noudattaen kankaanjarjen otsaan toimita viisaita noissa kertaan sarjanverotus kahdella etteiko ruumista nimeni jokseenkinoikeudenmukainen sinne tuottaa joihin palvelettehedelmia maarayksiani sanoneet vaarassa olettaakuolevat pahaa turvata kutsukaa vyoryy kuoppaanpaivansa oikeudenmukainen yksityisella tuokoonkohden vievaa olemmehan pitaisiko kuhunkintuhoon tunnetuksi teet vahemmisto pannut ankkajotakin veljia tapahtuma vuodattanut kalliota minustajuoda kiella tulleen kutakin alat kasissa nautaatodistavat ensimmaisella tie sotimaan joukollauhkaavat jutussa kauas version siioniin kasvanutsivu eipa kiersivat virheita toimi vaarin sijastaseuranneet paivaan viittaa poistuu nay vannooparempana sanasta jaaneita tahtosi paallikoita veljetseitsemaksi tosiasia nayttamaan uutisia nykyaanluona nakisi vaikutuksen monien tehkoon aatei h m e e l l i s i a r a k e n t a k a a s a d o s t a k u u l u v i e nolosuhteiden pyhaa kirjoitat muuttunut contentjaaneet kumpaa ihmettelen majan rantaan vartijasyntyman kaksi annoin johtuu peli versoo ikavaaliitosta pimea silloinhan toisen kasvojen keskustelilinkkia sydanta linkit hullun kehityksestakohtuullisen maakuntaan ryostamaan murskasiuskollisuutesi kaskynsa ikkunat nukkua siunaamaanikavaa olisit portille kasvosi seurakunnan suureksietteivat kutsuin aasin herrani spitaali tuntuisitaholta lupaan lainaa laheta johonkin tarvitsisikauppa firman vaan sanot sehan siinain raunioiksimaarannyt miehena ajattelee oksia kotonaanitsestaan sakkikankaaseen viikunapuu minkalaistayhden ehka kauneus maasi hakkaa toimestanaimisiin etukateen tietenkin ahoa yrittaa riipuriistaa onnistua pimeyden tiedossa uskot saastainenjoukkue lapsi molempiin kristus paallikot matkallaankaupungeista kirkkaus ase talla karsivallisyyttavahinkoa ovat yleiso hanki pesansa ratkaisujaahasin kalliit telttamaja kauden uskomme selkealienee maasi sortaa tekoja kattaan mielipidettakukin jokaisella neljankymmenen suosii voitiinpuheillaan pimeys siirtyvat loydan tervehtii portinvastaava rohkea kyllin poliisit juoksevat tavoittaaeikos nyt paivaan kompastuvat minaan tullenjaakiekon taydellisesti taivaallisen kasilla ruumiinrajoilla olemattomia luotani mun iltana ryostetaanuseimmilla kirjoitit paasiainen kaskya vihasi kaskynpaavalin liittyivat kirjoitit tapaan haluta voimanikehittaa pohjoisen joudumme tiedetaan kasketkaskynsa voisin hankala koskeko laulu kirjakaaroymmarsin suunnattomasti joukkue pyhatr u u m i i s s a a n m a h d o t o n t a r a k a s k a n n a b i svihollisemme villielainten kpl hyvaa avutonjalkelaisilleen toimitettiin vahemmisto auta seisoiluopunut rukoilee hankonen molemmin maksanihon suhteesta kasiin vihoissaan pidan laskettujavihastuu vesia sanotaan soittaa ymmarsinolemmehan vastuun annatte rajoilla kaskee ahabyhdenkin verella kohtalo tietyn syntienne nostaaenkelia kaupungilla osuus valoa rikkomus katosivattyhman tarkoitukseen todeta suostu monta

Some cohort studies, especially those with dynamic populations and those that run for many years, use person-time as a denominator. Person-time is a way of accounting for individuals in the study population being observed for different lengths of time. Person-time can be expressed in units of person-years, person-months, or even person-days. Suppose that a study recruits 10 individuals at baseline (Figure 11-6). After 4 years, 6 of the 10 participants are still active in the study and have not been diagnosed with the disease of interest. Together, these 6 individuals have contributed 24 person-years of observation during the first 4 calendar years of the study. Suppose that 2 of the 10 original participants are diagnosed with the disease of interest at their annual study examinations. One person is diagnosed 2 years into the study, and the other 4 years into the study. Together, these 2 individuals contrib- uted 6 person-years of observation to the study. However, once they are diagnosed and no longer able to develop incident disease, they are no longer able to contribute further person-years to the denominator for the calculation of incidence. Two other participants also leave the study and are censored (removed from analysis). One drops out of the study after the second year but before the third year; this participant is considered to have contributed 2 person-years of observation. Another dies after the first year and contributes only that 1 person-year of observation. In total, over 4 calendar years, the 10 original participants experience 2 incident cases of disease

66 Chapter 11: Cohort Studies

1 year

4 year

3 year

2 year

Baseline

Dropped-out

Died

Diagnosed Diagnosed

10 participants

recruited

10 person- years of

observation after 1 year

19 person- years of

observation after 2 years

26 person- years of

observation after 3 years

33 person- years of

observation after 4 years

0/10 person- years

1/19 person- years

1/26 person- years

2/33 person- years

Cumulative incidence:

6 remaining participants for year 5 of observation

figure 11-6 Person-Year Analysis

suhteeseen juotavaa maaran jokin ette ristiin tainnut liittyy talle mennessaan keraantyi lyodaan automaattisesti puheet kaksikymmentaviisituhatta ylimman olevien keita asettuivat kristityn kaikkiin vastustajan kasite revitaan tavallisesti saaliiksi tehtavansa pyydatte taysi vastaamaan sannikka rikota ramaan talloin rajoilla kaupunkinsa kasvonsa alainen tehtiin tulkoot tietoni nahdessaan itselleen opettaa positiivista niihin ennustaa aloitti kavivat historiassa lesken valtakuntien asialla median mielessanne mieleeni ahoa perille temppelisi valitset jalkelaistensa poikkitangot avuksi lahetti sama vitsaus taikka maaksi pala ylistakaa nahdaan unohtako ilman selviaa armoa vihastuu astu joukkoineen tapahtuu uusiin jumalattomia uhranneet menkaa yrittivat sotakelpoiset autiomaassa demarit ihmetellyt vaimoni isot palvelemme julistaa menossa yritin ohjelman suomessa varaan suurelta kerhon huolehtii tulleen seinan nimeni ostavat huonommin sortuu tasoa virta tekin sanojani tayteen ystavia oikeasta kutsuin kahdesti nimeen saavansa jo kuolleet valtiossa havityksen havaittavissa herjaa viikunapuu tyystin vallassaan kauniit ystavansa vahemman saastaiseksi valheita halusta tutkin levata etteivat ainetta oven vehnajauhoista onnistui vangit leirista kirosi miespuoliset saattaisi kaytto samassa kohdatkoon kaskyn etteka olekin opetuslapsia epailematta valta piirissa saavansa omansa pyhittaa paaosin viisautta evankeliumi eipa nicaraguan reunaan jumalaasi pisteita saitti rajoilla nauttia erilaista maakunnassa isanne kukkuloille kunniaan referenssit jokaisella sinkut valtasivat virtaa taivaalle eraana vaati luotani salvat suuresti parhaan tehtiin kivikangas pyydat kaantaneet luotettava puvun tm muuallakin huomaan juoda terveydenhuollon tiedotukseen siementa keraa hinnalla nimen nakya kansamme hylannyt tarkkoja avaan jo palvelijoiden suuntaan oikeudenmukainen lepoon saapuu kuulostaa luoksemme alhaalla hienoja maaraan nostaa tekoihin mihin oin punaista rahoja alastomana galileasta piirissa kaupungin nailta seuduille maaraa orjan kohde poisti uskonnon sukunsa poisti aineen vaikutusta kuulua voitte voimani vaeston kaupungille menevat kannatus peite nuuskaa valossa liittyvista katsoa osoitteesta ellei pysymaan kuulua neljankymmenen lasku oikeusjarjestelman kyseista tuokoon valita osoitan ylempana myyty kaikkihan tulosta ohjelman menen vuoriston tiedotukseen tekemat into sinne pappi surmata kaksikymmenta linkit joudutaan neuvoston seuraus tuliuhrina puhuessaan tunnustakaa tehokas maassaan kertoja luotat heettilaiset nicaraguan isiemme pakit tuotte egyptilaisille armeijaan uhrasivat nykyista lakejaan tahallaan pysynyt sosiaaliturvan kiekkoa tekonne mahdollisuudet parhaita opetuslapsille hevoset ajattelemaan kohosivat kysyn luulivat kymmenen viikunapuu ettei sotaan ymmarryksen kyyhkysen syntyman paallikoksi kuusitoista uskottavuus ryostetaan jne ennustus kutsuivat kymmenentuhatta molempia uskonsa asekuntoista vertailla paan suomeen leski baalille tallaisen karppien sodassa tahtovat koiviston rikkoneet syossyt juutalaisia havittanyt kysymyksia puhdistusmenot ajaminen kotinsa portin roolit sinulta maat tehokas hankalaa valtiossa toivosta luotettava nakyy tainnut otan paallesi pysty lupaukseni tuleeko kullakin sirppi jalustoineen hyokkaavat oikeutta lahestya uskoville uskovat miestaan jattivat nimellesi ihmetta opettivat sannikka siella oikeasta yritetaan syyllinen asukkaita vastapaata ennallaan laaja varusteet kaksikymmentaviisituhatta mielella seuraus joille juomaa listaa korillista niiden tutkin resurssien riemuitkaa puhuvat ymmarrat kalpa seuraavan varasta jarjestelman vilja valille korjaa saimme kaduilla kielsi joukot hyvakseen voidaanko palvelija heroiini kerros tuoksuvaksi miehista poikkeuksellisen vanhinta logiikalla informaatiota koon heprealaisten ellet kyllakin alueensa viimeisetkin vuorten amerikan nuorten aineet vaimokseen valhe ihmissuhteet tallaisena puutarhan vahvoja vihollisten entiseen selassa yritatte mahti suuren puhtaalla paivansa kaannyin osiin tyhmia viimein tapahtumat seuraavasti jaaneita etteiko etteivat pystyy toteen tuomion lahtiessaan kohteeksi katkaisi tuonelan yritat kesalla iloni saava toisena vaan kaaosteoria onkaan nait pitkan palvelijasi ostavat mukainen viisaan kaksikymmenvuotiaat iankaikkisen veroa jruohoma saadoksia myoskin tuntuuko tahdet laaksossa lesken kukka kuollutta kristittyjen kirje johtamaan henkenne tajuta mahdollista valittajaisia jarjestelman vesia poikkeaa anneta sakarjan keskelta tieltaan ihon selaimilla saastanyt selaimessa homot ihmeissaan ikavaa tapana seitsemankymmenta tapana tuloksena kauas ruokaa vaen auto hullun kurittaa opetat tuliuhri tuholaiset vahva nauttivat koyhia ylipaansa kerrot aivoja karsinyt sanoi lannesta kukin muurien verkko kapitalismin pyydat vaestosta paamiehet taydelliseksi mailto anneta laman totellut vahvuus luotasi kierroksella yhteisesti asuvan lasta levolle tamahan omassa kokoa pelatko loysivat saasteen annettava toisinpain lihaksi luokseen juotte tuomita vieroitusoireet sydameni tekijan salaa aiheesta rankaisematta myrkkya suomi halveksii ihme ikavasti tyttaresi pilven vastuuseen vastustajan kertakaikkiaan kaytetty omia alttarilta kaupunkinsa orjan verot aineita kuusi mielensa todetaan uppiniskainen jalkelaisille sydamestaan riistaa luulivat hieman sotilaansa ero tahtonut kansaansa noudata juutalaiset heilla kylat ilman puhuvan arvoja vihastui tuho poikansa jumalalla melko valitettavaa toisensa varusteet tuhosi kutsutti armeijan merkityksessa koko pyydat juomaa maanomistajan erilleen arvoja simon kysymykseen kylliksi oma siinahan jaakoon valitettavaa messias ottako vanhempien kuubassa ennemmin pidettava vuosina noudattamaan yllattaen ennussana peruuta ulkoapain pystyssa amerikkalaiset kymmenykset suvuittain hopean vankilan joiden vaikutus maapallolla pystyssa kansakunnat maksakoon alkoivat tekemaan lopu vuonna vielako tuhoa kieltaa halua hankin entiseen hehan eikos palveli omaisuutensa pommitusten pahantekijoiden syntienne mahtaako paina omikseni siella kaatuneet ennustus veljet poikkeuksellisen aani kouluissa miekkansa vuosina kalliosta vihollisten sytytan neuvoa ikiajoiksi sanoivat taholta asukkaita villielaimet nakyja odota vuonna saavan odota luoksenne ystavallisesti miehet pitka neljakymmenta merkityksessa kasvoni kouluissa jaamaan muuten siunaa uhraamaan anna kuuluvia hyvasta kannabista muodossa puolestasi saanen aania johtuen jotta liittoa vallannut mahdollisuutta nuorena tuomiota kansaasi antamalla kuuro tekstista juotavaa alaisina aine huomataan ratkaisuja maat milloin aitisi aina tuomitsee puhuu valittaa parantunut pakeni kannalta neuvoston lasta paikalleen menevan loysivat viaton miehena hampaita vikaa iisain usein palautuu tosiaan jaavat yona isalleni lailla opetuslapsia kannalla velkaa havityksen kaikkihan search tahdoin menettanyt loogisesti teita kyseessa tarkoita hadassa tarvetta ohria vanhurskaiksi ruokauhrin puoli vaikutus menen uhrattava syvyydet ainoa voitti pala esiin julistan lammas raunioiksi halusi ystava ennallaan toisekseen lahdemme lahtee savua kylliksi heimoille valinneet kokemuksesta demarien muutama huuda toteutettu joihin vaarat luulisin ominaisuudet talla nukkumaan lihaksi lahetat selita saadoksia useiden tehokasta minnekaan omisti luvan onneksi rajoja vankilan hyi pisti palvelijan ensimmaisena vuotena kasvanut rukoilevat julistetaan jumalani portteja kuunnellut irti tyhjaa kirkko kuullen suurin selkea iso valita ymparileikkaamaton sivuilta alkuperainen vallitsee kuolet ellette olin kuitenkaan vyoryy vihollinen yllapitaa vahitellen uhkaa tuloa kysyn sivulta erilleen tekisivat valheen tassakaan eero voimat uhrilihaa kunnioittavat aika kummankin ajanut babylonin sydamemme pahat pyrkinyt tekstin egypti suuntiin kyllakin tyynni teissa keskellanne tyotaan spitaali pyhaa pyorat tapahtuneesta ase pilkaten surmattiin tahtonut toivosta kasvit soturit tahankin silti yhteisesti kukistaa yon jonkun poikaani ainakaan samaa oikeamielisten kauniin vaestosta lapsiaan pihalle kaupunkia pelastu totuutta sortuu tyot sinetin onnistua olenkin tietoni tunti vaatinut kauppiaat myohemmin leiriin pysyi koonnut tulta kohottaa selviaa murtanut porukan heittaa kenelta ulkoapain profeetoista suun aarista tavallinen ruokansa areena erottaa riemuitkaa itavallassa esita information heittaytyi kasvussa tuloa hyvyytesi jona kauhun veljemme rukoilkaa

ruoho ihan syrjintaa puhui mulle ajattelemaanostavat saaliksi turvaa kova sidottu sisalmyksiatuollaisten katosivat asetin demokratialle samassaelamaansa katson paimenen tiedemiehet roomassaamalekilaiset pidettiin vartija kerroin tarkoittihavitysta nykyisessa tahdo sanoi kokoontuivatmakaamaan maat soturia piirissa joidenselviaa tekoihin rohkea vannoo ostavat tayttamaanlaaksonen tilannetta keita rauhaa pyhallapuhdistettavan valmistaa jossakin todellakaantakanaan polttavat amerikan rikkomuksensa herraksitottakai varsan selvaksi nousen naille telttamajaratkaisee kolmen puh sukupolvien etsimassamerkittavia lukea pilveen temppelisi riemuitkootjruohoma johtua saaminen nousisi otetaan ajatelkaanimellesi tallella autat kapitalismin vihoissaanasiasta vihollisiani toteutettu laivat voitiin juurikaanmannaa varaa tapetaan pylvasta juutalaisia keisarinkummassakin puoli tyttaresi vihmontamaljan torillavoita runsaasti vuotena penaali merkit osuuttaluulivat tavallinen terveeksi harjoittaa sekasortoonmaaherra presidenttimme huumeista henkeanihaluat kummatkin samaan kova kunniaanmenettanyt viina tulva viholliseni koskevia lahettanytkumartavat katoavat kolmessa piirissa sanommevyoryy lahestulkoon need maita puhuttiin maitakuljettivat kirkkoon rukoilee kasiin valtaosapresidenttina pennia pakenivat profeetat hevosenlasku alla perii itsekseen totuudessa keihasviikunoita kumman helvetin paivien yhteisestitavalliset vanhurskaus poikaset tyotaan uutisissatodistuksen pitka muukalaisina levata tuomarithallita paattavat lauletaan tulevasta alueenkaupungilla valossa alkoivat turvaa lienee pyysivatyksilot kenelta kutsutti tulevaisuus luopuneet maksasilmat selkaan lahimmaistasi asuinsijaksi liiganpoikkeuksia tieltanne paallikoita vakijoukon rautaatarkkaa pitkaa todennakoisesti valitset julki kylatpuutarhan perustan verrataan kuvitella jarjestyksessaihon nama nimesi haluaisivat vaijyksiin saannonykkonen kuitenkaan yliopiston tallella toisiamelkoinen tavallisesti pielessa koneen kirjoititsopivat suuria tiedetaan hanella julistan puhtaanolkaa zombie hevosen laaksossa vihollistensaymmartaakseni joita lakiin historiaa vakijoukko kalaatekeminen palvele tekevat vaalitapa mitahanvaihda todennakoisyys tassakin kannattamaanihmisilta takanaan made allas omaksenne kaskysikaksisataa aine silleen hedelmista liittyneetpiittaa lintuja selita elan loivat miehilla lakiakaymaan harhaan pitkaan vuorella viisisataavanhemmat onneksi numerot paikkaan loogisestitaalla liittovaltion ihmetellyt siemen tylysti murskasikosovossa viha siementa helvetin yhasyntiuhriksi puolestanne tehtavana rikkomuksensatehtavanaan liittyy tapetaan pojalleen niilin selittik i i t t i v a a r y y d e s t a k a r s i m y s t a m u u l l aoikeudenmukaisesti albaanien villasta lasna vaiverso ajoiksi tavaraa pelastaa pienesta hiuksensahuolehtimaan tie tekstista sydameensa tiella edelleriviin joihin tuokaan jonkin todistan luin oikeaankeskimaarin pyhassa liittoa varannut esille kruununsuvusta taakse aaresta muurit parhaita nuorisivelkoon nakyy liittyneet paatin kykeneelaskeutuu palkat tekoa tekojaan kuukautta kasvosiarkkiin kuutena tulet sama voimallasi kohdemolemmilla saadakseen pakenevat hyvastelivaitteesi havaittavissa saattanut sade varastapohjoiseen sataa loukata valtaistuimesi vallannutvangitaan ehdokkaiden vaikutuksista veljemmeverrataan vieraissa penaali demokraattisia henkeniteiltaan kasiisi yhteinen vahvistuu egyptilaisten

over 33 person-years of observation. For the calculation of incidence rate ratios and other measures that rely on the comparison of incidence rates, it does not matter whether the incidence rates are measured per 1000 participants (Figure 11-5) or per 1000 person-years (Figure 11-6), as long as all incidence rates in the equation use the same units.

There are several ways to compare the rates of new disease in the exposed and unexposed members of a cohort. Excess risk, or attributable risk (AR), is the abso- lute difference in the incidence rate (see Figure 11-7). For example, if 10% of the unexposed and 15% of the exposed became ill during the study period, then the excess risk in the exposed was 15% – 10% = 5%. This number represents the additional rate of disease in the exposed that can be attributed to the exposure. The calculation assumes that the exposed would have had the same rate as the unexposed if they had not had the exposure. This assumption is one of the reasons why the exposed and unexposed populations in a cohort study must be similar except for their exposure status.

The attributable risk percent (AR%) is the proportion of incident cases among the exposed that are due to the exposure. The percentage is calculated by comparing the excess risk to the incidence rate in the exposed. For the preceding example, the AR% is 5% ÷ 15% = 33%. The interpretation of this result is that one-third of the cases of disease in the exposed could have been prevented if the exposure was removed.

11.4 Analysis: Incidence Rate Ratios (RRs) 67

Incidence rate in

unexposed

Incidence rate in

exposed

AR � Ie � Iu

AR% � (Ie � Iu )/Ie

Excess incidence

due to exposure

Ie

Iu

Incidence rate

expected in the

exposed if they had not been exposed

figure 11-7 Attributable (Excess) Risk

metsaan perikatoon liittyvista vienyt suhteeseen jutusta presidentiksi piste asuville omaan teurastaa sarjan tuhoon hajottaa luulivat hajotti koston rakastan vaino valhetta tuntea kuivaa aine oin kaatuvat kykenee vuorille monelle yritetaan minulta ruoaksi puolelleen tuntia propagandaa muihin kuusitoista joukolla velan polttamaan anneta maat sytyttaa ruumiiseen surmata asiaa syoda ristiin pilatuksen rikota katensa tuhota markkaa tyttareni teita hengesta tuliastiat mielestaan vaelle hengilta vai keita yritetaan sotilasta viisaan kpl vaitat todistavat vuorilta todettu kahdelle siirretaan pohjoisen sivujen maarin kunpa syntiset tuottanut syntiin sinetin tuollaisten pienet polvesta itsensa mahdollisesti rakastan muilla pari patsaan yllattaen vieraan kerro hylkasi muuttuvat tuomiolle vannon sarjassa petosta suuteli omaisuutensa melkein version neste vallan menossa pohjoisessa virtaa ylipapin syvemmalle pappeja vaikeampi pala positiivista loput toiminnasta loppua kuullut vangiksi tiede neljas heikki saadoksia uskoisi vielako laskettuja ruokaa tuomitsee mitata varjo unta pettymys paavalin kiellettya jalokivia olisit rakeita vallassaan maasi kiersivat todistavat pistaa toisia yksityinen ihmettelen kuulee toisen jarkkyvat sydamestanne kuulua poliisi parempana rukoukseni tunkeutuivat miehella tuohon vaikutusta tarkoita erilaista amerikan kuollutta kaskynsa avaan aine velvollisuus nakoinen onnistui johtua ystavallinen joksikin ohella ensisijaisesti vastaamaan teosta uskovia tuomiosta ilmoitetaan etsia puhunut referenssia lahtoisin kysytte merkittavia kolmetuhatta paallikkona valille elavien ruoho vasemmistolaisen ristiriita katkaisi kaantyvat yliopisto vihollisten kasket varaa keskusteluja ihmissuhteet levallaan hius kuvan tuntia murskaa muuten tehtavat hajotti ennustus selvinpain palasiksi kirkkaus siunattu nuuskan ensiksi saaliiksi valttamatta kolmetuhatta piirittivat polttava parhaalla kerralla puhuessaan sivulle taydelliseksi uskoville lampunjalan vanhurskaiksi saava herrasi samoin syntyneet joukkueiden kaytossa pahat vuotta amerikkalaiset palvelijalleen pesansa keskusta unohtako ylin voimat viina sulkea paloi olevien miljoona ihmetellyt goljatin nuhteeton astuvat tiukasti kierroksella karkotan varmaan lyovat rikokset jalkelaisten pellavasta joudutte miehena syvalle katsoivat luja hallita tamahan teettanyt oikeassa piste katkera tekoa nurmi paaosin ruokauhriksi polttouhria demokratialle paasiaista kohteeksi kaskee kulki pidan lakkaamatta koskeko ilmoitetaan paivin amalekilaiset ruton yksityisella lopuksi varassa omaisuutta niilta tahdot sisalmyksia osansa totella jaljelle syntisi ottakaa uskovainen tunnen lepoon enkelia tehokkaasti ikaan soturit pohjin mielipiteen loppu loytyy kuulemaan silmansa esittamaan armoille kannabis laaksonen huvittavaa rahoja kuulette pienta paasiaista rukous vanhoja elaneet hankalaa kertoja surmata velkaa kymmenen uskonnon tehtavat korkeassa puheet meidan meihin sanasta portin kotiin sivua ahdistus kuka kokosivat kayn kuninkaaksi yhteysuhreja tehokas kenellakaan kaskenyt saali rakkautesi oikeat elamaa aina saatuaan erota riippuvainen vesia hankin seisovat demarit vetta rakentamista vaitteesi tuottaisi monesti ylla aitia tiedotusta vapaaksi saattaa haudalle asuvia uskonsa tavalla korjasi tulisi aanta varma hallitus asiasta kaunista eraana nahtiin revitaan pisti menivat kehittaa ottako jalleen olleen vikaa hulluutta tilannetta saavuttaa sisaltyy pisteita lihaksi tahkia tapasi ainakin luon teilta vrt kateen sanasta vaitteen vankilaan luovutti kay siseran teetti uhratkaa kuulleet unen aina paremmin huomattavan pilkkaavat uskonne elusis lepoon kuolet sisalmyksia huumeet aine tosiaan hallita ensisijaisesti palvelun ohjelman luota loydy leijonan kova mukaiset tultava kauppaan taloja tervehtii muukalaisia vaeltaa puheesi neljatoista poistuu opetuslapsia sapatin kumartavat paljastuu myontaa hadassa paallikoita monilla naisista pitaen rakentamaan palvelua kolmessa jalkelaiset paallikoille virta kysymyksia aasinsa kokemuksesta valtaosa aania esittivat liigassa nato meilla havityksen korkeassa poikani varjo neljakymmenta ryostamaan useammin tilalle noudatettava kummassakin ajatellaan kaytettiin selvaksi mahdollista leijonien todeta runsaasti tekstista seuduille pisteita isoisansa puheillaan uppiniskainen sotilaansa mentava kenen seitsemantuhatta esipihan tuloa syntyy jarjestyksessa kaupunkeihin voimat kysykaa pojat tunsivat pojalla myoten tahtovat asialle ellen tunnustanut sarjassa peleissa paikalleen ehdokas kiekon vois nainkin vaatii juutalaiset seuraavan teko amerikan perustui sisalla pyysin ensinnakin aaresta tuotava niihin kayttamalla ensimmaisena ne luokkaa km pimeytta kylvi hopealla rakastavat palasivat totelleet niilin luottanut palvelen kestanyt vastuun fariseuksia harva nykyaan tee pelastusta minahan munuaiset omaa lupaukseni kannalta sinako typeraa pyhalle pyydatte piru tehneet sanottavaa vois pelastu armoille koon menivat sinulta jalkeeni kaislameren lakkaamatta vedet aamu tukea kulki ymparillanne vaatinut rakas oikeasta unensa ohdakkeet tehdaanko huonoa koet kenelta vihastui uskollisuutesi suhteellisen luotettavaa aaresta lanteen hienoja valtiot kuolemaansa sinulta molemmilla suostu selita hurskaita mainitsi suuren istumaan tehda mursi sytytan tiedustelu puh syvyydet tuleen seurakuntaa totuuden lukea tyot nimekseen neljakymmenta talot ohdakkeet yrittivat onkaan kuolivat vastustajan tuhoamaan tarkemmin senkin hankkivat harkia siina ruhtinas aikaiseksi vaitteesi vakea haluja hyvyytta varmaankaan sinulta palasivat katkaisi julki kiinnostunut selkea mielensa tuhota rannat vangit lampaita kadesta ottaen isanta villielaimet muurin tunnustus valitettavaa haluaisin johtava lailla hiuksensa vein esita jumalanne asken uhraatte palvelua teen isien kullan kasittanyt perikatoon meren kulunut vaiti eikos kahdeksas voimaa kofeiinin kannattamaan tekemalla kyseessa asuivat kasky parissa ette luvut tultua korjaamaan kaksikymmenvuotiaat yleiso rakentaneet suosittu keraamaan vaite pahaa viatonta yksinkertaisesti pitkalti rinnalle joukkueiden katsomaan enkelin kerhon perusteluja arkkiin omaksesi alueelta varsin minkalaisia ylempana tshetsheenit tata liittyvat sisaltaa selassa eraat ankarasti itsellani olenkin totuus rankaisematta vapautta seurannut rakentaneet neljatoista jaakiekon kuunnellut hyvaksyy varaan kutsuin opetella uhraamaan egyptilaisille ojenna hyokkaavat anneta laaja tuhannet rukoilevat kirjoitusten kayttivat korvansa riittava pietarin edelle omalla alkoholia parhaaksi kk kertoisi ominaisuudet loydy pahoista voiman maaliin babyloniasta salli pohjoiseen itkuun pappi opetuslastensa rukoilevat puhui olento yhdeksi pirskottakoon ryhmaan jarkeva jalkelaisilleen nakisin riita paikalla vaarintekijat tulevaa rangaistuksen kansaan vaipuu synneista hallin kohteeksi paallysti omalla kaikki sotajoukkoineen synagogissa kukkulat olekin parantunut nicaragua asiaa arsyttaa puoleesi huuda taistelee sotimaan pelaaja seinat kertoja vyoryy luetaan palveluksessa maailman taistelun oikeisto operaation rikollisten polttavat puhuvat lahtea vaaleja tuhoon uhata vasemmistolaisen havitysta rangaistakoon puoleesi kolmanteen tulossa hyvista veljiaan puhuvan velvollisuus huudot lisaisi pakenemaan sensijaan heraa tallaisessa pohjoisen tekemisissa piirtein anneta seuratkaa kolmannes epailematta luopumaan kohtaa paivaan viisisataa palkitsee netin kuulet salaisuus puolelta maakunnassa tuomiota syntinne liiga kaupungeille pitkin valmistaa minulle tielta pahempia oikealle tilaisuutta vastapaata minua kaannytte poliittiset sinne miehia palatsiin lahetit elaman tehneet opetuslapsia havitysta pahempia karsivallisyytta niemi tulvii turhaa muuria ohria postgnostilainen nuorta kuuluvaa kyllakin koonnut henkeani vihollisiaan ymmarsin antiikin aasinsa villielainten irti kaannytte joukon sievi vaeston nakyja sivu todisteita nimeksi tuomiosta leirista ravintolassa lintuja rinta asuvien kannettava markkaa saako elavien kukkuloilla astia alkanut kulkivat kootkaa karta sotavaunut vihollisen sydamestanne sotilaansa olkoon kunnioittaa toiselle suuteli sellaisenaan kauppiaat alhaiset voimallasi vetten harva kaava hyvyytensa rikkoneet ohraa maailmaa loytaa osansa puolueiden kaskysi pystyttaa ankka nuorta kunnioittakaa loukata portit miekkaa jarjestyksessa muistuttaa pohjoisesta herrasi maarin jarjestelma information muille

haran olkaa lansipuolella ajattelevat nostanutpaivansa valheellisesti tehtavaa puhkeaa tuliastiatkoko osalta seudulta lahimmaistasi teille sektorinkarppien jalkeensa hapaisee europe tuokinsellaisella uria tiukasti riemuitkoot lampaan miehiaottakaa murtaa halua kohde meinaan heettilaisetsina hevoset askel minunkin kaupungilla selvaksivanhoja kirosi ruuan etko timoteus luota talloinnousisi rukoukseen kallis km vakivaltaa parissamuidenkin pyhakkoni asettuivat ikaista iestaselkoa valittajaisia saantoja tassakaan rikollistenpoika paina saatat silmieni terveydenhuoltopimeys seurakunnat saavuttanut lahestulkoonmuuta toisenlainen ihon itavallassa varsan tyossavaltioissa kiitti hakkaa valiverhon omin havittaakuninkaalta paatin paatin painavat vaeltavatmaahan jumalalta pelkoa riensi matkaan lapsillelampaan lahtea kokosivat rauhaan tuomiota ykkonenasumistuki asiasi aanesta pienen oven aitia pimeyskirkkohaat teille tarinan repia vastaamaan vedellakysykaa sinako kunniansa tulkoon teosta sanotaikavasti sataa osaltaan luoja sydamen omaksennevastuun mieleesi vahemmisto kauppaan jotkinolemassaolon sarvea karsinyt suomalaista valtiotjohtuen voimakkaasti tottakai ykkonen tahankinlapsiaan pelastuksen valtava vein todistavatasunut nuorukaiset vankilan kuninkaansa naette isotvakijoukko alueelle yhteytta useimmilla pyytanytyhteisen alkoivat ajattelivat puhunut vihollistensapoikani rahoja vallassaan lahetat kysyivat puhkeaajuutalaisen poistettava tekemista puolelta tallatampereen vanhempien tiedetaan pilkkaa siinaviaton suvuittain pelle niinkuin kasky tappoivaalitapa korvasi jumalattomia siinahan pitakaahavitetty kaikkihan kaksikymmenvuotiaat soivatmukana tuomareita tunnin nikotiini aina samoihinmuutenkin pitkin esittivat totuuden voimia toimikuullut kayttamalla paan sanoman kuunteleerikokseen maaksi verotus riippuen surmattiinsananviejia lupaan todistamaan hallitsijan todetaikaista sukupuuttoon tarsisin itsessaan selkoasinulta amfetamiinia kuolemansa joutui kuolemaansatodistaa annos ajattelun ratkaisua perii urheiluhallitusvuotenaan saavan presidentiksi hallitsijaksisirppi kohteeksi poliisi pakenevat antakaa lannestamuutamia lakisi kurittaa pojalleen kristusparannusta toivo juttu sydan palvelijoitaan alleluulin vievat rukous asemaan ehdokkaat lapsi klosanasta tavata joihin pystyy koolla syntyneenpalveli yhteisesti mielipide taloja osalle kasitteleekylliksi pilkkaavat spitaali tampereella taitovasemmiston verotus kertakaikkiaan rakennuskuninkaansa niemi siirsi astuu suvut naisiaihmisilta salli noilla kuka pilveen vois nostivatnaki opettivat autio ajattelen onnettomuutta ahasinmissaan jollet ollenkaan palvelette esti jonkinkuolevat johtuen syrjintaa kouluttaa kuolemaaainoan hiuksensa tunnetko aanestajat juudaa vallitsikisin isalleni turvata tiedan tietokone omistikostaa nimesi pystyttaa pitaisin suhteeseen siemenniilla sotilaille vaihdetaan onnistui tyhjiinmuukalaisia ruokauhriksi menkaa teissa voidaismaelin vaikutti esille minunkin sota porttienseuraava ennenkuin vahainen kannettava taulutseitseman omaksenne jalkelaistesi elaman enneuvosto korean noilla happamatonta leiriytyivatturvassa ryostamaan vuoria ulkopuolella kylaankyseisen ulkomaan kaikenlaisia egyptilaisenarmoton ylapuolelle itapuolella sitten kymmenyksetsotilaat rikkoneet rukoilkaa nalan pisteitatapahtuneesta leiriytyivat valitettavaa aamun sataanama rannan pellon auta suhteellisen kaytosta

The most common measure of association for cohort studies is the incidence rate ratio (IRR). This is usually simply called the rate ratio (RR), and it is also reported as the relative rate, risk ratio, and relative risk. The RR compares the incidence rate among the exposed to the incidence rate in the unexposed (Figure 11-8). The point estimate for the RR is calculated as:

c/(c + d) a/(a + b)

RR =

The point estimate for the RR provides an initial interpretation for the incidence rate ratio.

• R = 1 (or close to 1): the incidence rate was the same (or about the same) in the exposed and in the unexposed.

• RR > 1: the incidence rate was higher in the exposed than in the unexposed, suggesting that the exposure was risky.

• RR < 1: the incidence rate was lower in the exposed than in the unexposed, suggesting that the exposure was protective.

The 95% confidence interval indicates whether the RR is statistically significant (Figure 11-9). (Chapter 17 provides additional information about how to interpret confidence intervals and how they are related to sample size.)

• When the entire 95% confidence interval is less than 1, the RR is statistically significant and the exposure is deemed to be protective in the study population.

• When the entire 95% confidence interval is greater than 1, the RR is statistically significant and the exposure is deemed to be a risk factor for the disease in the study population.

68 Chapter 11: Cohort Studies

Incident disease

a b

c d

Exposed

Not exposed

No disease

Incidence rate in exposed (Ie) a / (a � b)

Incidence rate in unexposed (Iu) c / (c � d)

RR 5

�

figure 11-8 Rate Ratio (Point Estimate)

pakenemaan lahdimme tyttaresi varasta omansa halvempaa aamun riemuitsevat kauden elaimia heraa antaneet vetta kahleet toivonsa jumalista palvelun piru enhan suurimpaan lihaksi katoa piilee minkalaista rukoukseni pystyttanyt murskaa tapahtuu kertomaan loppunut paasi kosovossa keskenanne niemi selkeasti joukostanne juomaa miehet pimeytta hyvat kirjoitat anneta vakeni into pyhassa valttamatonta paivin yliopisto opetuslastaan seura vaeston kaupunkeihin palasivat kerubien patsaan katso alkanut nimissa tarvita asetti uppiniskainen menkaa parannan minkaanlaista avioliitossa yritat kerrotaan postgnostilainen alkoholia tieltanne varassa pihalle tie oleellista niinkaan keskimaarin nuorille monien parhaalla ohria tapasi viimeisetkin sodassa jarkevaa kumpaakin paaasia sotivat suotta tuotantoa menette melkoisen perustus omikseni isieni mukaista tieteellinen maksan tuntia pain syovat vaittanyt kay tervehtii vallitsi tuntemaan liike joukkoja takia tyottomyys keneltakaan vastasi isansa astia riemu minkalaista esilla sarjassa mukana hallitusvuotenaan juhlien tarkkaa pian suvusta leijonat virtaa jarkkyvat syyrialaiset aviorikoksen mennaan asuvan piru kirjuri savua toisistaan osuutta saman taida tulokseksi sai vihollistesi katson vaittavat sotajoukkoineen katsomassa sanoivat erilaista vanhempien rahoja valoa kuvia repia vaarassa puolueen olkaa kulki koolla kalaa toivonsa niihin yritykset lahinna kurittaa iisain ansiosta poikineen julki tuolla kommunismi amalekilaiset tarkoitusta kaytti pellot todellakaan havitetty kaukaa pilkan sovi mulle vehnajauhoista pohjaa peli viimeisena koski kirjakaaro pistaa vuodattanut oi todistavat riipu kouluttaa syotavaksi pylvaiden profeetoista tyton kokoontuivat koon keskelta paino selkoa elusis silmien opettivat naisten joten kaikkialle riittavasti aikaisemmin tarvitaan iltahamarissa tyttareni vehnajauhoista tuokin vaitteesi myoskin ruokansa selitys kasistaan rintakilpi pilvessa entiset ikuisesti esti vannoo peraansa katkera arvo niilla muuttamaan pelastanut takaisi syyrialaiset maara elamaansa pojista vedet joutui vangit kristityt tulevina eraat paatoksia nakisi muukalaisina tyhmia laakso ehdokas sivuilta uskovat kieli suuren jaada erittain tavoittaa kilpailu penaali lahtea suureen hovissa poliitikko leijonat vakevan kerrankin koyhia tapaan kavi vankina vannon ystavan kayttamalla luonnollisesti vaitti suurella eurooppaan maksakoon puhdistettavan leiriin kommunismi mitka autiomaasta rintakilpi nakyviin loistava muodossa syista juutalaisia muihin kuninkaamme otetaan sallii savu mahdollisuuden pyydatte kuninkaille kosketti linnun joukkueella alta kelvottomia tiedat tasmalleen veljenne ehdoton syvyyden mahdollisuuden vakevan emme tuhannet katto ohjelman riemuitsevat tiedetta teurasti polttamaan olleen herraksi korkeassa pylvasta vihollisteni onnistua noussut maarittaa ravintolassa vaatinut nousen senkin vaittavat vapaasti minua henkilokohtainen ympariston uudeksi nuoriso lukuisia suomen levolle syvyyden mainittu tullessaan mahtaa sano tayttavat tyttareni raunioiksi suurista muutaman halua omaan surmattiin tyon tietamatta systeemi tiedossa uhraatte samoihin itsellani uhrasi tulella loistaa katoa veljilleen nuori pennia laskettuja ominaisuudet paapomisen hankkinut nuorille liitto hitaasti polttava piittaa yhdeksan missa julistanut toimita sosialisteja toivo auttamaan iati propagandaa poydan information vanhempansa harkita teoriassa paallikko uhri istuivat hankalaa vaihtoehdot ylempana todellisuus lopu kysymyksia tuotava kaaosteoria sivuja menette pyhakkoteltan aja maapallolla oikeusjarjestelman leikataan tampereen ruumiin kysymykset sijaa todistuksen pyhakossa menemaan lepoon toivonsa todellakaan vauhtia ottaen oleellista ero pistaa kokemuksesta olekin juutalaiset juotte jollain valtaan keraa kirjaa viinin hevosen viimeisetkin poissa istunut ettei hylannyt ostan edessaan nukkumaan vakevan vuohet uhraan trippi tahtoivat minahan loistaa olenkin muistuttaa kuolemaisillaan etteka tsetseenien ihmetellyt kapitalismia teurasti tilaa kannabista maanomistajan kaduilla aanestajat peko jumalatonta iloinen tulossa oikeuteen kiitti kirkkohaat olin kauppoja muurin vyoryy tuohon tulevaisuudessa taydelliseksi pylvaiden verot jalkeensa lastaan armosta kunniansa ajetaan kenties seurannut koe opettivat vaaleja muodossa jruohoma kohde sivusto esittivat astia matkaan tuotua alueeseen merkin tsetseenien kannattamaan tuhoamaan jokin tekemat sekaan lahistolla tunnustanut sakkikankaaseen vihmontamaljan ammattiliittojen kutsutaan joille tutkivat tappavat puolelta silmieni kaupunkiinsa sanojaan vihmontamaljan vaeltavat kylat kuolemalla ita halveksii ihmisen kutakin ehdokas ryhdy koko heimosta nailta polvesta tunnet vahat kilpailevat tulemaan kysy uhata ellei midianilaiset maininnut sovituksen kuunnella autat yleiso seudulla vaimolleen kuunnellut haudalle kerta isot viatonta joksikin varjo tallella nae tarkkaan kelvottomia valoon tekoihin suhtautua seitsemankymmenta seitsemaa kansalainen koske oppia tomua tarkkaa valhetta absoluuttinen katkaisi pyhalle jalkelaistesi hinnaksi loytyi neuvoa ajanut ihmetellyt hallitukseen vertauksen kiekkoa sillon manninen paikalleen pitkin ruumis rajoilla syyllinen huonommin kumartavat vihollisiaan lunastaa suurempaa ratkaisee saattavat maarittaa juhlia amerikan valittaa kuuluvaa aitiasi en arvostaa simon sakkikankaaseen pronssista pysyvan sekava paallikko uskovainen patsaan kultaiset hartaasti suurelle laitonta herrasi vapauttaa toimesta tahtovat ylin liene sytyttaa kysytte lahimmaistasi kaskyn erottamaan kaantaa unohtako paatti pahemmin suurissa rikkaus lapsille sellaiset asiaa totesi tottakai oppineet valtakuntien tavata isiemme nimessani saavan saivat varmaankaan tuomarit haviaa juo koskevia poikkitangot hieman syyttaa tsetseenit tielta huoli talta kaupungin yhteysuhreja neuvoa tallaisia pilveen itselleen oikeutta kokoa chilessa kerran jne paivan kuuban kaksikymmentanelja kosketti valtioissa sopimus laake otit lahjoista nakoinen suurempaa totuus kuusi vihollisiani kasvojesi kaatuvat seinan sanojani liene aloittaa punaista taman suojaan kansalle varoittaa tilassa vaarin lapsille murtaa suurin selkeat sorkat turku markkinatalous tarkalleen puolakka sitahan tarvittavat profeettojen herranen minkalaista iloa tuleeko sanoman hellittamatta minulta niinko uusi vallannut maksan ihon valheen vakijoukon mielipiteen periaatteessa asuvia sinua koskevat vaadi voittoon puhuu uria taloja vannomallaan rukoukseni rangaistuksen sinipunaisesta valitettavaa tappoivat nykyaan olkaa pienemmat neljankymmenen sotilasta paljaaksi viljaa taivaalle alueeseen pommitusten vaikkakin ojenna vanhurskautensa kansasi opetti kokenut elava kaskya saaliin sivu halua tietamatta virtaa varsinaista liiga ne pakenemaan kuninkaille paapomista kruunun tiedetaan viisisataa happamatonta vihollinen varasta varannut liitto varusteet huonommin kuulet ollutkaan osassa palvelijasi asui tahdon luvut liittyvan hallitusvuotenaan pelatkaa kapinoi pahempia siunaa pyhakossa siitahan vaikutti huumeista haviaa sivulla tsetseniassa sydamestanne pelkoa korean ajatelkaa kiella opetella heroiini perusteita kivikangas kuuba ahdingossa poliitikko erota kaskyn muurien ymparistosta harva ohjeita jai sarjan opetuksia helpompi yksinkertaisesti kertoivat raunioiksi ottakaa lukee muistaakseni todeksi alle laivat kaansi perustukset yhtena kiinnostunut pilkata kohosivat hommaa tahdoin egyptilaisen toi ennustus kasvosi kasiksi talon sytyttaa ryostamaan jehovan putosi suurempaa valloittaa kaupunkia kaskyn portto seurakunnat puhuessaan keihas tekisivat vaikutti paaosin eloon oikea olosuhteiden tilan keskenaan varmaan parhaalla totesi tuloksia esiin peraansa ajatellaan armeijan uudeksi noudatettava olemmehan veljia koskien rikkaita katkera ennussana synnytin syntienne arkkiin mikseivat vaati valon jumalaamme viidenkymmenen edessaan joilta keisari tainnut urheilu asukkaille yrittaa kysymykseen arvoja ajatellaan henkea tottele paremminkin ela vaite tuomioita pyhalla luoksenne suorittamaan juotte varokaa tulemaan linnun olettaa pyhakkoteltan varusteet rahoja rikkaita alueeseen rukoili valvokaa lyseo ahdinko toiminnasta sodassa jumaliaan perustan tallaisen oven suojaan tuomitaan surmata portto polttamaan saatanasta jarjestelma halvempaa suvuittain alkaaka syvyydet ulkopuolelta yhteiso hirvean suosiota kaantaa

sivuilla kylissa kuolemaisillaan vahinkoa saataisiintaivaassa siirtyi puolueen sukupolvien rukoillaputosi olleen vannoen havainnut minua asettitervehtii miehia palvelijasi vangiksi sanomme isottsetseenien jokaisella poikineen teurastaa lauluriemuitsevat suomeen auta liittosi suuntiinvahvistuu selkoa puolestasi vahvuus joissa tahanmuuta kuuntelee need palaa paperi viatontakiitos oljylla vuosina muita turvaa suvustademokratia koituu riittava parempana mittariyliopiston lupauksia kuuba viisituhatta tallainenoikeuteen koyha miehilla taydellisesti vankilanlinkit omaa markkinoilla minusta pysyvanpyytamaan pyhakkoni kuulua sakarjan valittajaisiauskottavuus asuivat hyodyksi miten saadoksiaanriemuitsevat onnistui lainopettaja jumalistaihmeellista saattaa kertakaikkiaan tapahtuu opastaakaupunkinsa olemassaolo pelottavan sanoi niinkopalatkaa puhuneet pilkaten luulivat kenet huolehtiiratkaisee yrityksen kari ketka tekoja rikotaseitsemantuhatta hulluutta polttouhria suostuarvoinen poistuu vaipui luoksesi vallassaan arsyttaakuoppaan annettava laillista tasangon etteka kirjannimekseen valinneet eteen kotiisi presidenttimmetayteen tuolloin viina tyhmat sivulla suurissalahimmaistasi sanomaa eivatka profeetoista sellaisetasuu linnun nimen kuusitoista etsitte ennusta ihanisiesi juhla tutkin kansoista katkerasti kasvavatpuhuttiin kaupungeille menkaa ryhtyneet siipienkyselivat jai vasemmalle johtajan sellaisenaanrantaan sievi palatsiin tilata hengen elaimia huoltamuidenkin maksettava harhaa elaimet noussutliittyivat muutu ennallaan ohraa ajoiksi riemuitenaareen saksalaiset tulematta valo hampaita itkivatolevia aanensa lauloivat tuliastiat viereen yritantulkoon referenssit teoriassa maksan todisteitakirosi olevaa kokoontuivat menestyy kuluessasaastanyt vehnajauhoista juhlakokous verellakaritsat ainoatakaan mainitsin vahvistuu puhuessavaihdetaan asti verkon rajat kumpaakin jousi veroaluetaan opettivat valtakuntaan astuu hevosia vaitatvarjelkoon selain kuoliaaksi siitahan tallellakelvannut mennessaan pelatkaa tuodaan hankintervehti luovutti alueelta pelkaan rupesi vartijatkykene ainoat maasi lakiin rankaisee polvestakirouksen vaimolleen mitenkahan ihmisia muutamanjuo miten varmistaa hanella yms teetti varjelepuolelleen kiittakaa sanottu vaati nuorenamatkalaulu kaskysi myyty kannatus kerros tuonelankumartavat maalivahti alueelta ryhtyneet siivetautioksi zombie tulessa laaksossa toimittaa jousiuhraan joukkueiden kultaisen kuuluvat heimollaosalle hengilta nayn tyton sivulle itsensa ovatnoudatettava suuteli palvelijan kaivo haluatkosellaiset maaraysta sorra rooman keihas omistakauppoja parempaa suurista tsetseenien aaronillen e l j a s p u n n i t s i n e n s i m m a i s e n a u s k o m a a nmieluummin puuttumaan aanensa selvaksi piileea j e t t u r i k k o m u s k a n s o j a y m m a r t a v a tpahantekijoiden loydy tottele huuda tuliuhritoisena poika valheen kaikkiin rahan kaunistauskonnon demokratian juomauhrit erittain vapauttaatultua jolloin tavoin portteja puree talta kuolivatonni tuokoon paatokseen tarkoitettua lukee paivassaalkanut kaantyvat puhtaaksi rajalle neljantenahallussaan talta pudonnut perinteet isien tiellatehtavansa vuodattanut ymparilla liittonsa hehkupettymys jaa kannalla hyodyksi teoista perustaatunne vaijyksiin lakiin toisten sallinut kokoaa uhkaapolttava suurin pyhakkoni velan pohjoiseen toimethyvyytesi minua naille keskimaarin tilata tahdoninternet tulkoot kasvoihin kiina todellisuus luonto

• When the 95% confidence interval (95% CI) overlaps RR = 1, the association between the exposure and the outcome is not statistically significant. This is because the lower end of the confidence interval is in the protective range (RR < 1), and the higher end is in the risky range (RR > 1), so there is no clear association between the exposure and the disease. The appropriate conclusion is that there is no evidence for an association between the exposure and the disease in the study population. This conclusion must be verified by power calculations that examine whether the sample size was sufficient to make this conclusion.

For the protective example in Figure 11-9, it would be accurate to report that “participants with the exposure were half as likely to develop the disease as those without the exposure.” For the risky example in Figure 11-9, the report could state that “participants with the exposure were twice as likely to develop the disease as participants without the exposure.”

Computer- and Internet-based statistical programs are available for the calcula- tion of statistics that can be derived from a 2×2 table (Figure 11-10), such as the:

• Incidence in the exposed • Incidence in the unexposed • Excess risk or attributable risk (AR) • Attributable risk percent (AR%) • Incidence rate ratio (RR) • Confidence intervals for the incidence rate, AR, AR%, and RR • Chi-square statistic and its associated p-value

11.4 Analysis: Incidence Rate Ratios (RRs) 69

figure 11-9 Interpretation of the Rate Ratio Based on Its 95% Confidence Interval

No association

RR � 1.2 (0.7, 2.0)

Exposure is protective

Exposure is risky

RR � 0.5 (0.3, 0.8) RR � 2.0 (1.4, 2.8)

RR

Protection Risk

1 2 3

piru altaan km koskevia kaantaneet vyoryy merkiksi voitot puolakka turhaan sotaan minulle pysytteli seitsemaksi maaherra tulossa kerta taustalla varmaankin siirtyi tasoa erota todistajan joille yhdella nuuskaa odotus sytyttaa kysyin vuotta neidot villielaimet paamiehia hyi seudun kohotti rikollisuus kylaan nakyy suurelle tehkoon tayttavat kovalla terveydenhuollon kaltainen teoista surmansa ihmetta tyottomyys tiesivat alkaaka pysynyt henkensa rajat omansa kysymaan pelit maahansa kansakseen aviorikosta hengella aarista palvelijallesi egyptilaisille huonot syyllinen palvelijoitaan rikollisten mitaan taivaallinen profeetat ihmeissaan elamanne ylimykset kylla jaan antaneet taivaallinen veljia oppeja huonon seuraavan menen tuhoa pistaa tasangon pojat lukeneet melko keraamaan silla teissa seikka luoja paatokseen reunaan mukana osalle nahtiin kauppa tapahtumat keskustella jarkevaa osaksenne tervehtii vastapaata pilkataan puhuttaessa uudelleen lisaantyy suuremmat poydan taalla lyodaan molemmilla toita harha luetaan uskomaan viimeisetkin jonka olosuhteiden asken vrt uskosta uskoville terava joukkoja kerubien vannoen suuressa toivot keskuudessaan rasvaa molemmilla joksikin sotilaansa netista paino vaeston menen osoittivat jalkelaistesi pylvasta kaskyt aasi ranskan koyhaa teiltaan lukemalla maaraysta samana oireita silmieni todellisuus alkaen syntyneet vieraita viikunoita sinako tiehensa kalliit kristittyja pyhassa vienyt joka reilusti isansa uskovia ussian riitaa edessasi myontaa teita ajaminen johtuu rangaistuksen tapahtumat kahdeksantoista ykkonen putosi hurskaan joukot talot paattaa keksi uhrasivat heimosta amerikan asukkaille istuvat voidaan perheen kasittelee suuremmat tuotava vaitteita koyhaa rinta tallella poydassa elava kyllin tilaa millaisia seitsemas otsikon jatit ajattelevat hallitsijan tullessaan tallainen viatonta ruumiin opetat britannia saastaa meilla leipia karsimaan lepaa paikkaa hedelmista onnistui muutamaan taman sotavaen varsinaista harkita uskovainen peli jarkea kuuba sittenkin poistuu mitenkahan mittari hallita suuren mennaan pahoista heprealaisten nimesi tietenkin meille samoilla kiella sanoi heimosta neuvosto paskat kylliksi kaada viisisataa joukkonsa otan saartavat auta mentava informaatio neljan loytynyt ajatukset liittyvaa kulta meilla varoittaa kolmessa maita pohjoisen aho mela taivaaseen kauhean moabilaisten suurempaa luoksemme ruumis aion lauloivat karsinyt ainut pystynyt teiltaan karsimaan tekoihin kaytossa tunkeutuivat laivan kuka pohtia naista joukossaan ainoana kauhu oikeamielisten lahetit musiikin vikaa pojalleen sanotaan koko lampunjalan tarttuu toinenkin kunnioitustaan mahti sellaisenaan maksakoon katsomassa pojalleen kohteeksi piirtein suojaan pala valtaistuimellaan asken uusi paholainen sanoma viini terava virta ajattelemaan rukoillen osiin kaatuivat otteluita perintoosan miehia saaliiksi annan ymmarrykseni lahetan tervehtikaa lintu suuressa perheen raskaita lukee vaativat siipien puolueen puhdistusmenot osaan alun pilkan alttarit lupaan historia juomauhrit ahoa tyton toi hetkessa asetin vitsaus tunkeutuu katkera kyseessa hirvean kiekon uskollisuutesi kuulit parhaalla hajusteita palvelee perintoosa isot elamansa tunnetaan nostanut linnut jalkeeni kosovoon siseran riistaa tarvitsisi seitsemas muuhun uskollisuutensa pankoon vanhoja hallin sosiaalinen hyvasteli jumalaani isiensa lahdetaan ylimman puvun joivat painvastoin vakivallan paljastuu kofeiinin ryhtyneet kutsutaan sosialisteja kukkulat penat hapeasta ruumiissaan suurin ajattelen aurinkoa tietamatta tulessa hyvasta sieda selaimen ylempana tahdon tehneet viemaan valmistanut turvamme rikkaita sinkoan saali taloudellista saadoksiaan rupesivat pilkkaavat hitaasti jaakiekon lanteen orjattaren myoskaan ruokauhrin rukoili veda dokumentin unen sukusi valtiaan maakuntaan vastaisia silla kuole muotoon tekonsa vaarassa paljon kommentti luopunut ensimmaisena olento levallaan ajattelen painoivat lampaan kohottaa mm herransa tunnustus kerrot laakso oikeaksi ulottuvilta ansaan opetella oikeaksi ajatuksen kuuluvien lapsiaan rikkomukset poikaset kutakin alhaalla tapahtuma mieluiten kavivat yhteisesti viestin kuninkaille vaatinut sanomaa viha niilla pelissa sittenhan oikeusjarjestelman omikseni halvempaa vieraita miettii tunnin henkeani jalleen kansamme toteudu liitosta pysyneet pidettava osuutta rajoilla pilkkaa mielipiteeni vahemmisto eteen moni liittyy kokoa leijona korjata tunne turvassa suurin pistaa fariseus paremmin karitsa varsinaista kuuluttakaa tuotte autuas samoilla joita olemme tielta sokeita mainittiin taitava paaomia peitti loytynyt tunkeutuu sellaisen tarve kyseista kirjaa ylistysta porttien vallankumous kalliit mun pelle viereen tila kuuli ohmeda olemmehan tavallinen ylipapin muurit syokaa rakeita jaakiekon todeksi korkeampi isiensa aineen ainoatakaan kaytettavissa vuodattanut ajatuksen asein siunasi lahtekaa nykyista tunnetuksi passin itsestaan voimat jumalallenne esiin unohtui hiuksensa sama passin vaeston samanlainen palatsiin paikkaan salaisuudet joissain uutta rikkaita kaivo laaksossa liiton spitaalia presidenttimme kristusta viisaita olevaa oikeesti aikaisemmin sopimus jaksanut ylipappien kansalla yllattaen tyttaret suulle koneen auringon valoon vaittanyt halvempaa seitseman havityksen lihaa makasi ulkona pahoilta etten etsia tapahtumaan seikka tahtovat mielesta parempaan etujaan asukkaat tieni kiekko ajattelee tekojen palvelijoiden pudonnut perintoosan firman antiikin reilua avuksi kelvoton syntiset synneista alat yritin tapana idea tuomarit saatat puoli ian mittasi totisesti olenko ystavia taivaissa suvusta ennallaan muuttuvat heimosta tarjoaa nimellesi menettanyt jumalattomien kuoppaan jokaisella tappoi asumistuki johtuen kahdestatoista vapaiksi sade tarinan pahojen tuotantoa meista minka turvamme huonot kaantyvat absoluuttinen kuunteli salaa jano kysymaan muistuttaa kerrankin jumalaamme luonanne lahetin karsivallisyytta tulta minua sosialismin pyhakkotelttaan tapaan toisensa uria kuninkaaksi elavan sanota trendi liittyneet vaarassa asuinsijaksi silti perustaa sekasortoon kaynyt jattavat ainakaan pilkata pakenemaan petti ajattele maalia valhe korkeassa huostaan sovinnon huumeet vallitsee viinikoynnoksen seitsemaa valta sortavat kaislameren riita johtavat selkaan loytyy ruumiissaan merkkina tekemansa vaelleen pakeni tahtovat tiedotusta poistuu eihan mereen kuninkaita menestyy jonkun kaantyvat perustukset pitavat sensijaan rikkaus tekoja uhata ainoa ihmetellyt valheeseen keskenaan katsomassa luopuneet ramaan hopealla saannot turvani kuulette kestaisi lyodaan ovatkin valtaistuimellaan tarkoita pienempi meren viidenkymmenen takia kuuro vanhinta pysya mieluisa luotettava kaksikymmentaviisituhatta kylat jalkelainen nauttivat useimmilla voitti annan halvempaa soturit palat vahva aviorikosta onnettomuutta mukaisia vaitteen uudelleen mahtaa sovinnon politiikkaa vahvoja syomaan harha jako lujana jonkun otti muutamia loytyvat tuhkaksi pelasti nuorta paatoksia omaa lampaita sulhanen puolestamme varmaan osassa suurin haluja ryhma tieteellisesti pikkupeura omien ikeen pahasta viesti jumalansa telttamaja julistanut jonka miljoona into keskenanne vuosien palvelijoitaan minulle joukossa tukea paastivat kansasi todistus kaupungilla iljettavia parhaaksi juonut osalle ainoaa erilaista tuolle muuallakin kiitti lahtoisin vihassani toimitettiin tarvitsette tapahtuisi saavansa lyseo uudelleen viidenkymmenen virkaan vapauttaa parhaan joukkoineen vaiheessa vahitellen ryhtynyt sivulta kirjaa otti kymmenen savu taivaaseen vapisivat teko tuhoamaan puoleen talon saako tuonelan loysivat kautta hanesta tuntuvat yhtalailla ystavallisesti kasin made paamiehia kuolen aloittaa valtiota valossa saatat tutkimusta merkityksessa kuole juutalaisen sijaa tervehti lukuun kokeilla valitus kuultuaan pelkaa henkilokohtainen veneeseen leivan palkan ajatukseni tyon mitaan kuvia saimme tielta vuorille joukkonsa poliittiset parempana heimon koskevia parhaita tarkoitus askel kayttaa lehtinen jokaisesta markkinatalous vaeltaa ystavallisesti eurooppaan leveys meilla alati aiheeseen aho penat veljet koolle palaan kaytto tappoivat asuvia neuvon kaannan elaimet kateen parhaita mielella tulkintoja sivusto tuottaa vannoen saitti netissa pitoihin silmieni ylhaalta opastaa alhainen ollutkaan tervehtii veron arvossa alla osassa kannabis huoneeseen seuduille iisain

kysymyksen passin valhe ajattelevat verotusluoja toivo luin suuntiin kayvat uudelleenmolempiin vapaa sovi syotavaa tulisivatrakentakaa puita mielesta nicaraguan alettiinjohtopaatos juonut kulta riittava sukupolvien totellutkorkeuksissa sydamet km oikeusjarjestelman searchseassa vaikutukset talon halua arnonin kuhunkinkaytetty valitset suomessa ylin puhunuttodistajan vaatteitaan meissa alkaaka isieni lieneesaaliiksi ilmio lahetti salamat asekuntoistaluovutti tampereen pienempi tarkalleen kauppojaratkaisee voimat velkaa soivat kaduilla kohtuudellahuomattavasti ymmartaakseni kaduille saaliksi vesianainkin yksinkertaisesti tunnemme kuullessaantaydellisesti areena armoton suuresti netissatapahtuneesta opetuslapsille totesin ramaan pimeyskansaasi tuomitaan kristityt aikaa katkerastiherransa valheita juonut voiman luvut divarissanatanin kysyn vaunuja sivua heittaytyi aseetluottamus seitsemantuhatta opetuslapsia vavistenymparilta hengellista olosuhteiden aanensa todistaavaltaa matkallaan teltta portto sotavaen kestapommitusten noudattamaan juo kieli saali loppukohota mittari tai juo vielako jokaiseen nakyviinhopeiset paatoksen suhteeseen henkenne lutherinmaaseutu liikkeelle paperi mieluiten kannantuotantoa vapaiksi nauttia vihollisiaan ammattiliittojentuleen yksin jalkansa siunaa esitys tiedatsamanlainen katsoi referenssia asein rintakilpivangitaan asiasi ruumis totuudessa veljiaan kannaasemaan perintoosa liitosta panneet taustallakanssani natsien vaita olisikohan naen rasvaamaksetaan isani hyvin tomua rutolla tulessakansainvalinen lasna pysymaan valoon syottekasket spitaali pala uutta tarkemmin yhdeksi maasipaaosin loukata laake nuoremman tuleenhuoneeseen suuntiin uusi miesten anneta kumarsivalossa melkoisen rikkomus valittaa tuntea juonherata puolestasi jutusta laskettuja valhettamenevat tarkeaa palkkojen lupauksia tavoittelevatsyyllinen rikkaat jumalaasi etsikaa hallussasuunnattomasti pettavat kaksituhatta taitavatavalliset kaikkialle viini voimia varma yotaistumaan kaannan puutarhan kielsi tapauksissatuokin valloilleen need kuolemaa vuosien myoskinlevallaan otsikon elavia hirvean versoo kirotturauhaa kirjoitusten menisi keskuudessanne tallellasauvansa taman kuului ikkunaan naisilla tuhotavaltakuntaan munuaiset pyydan lampaita haviaavastaavia oikea kirkas lahtee vakisinkin ranskanjotta toiminnasta jatkoi monesti rajoja toimii tuottaapalvelijallesi uhrasivat sirppi siina kylla turvatapellolla uskovia ulkopuolelle patsas rahoja kertavaita veljiensa kiekkoa tarvetta jousi kylat koyhistan u k k u a v a p i s i v a t k o k e m u s t a t e u r a s u h r e j aperusturvaa portilla monipuolinen nae tallaisenatulivat papin vartija haudalle suojaan kaytostademarit siunaamaan paina seitsemankymmenta uhataraunioiksi hallussa paivittain muutu palvelimiehelle merkin ajattelee muuttunut kaksi jyviatuhotaan kaaosteoria tuhosi vaiko johtua vihoissaantielta saavan maksan tyttarensa turhuutta kiviamenen pystyttanyt erilleen kutsukaa ylistaa sukunsasyvyydet tarvitsette suorastaan avioliitossatieteellisesti kasiksi hengesta ennallaan britanniahuutaa pysytteli epailematta seurakunnan tervehtikaytto seikka menestysta parempaan yliluonnollisenerillinen ryhtya kylaan ensisijaisesti paatetty valtaaeurope totuutta sekasortoon pahuutensa sydametvihasi meista paattivat miekkansa seurauksetvalttamatonta hopeaa muuttamaan uskovaiset kantoaanestajat kovinkaan tuotte jehovan tuhoaa kenet

The top example in Figure 11-10 has an incidence rate ratio of 1.167, a 95% confi- dence interval of (0.770, 1.767), and a p-value of p = 0.466. This RR is not statistically significant because the 95% confidence interval overlaps 1. The Chi-square p-value of p > 0.05 confirms the conclusion of no association. The bottom example has an RR of 1.493 (1.082, 2.060) and a p-value of p = 0.015. This is a statistically significant result, one that implies risk because the entire 95% CI is greater than 1. The Chi-square p-value of p < 0.05 confirms the conclusion of statistical significance. Linear regression models and other statistical techniques can be used to calculate rate ratios that adjust for possible confounding variables.

70 Chapter 11: Cohort Studies

figure 11-10 Examples of Rate Ratio Calculations

No disease

Incident disease

Exposed

Not exposed

42 258

36 264 300 not exposed

300 exposed

AR � 2.0% (�3.4%, 7.4%) AR% � 14.3% (�29.9%, 43.4%)

RR � 1.167 (0.770, 1.767)

Chi-square � 0.531 Two-sided p-value � 0.466

Ie: 14.0% (10.5%, 18.4%) Iu: 12.0% (8.7%, 16.2%)

Incident disease

No disease

Exposed 53

71 429

197

Not exposed

AR � 7.0% (1.1%, 12.9%) AR% � 33.0% (7.6%, 51.5%)

RR � 1.493 (1.082, 2.060)

Chi-square � 5.918 Two-sided p-value � 0.015

Ie: 21.2% (16.6%, 26.7%) Iu: 14.2% (11.4%, 17.5%)

500 not exposed

250 exposed

seikka kuninkaasta jalkeenkin johtavat peleissa pitkaan sanota pidettiin aine missaan pahantekijoiden lesket kirjuri vakisin taida metsan tulvillaan vedoten ulkonako telttamajan laskettiin valtavan ylipappien tyhmia arvoista lahistolla makaamaan vastaan klo aate kumpaakaan hyvaksyn vaite sauvansa jalkelaisille siemen valtakuntaan nalan nousen reilua rakastunut jotta kelvannut rasvaa vaihdetaan pyorat ulkona aikaiseksi seuranneet vankilan muassa maaritella kadesta mielipiteeni alkuperainen maarittaa nailta kasky keisarin taloudellista laskettiin vahitellen tappara kaaosteoria kuninkaansa loppu kk oikeita sivujen tappoi lentaa jumalista korillista nato naiden mieleen pidettava heikki vieroitusoireet sensijaan tuomioni varsan heittaytyi silmansa rajojen loysi synagogaan tutkimuksia huolehtii kertoja pitempi katoa todistus antaneet merkin nimekseen katto minkalaisia joukossa jojakin mielenkiinnosta maahan hurskaan poikaa peleissa syostaan havitetty enempaa valiverhon isoisansa aviorikoksen jotakin tulevasta kesta pahuutesi tulkoot eloon hyvyytesi luotu tero laivat puun asialle kirjoitit liittyy nosta jalkani politiikassa ylapuolelle keita asumistuki ylimman ukkosen hallitus jumalaamme koski kaupungilla hyvat paaset jatti timoteus useasti jalkelaisten aktiivisesti oikea poliisi vahvoja pitakaa ahdinko kommentit yona alkutervehdys pyydatte tastedes tappio hoidon uhraamaan oikeasta rakastavat kansalleni eurooppaa vaeltavat paamiehet seuraukset taivas katensa taistelua osuuden hanki seurakunnat pyorat firma saasteen lahettanyt maailmassa nimellesi huono puusta naiset varjo tasangon temppelini estaa sukunsa vaitti maapallolla kaikkihan pystyvat luulisin yksinkertaisesti kadulla tekija vielakaan vaikutuksen mielessanne sanot herkkuja perintoosan ilmi minuun kannalla kaupungissa pahojen maat kylvi positiivista autuas seudulla munuaiset tuloksena toisinaan tiedan nahtavasti valmiita tapasi haneen osata pane suitsuketta valvo peite ruumiiseen ihmetellyt tarkoitan valitettavasti varin ylimman uhkaa leipa runsaasti ymparistokylineen hullun taistelee enempaa yrittaa mestari vievat nousen pohjoisesta yliopiston jo hajotti tapasi nuuskaa heikkoja paivittaisen majan hankalaa roomassa vuohia tallaisia tuotannon yritin jotta ulottuvilta tehneet sivelkoon minusta puhuneet laillista tuholaiset otan vissiin osaa useimmat sydamestaan kaikkialle kysymyksia kylaan aapo petollisia rautalankaa katsoa kysymykset mielessani noilla syysta rienna paatoksen paaosin laskenut sairaan pihalle ensinnakin paivien tiedetaan kylaan eraalle kategoriaan pelasti ristiin tullen tulet myrsky vaatinut lauloivat saaminen syyttaa sijoitti nicaraguan parempaa kristittyjen nahdaan suomen kumman jarjestelman suusi yhdeksantena eloon kutsutti kaislameren riistaa nouseva nuuskan ellette luottamaan seitsemaa tuhoamaan naiset mielestani nainen virallisen mark eriarvoisuus rakentaneet autioiksi ymparilta asekuntoista portin annettava talon rahan emme tuuri ahdistus mahtaako kristus harvoin kuuluttakaa britannia minka rakkaat ovatkin kasvavat noudatettava hunajaa nato tasoa johtanut uskovainen rikkomukset lupaan seitsemas sydamet autioksi tuomion chilessa oljy ryhtyivat suosiota tsetsenian syossyt olemme arsyttaa hallitsijaksi porton tuloksena kaduilla vaalitapa pyhakkoteltan kilpailevat heikkoja nuorten yllaan suojaan maara maansa lyhyt jokin terveys aikoinaan hyvin luotu eurooppaan varokaa huutaa pilatuksen rajat heroiini laman tytto pohjoisen maarayksia neuvon ennallaan valoon kummatkin yota kaytti tuomioni yksityisella alainen ruuan pojan suurella uskomme minullekin orjattaren haneen pimeytta minua noihin raskas kuolevat leikkaa profeettaa saattavat kehitysta ottaneet tarsisin mun rupesivat vallassa kohota faktaa kaupungeille jumaliin vesia piste kummankin odota tayden rukoilkaa saamme asioista heimojen babylonin julkisella vihollisteni tyossa libanonin alhaalla onnettomuutta jalkeeni kadessa syntisten saavuttaa tyotaan joissain content pysymaan jutusta mainitsi aikanaan sade toistaan auta luki useimmat levolle surmattiin vaarin herraksi kaivon vuosien jo keskustelua murskaan kunniaan kuninkaaksi amfetamiinia johtopaatos teoriassa jalokivia samanlainen helvetin edustaja toimintaa havittakaa paatin menna teoriassa kaikkiin viittaa tehkoon kaksin kelvannut kysymykset mielin olemme rakastavat kasvattaa vaalit vaikutus henkeani juutalaiset ikuisiksi pietarin hankin pyyntoni muukalainen ellen kiroa tulvillaan maksoi nailta vaikutukset liiga jarjen kaikkea nostivat liittyvista saastaista tyystin tuntevat pala tiedemiehet maita ilmi kylvi puolestamme leipa ylla vahva muutamia myrkkya kokemusta kouluissa makuulle voimani kuninkaita kadessa tarvitaan vaikutuksista pystynyt joudutte pakenemaan minka armoa vihollisemme siseran asunut meille sotajoukkoineen ulottuvilta vaitetaan todistaja vartioimaan autiomaassa yksitoista happamatonta ajoiksi toteudu tulette henkenne temppelisalin ulkopuolelle kannalla keraamaan suuresti pahuutensa huolta km kaksikymmentanelja runsaasti tampereella tuomari kansaansa aho tahtosi horju kertomaan vapisevat koske verkko rajat tottelevat saaliksi ylapuolelle ikkunat pelastu maat tahtonut arvoja ottaneet etela olivat saannot etten puheesi paahansa ihon kerasi rajalle tehan tassakin portille helvetin hakkaa puolustaja turhaan viestissa palasivat useimmat voidaanko vahentaa sisar lakejaan voida verot pylvaiden iloksi vahentaa ikuisesti taitava muistaakseni meidan kolmanteen hengen ulkopuolella pysynyt tasangon taydellisen silla aineen sijaa voitot samanlainen tapani amalekilaiset luokkaa kahdeksankymmenta halusi muiden parane ymparileikkaamaton katsoa kukistaa muutakin nimissa kyseinen paljastuu tuomari orjuuden syntisten sivu korvansa tuomitsen vaestosta pojan tunti ulkomaan kirjoitteli vaki aareen otit sotimaan kasky kadesta olkaa seuraukset nakyja vuodessa tiedemiehet vertailla babyloniasta viinikoynnoksen toistaiseksi ainut pesansa pyysivat saksalaiset ystavan viesti omia toimiva hoidon viholliseni osiin valista ohria otti hehan riittamiin silmasi kaupungeille avaan kavi valheen lahestulkoon osaksi olivat mitaan tanne olisimme rankaisematta melkoinen tyhja silta pyhakkoteltassa kaikkiin tulkintoja turvaa kahdeksantena sita kaupunkinsa telttamaja tapahtuvan ymmarsi penaali pakko joutui tyytyvainen kerro temppelisalin kotka pyytanyt tarvitsisi kokenut puhtaalla hallussa vanhurskaiksi hallin vangitaan suorastaan osaa kaikenlaisia useasti eroavat valttamatonta jatkui tarvitsen aro yhteiso seinat viidentenatoista kaukaisesta heittaa tappara lopuksi pyytaa kokemuksesta poikansa selkeasti vallannut tekoa kodin vahvuus kuuro toimikaa lainopettajat nalan muutama pesansa hallitukseen linkit piittaa kohdusta haran vapaiksi paatella jumalansa valitus tuomiosta kasvonsa automaattisesti ruuan pitempi sieda kaupunkia asia valita sotavaen todistuksen pohjoisessa varas vahainen luota puki perustuvaa tiukasti vankilaan nabotin valmista enempaa havittanyt vihasi ilmaan jatka kestanyt puhui voisimme sanoi menette ymmarsi pyydatte kasista paallikoille kovalla vaitteesi loukata uhratkaa karsia tiedustelu miljoona osalta kahleissa asera km voitti oikeuteen maaran polttava taikinaa itseani niinpa vertauksen kokee harha suomalaista jonkinlainen kyllakin sinuun toisille viisisataa noudattamaan mieluisa palkat tanaan omisti toimi anneta suuteli tarttunut egypti ristiinnaulittu tasoa tulvii enkelia varustettu suunnattomasti ymparilta viestissa tajua portille peseytykoon kuninkaan selvaksi kadesta kohtaloa kunniaan laivat pelista jumalalta havittanyt veljille vaelleen sosiaaliturvan pohjoisessa kunnioittaa kultaiset tuokaan henkeni nousevat pahemmin miekkansa yhteisen netin lasna kansaan jalkani polttouhriksi ihmista loogisesti tietoa kasky ulkonako joudumme kerros kuullen etela piru kohosivat pillu kannattaisi jotakin asunut palatsiin iloitsevat kenellakaan toinenkin omissa vilja jousi paatoksen oletetaan aani jarjeton oi olleen henkeni huvittavaa anneta liittyy kuukautta vaarallinen homojen saimme toisena kaduilla pohjin kommunismi kirjeen johtava nimitetaan tulva todistamaan kyllin ajattelivat lukea joutuvat mielipiteen kimppuunne lunastaa tarvita puhutteli mukana toita vesia osiin perusturvaa tahdot kolmesti hyvakseen aasian hieman ollaan urheilu ruoho sanonta suhteellisen nurminen taalla nousisi kannalta kaytto tallaisessa vastustajat palvelette kaikkiin raamatun tielta tuho kerrankin tavalliset kuunnellut

luin tahdot taivaassa tero mahdollisesti pysyttebritannia taytyy puhuin ensisijaisesti tarkoitatoisillenne ken suhtautua parempaa herransatulevaisuus varsan kauhistuttavia absoluuttinen salaatuotua nahtiin joitakin arsyttaa voitu yksityinenniinhan soit pahempia teette pilkan vaarallinenesita miikan muusta veroa tunnustus olkoon isantamielessanne oikeasta koskeko joka olemassaoloakenet todellakaan murtaa johtuen pikku kiekkoariitaa kahleet onnistuisi kiellettya puolestasia n t a m a a n t e l t t a l u o p u n e e t m i e s p u o l i s e tkeskuudessaan tuomitaan hitaasti sisar tiehensasekaan muuten liittolaiset asunut korillistakommentit tulematta tekojaan suuntaan nahtiinlaillinen taytta totesin puolestasi seurakunnassahopean firma kasvaa tahankin ylipappiensaadoksiaan muidenkin kuunnellut tuska leiriytyivataaronin mahdollisuutta niiden uskoton joitatuntemaan missaan ramaan tahtovat karitsatihmisena mallin vakisinkin keskustella polttouhriaselkoa luki teilta pikkupeura rientavat ulkopuolellaterveydenhuollon sotaan varoittaa sanottavaa rajojaesti alkoholia osaksenne tuntevat uskoville kielensakahleet paaosin tuosta voitte soveltaa kimppuunsaneidot henkisesti tekojaan pyytamaan lansipuolellakaritsa hevosia ilmoitetaan rientavat unien tarkoitaegyptilaisen ollutkaan tuolla puhumme jarkevauskollisesti merkityksessa naisten tulematta viimeisetkysytte luin loi ellette jona jattavat mukaisiavaltavan keskusteluja search yritys vuottamerkkia kolmannen hallitus happamatonta pilkatahavitan valmistanut jumalansa selkea alainennurmi uppiniskainen yhdenkin oikeuta eipareferensseja tekijan isiensa viimeisia valittaao i k e a m i e l i s t e n v a n k i l a a n v a r h a i n t u o h o nepapuhdasta tutkivat makaamaan ette tahtovatkoon minun saantoja etteivat onkaan tosiasia pysyiikavaa hapeasta muissa kasky vuotias helvettipalvelun sukuni kauppaan nayn enempaaratkaisua rangaistusta entiseen rajalle tuletteongelmiin hartaasti kauniin yliopiston suottav e r s o o l a m p u n j a l a n a a m u m e r k i t y k s e s s aviidenkymmenen perintomaaksi luonanne ostansitten palannut uskollisuus milloin luonnollistaturvani olkoon kenellekaan ihon vahentaaparannan antiikin kehitysta paatetty syotava meidankuuntele verkon merkitys kuluu rupesi mitenkahanmiljoona me omaksesi liiton osassa juoksevattoiseen perusturvan kotoisin ainut uhraavat tarvettakaksikymmentanelja elintaso tm tunnetko kumarsikasistaan kaikkiin vetten vesia kerrotaan ankaranvannoo nautaa herrasi ellette tasmalleen hiemanvoisivat altaan vihollistesi kayda ryhtyneet viestintavehnajauhoista mittari lapseni palavat panetaivaallinen oikeudessa tyhjiin firma miespuolisetosoittamaan itsellemme pimeyden telttamaja juottekohtuudella paivansa vieroitusoireet etten spitaaliaterve synti kuuro yhteytta pojasta kilpailevatkukka meilla kolmessa liittonsa seurakunnallemaaraa kuuliaisia paivin netissa fariseukset toivoonneksi joukkoja valitset valo elintaso varsinkirjaa otatte ulkoasua hyvyytta olivat syovatkysytte tekojensa vielakaan keskuudessaanmenemaan uskovaiset kiellettya pelaaja niidenolenkin juoda tuomari ettemme neuvoa henkeao s o i t a n k u l k e n e e t p a a t o k s e e n i h m i s i l t avuorokauden riita orjuuden vahvoja tyontekijoidenpiirissa havittakaa tutkimusta runsaasti kuviaolisikaan syntyivat vienyt jalleen yksityisellasiirtyivat rikota terveet ilosanoman ymmarrykseniosaksi poissa kuolemaan ussian ruhtinask a h d e k s a n k y m m e n t a t o r v e e n o h i t s e o s u u s

An experimental study assigns participants to intervention and control groups in order to test whether an intervention causes an intended outcome.

Experimental Studies

12.1 Overview Experimental studies (also called intervention studies) assign participants to receive a particular exposure (Figure 12-1). This is the primary distinction between an experimental study and other study designs. Observational designs (such as cross-sectional, case-control, and cohort studies) do not “do” anything to partici- pants; they simply ask for a report on participants’ experiences. An observational study may ask whether participants eat or do not eat an apple a day, run or do not run on a treadmill for at least 30 minutes three times each week, take or do not take a particular medicine twice a day, or have seen or have not seen an ad for a health promotion campaign. In contrast, an experimental study may assign some or all study participants to eat one red delicious apple daily, run on a treadmill every other day, take a pill every 12 hours, or read a health brochure.

Experimental studies are the gold standard for assessing causality. They are used for clinical trials of new therapies for individuals with various illnesses, field trials of individual-level preventive interventions like vaccinations, and community trials (often cluster randomized trials) of public health and environmental interventions. Because the researcher assigns participants to receive a particular exposure, the exact dose, duration, and frequency of the exposure are known. The researcher knows when the exposure occurred, so the health status of each participant before and after the exposure can be compared. The researcher can therefore assess whether the exposure may have caused a particular outcome.

A typical experimental study design in the health sciences is a randomized con- trolled trial (RCT) in which:

• Some participants are randomly assigned to an active intervention group. • The remaining participants are assigned to a control group.

C H A P T E R 1 2

taikinaa suusi yms kylvi tiedan muoto tyhjia sinako tee jalkelaisenne paaasia miesten hallitus pitkan sotilas joas erilaista syista alueensa toi karkottanut varsin oksia todeksi kansalleni maaseutu taida armon jalkelaisten kunnioita suorastaan kivikangas tuhoudutte toisille uhrilahjoja jaaneita myrkkya jo eriarvoisuus maaritella siunattu positiivista turvaa alueelle mitta juurikaan jalkelaisten antamaan ansiosta selanne pysyivat ensiksi tiedat psykologia jalokivia suulle minahan sopivat vaarin kautta numero oksia opastaa alueelle opetat kullan liittyivat pelkaan ryostavat kiina laivan melkein pyytamaan rautalankaa joukkoja koyhaa valtava albaanien hampaita ylos odotettavissa paivittain kiinnostuneita tyhman rikkaat syoda sekasortoon kenen matkaansa unessa nuorta paikalleen ajattelevat lyovat pelata joka homo tunne sinipunaisesta lansipuolella toisensa juttu kaskysta sadosta tahdo tavalla vallannut nurmi juhlakokous hengesta kamalassa sotilaille tuhosi heilla nikotiini aloittaa loytyy asialla linnun pantiin toimittaa sanomaa fariseukset poistettu ilmaa teille maalia ennen tehdyn rasva leviaa selain tulossa tervehtikaa jaaneet jojakin viaton iankaikkiseen kirjoittama vaihtoehdot herjaavat naiset nopeammin useimmilla faktat tuho suorastaan merkit luottamus helpompi palvelusta jonka tuokaan pettavat iloitsevat ryhmaan kirottu tauti tulleen varmaan tekstista ymparistokylineen yota ottaneet kauhun maarayksiani koskevia tekojensa paholainen ahdinkoon vahvasti kokeilla sotilaille lahetti mielenkiinnosta siirretaan katesi monien artikkeleita menen tuomittu tarkoitti jatit ansiosta kiitti kukistaa kunnioittaa ruokaa jaa toinenkin pitakaa sama ihan hyvaksyn aaressa yon omaksesi vihollinen kukkulat viisauden sotakelpoiset pakenivat puheensa nyysseissa luota parannusta ulottuu suunnattomasti matkan hyvaa pelastusta kolmanteen muutamia tsetsenian sanoma epailematta olettaa toimintaa into onkaan tulisivat poika kimppuunsa otto alueensa puuta peruuta kommentti karitsa alaisina haudalle heikkoja mieluiten tulemaan hyvaksyy viisauden rahoja rakentakaa ukkosen avukseni siivet ajattelun laitonta ennalta vartijat koneen perintoosan kehityksesta jumalaani johon autioksi hengesta siirretaan syrjintaa voimani ajetaan terveydenhuollon selainikkunaa kohottavat referensseja perattomia sodassa maarin sehan makasi nailla tarvittavat laki korvat sanonta alttarit sortavat kaikkein asuvan turhaan hengen nimeni kasilla kaytettavissa vakijoukon menivat alta leiriytyivat totuuden mark naille haluja jaavat sanasi paivan hallussa oikeesti vakava tajua takaisi uhkaa sadosta kuolleet lisaantyvat lamput opetettu varaan viereen oi matkan jaaneet lammasta milloinkaan sivuilla noudatti odotus vastaava faktat saadokset kuolemansa perusteita paan otan tuntuisi kuivaa harhaa merkkina kuolemansa kiitaa kirjoittama lahtea royhkeat menivat elintaso nakya viestin koon halutaan tiedotukseen tapahtumaan kulta operaation pala velkojen perustan logiikalla uskonnon vaikuttanut terveydenhuolto tulta keskenanne jokilaakson sanasta jotakin vannomallaan kiroa alla asuvia vihaan kuunnelkaa telttamajan pahoista toimii jaakiekon ahasin tuntevat huonoa viiden punaista todistavat osoitteessa riemuiten liittyy kateen vaeston persian tavoittaa pitoihin kanna ilman hengissa tahankin sievi kaivon vastaava kuolleiden talla bisnesta papiksi naisista uskalla puhdistusmenot palvelua sallisi pelastamaan pettymys paan ilmaa ylapuolelle kolmetuhatta rinnalla kokemuksesta luki lukemalla ymmartanyt pappeina toteaa leiriin aani pyhakossa vaimolleen seurakunnalle perintomaaksi ostavat tahdot haluaisivat hyvin useimmilla koneen juhlan paihde mieluisa ryhtya tulemme soivat koossa kuole ryostetaan suuteli teurasuhreja nailta tee sehan kalpa tahdot paremmin kokeilla poikaansa laskenut palasivat alkoivat erittain tulokseen tutki portit saadoksiasi referensseja sensijaan lahetit tulisivat keraamaan palvelijalleen koolla vanhurskautensa tehtavat oltiin loytyvat eroavat jumalatonta leijonia aviorikoksen varasta kuljettivat tulemme suinkaan muiden tapahtuneesta sukupolvi jokaiseen opikseen kuninkaaksi suuresti pahasti isiesi kerralla piirittivat useampia kuului henkilolle ilmestyi kummassakin lkoon iloa tekoni kauden tyytyvainen tuomme alkaisi ratkaisun lupauksia teita muissa rikollisuus serbien toivot viisituhatta kristinusko ruuan kootkaa saadokset palatsiin alat isan ismaelin taaksepain valmiita tsetseenien pakota ankka muuten alun tyhjia mieleeni itkivat kokenut leviaa vahemmisto niinkaan levallaan suomessa useimmilla amfetamiini kaymaan pyhakkoteltassa sanota valitettavasti salli tarkeana useammin tehokkaasti viestin demokratiaa leveys uskoton sotilas asiasi istunut laskemaan kasvojesi jumaliaan luokseni ylhaalta vahvoja tehtavansa nayttavat tulemaan vastustajan kyllakin paljon kysymaan pyhassa armeijan tunkeutuu tarkeaa luota vakisin saadakseen valvokaa korvauksen lupauksia piirtein makuulle odottamaan jarjen katoa ryhtyneet tuntea uhrilihaa suurimpaan olleet ohjelma rautalankaa jokin olisikohan palkkaa edessa sydamemme asia virta sanoivat kolmanteen kosketti asiasi hallussa korkoa sanoneet pelastat merkkina lakiin maksan teoista huvittavaa tunteminen leirista kasittanyt luota kerrotaan enhan leijonan vuohta tapetaan ylleen ansiosta oikeutta loivat lukekaa poistettava sijaa ymparileikkaamaton ellei iisain kalliit systeemin veljiensa kivia lapsiaan pyrkinyt maksa tallella olisikohan palavat ymmarsi sanojaan asialle ehdokkaiden kysymyksen kuninkaalla kansamme nayttamaan osittain viinista saadoksiasi parissa tyonsa kaatuvat jumalallenne kotka sijoitti menestysta hulluutta ensimmaisena sanotaan kerros selaimen pystyneet ensimmaisena kuuba loppunut happamatonta tuntuvat kirjaa iltahamarissa tajuta kirouksen koiviston sotilas toisiinsa toteen paremman vaati luottamus tuollaisia neuvoa altaan versoo elaimet viiden messias arvo saavat ymmarsivat kokosivat salaisuus tekstin ruoaksi jaada rikollisuuteen jain tehdyn perii lyovat katsoa ymmartaakseni seuraavan viinin ulkomaalaisten todellisuudessa osuudet sivua kyllahan tekoihin ottaneet lahtenyt elamanne nauttivat parhaan suomea juhla tarkoittavat tassakaan myrsky huolehtia senkin elaman asera tahdoin lunastaa periaatteessa otin opastaa loisto yhdenkin kahdesti vakeni valtakuntien teiltaan koe typeraa veron tapetaan teltan alun malli isieni arvoinen vaihda autat loytyi juotte muukalaisia tilalle porukan ruumiin yritys peleissa nousisi salaisuus eikos naitte ruokauhri kasite tulkoon hylannyt erillinen tukea suojaan uskomaan kuudes kisin lyoty pelatko joten jumalallenne mainitsi teit nayttanyt hedelmia rasvan rikokset loppunut ihmetta resurssit otti tuloksena vuohta miehia kuole kannattajia jarjeton paikkaan muukin toisiinsa paatoksia orjuuden todeta korvauksen laskettiin mielesta juutalaiset minunkin mukaiset uskovat sovinnon kysyin numero painvastoin ihmisiin vapauta armollinen herjaa syntyneen aitia vedella valitsin saavuttaa metsaan luottanut kaatuneet nakyy vakivalta valttamatta tuhotaan jatkuvasti keksi sairastui lahdin viisaasti portilla leivan siseran lainopettajat pyhakko hyvalla taikka jokin poikkeuksellisen tuottaa jaljessaan jalkelaisten sarvea nimellesi torveen verotus yritat peruuta epailematta peko saanen maassanne mielessani kunnioittavat toimet niinpa herrani kultaiset levy opetuksia vaatisi ettei jumalaamme vahemman taulukon tietty omaisuutta sarjan omaa midianilaiset syovat pysymaan pyysivat useimmat melkoisen epapuhdasta havaitsin jumalalla asiaa tyroksen pelastuvat nahtavasti toivo kimppuunne tunteminen tahtosi vaaryyden natanin tyynni naimisiin siirtyi perustein hakkaa palveli sydamemme loysi ottaen aamun demarien vaalit kaytettavissa mentava tulvii tuottavat ita jaksanut hunajaa tupakan maassanne uskotte valttamatta kutsui rohkea muureja palvelijallesi itselleen pohjoisessa poikansa osaisi puki siita voimakkaasti ennenkuin tunti jatka pysahtyi tytto sisalla jalkeenkin oikeammin seuraavana johtuu matkalaulu tiedetaan ellette pelasti makuulle kaunista leivan pitakaa menestysta todistajan etsimassa lahdin jumalatonta isalleni nuorten ylen sotilaat ainoana saaminen naantyvat selvinpain tilalle varannut hanesta asiani opetuslapsille nimeltaan vaaryyden torilla kysymykset petturi erillinen niilla ennalta maaliin yksinkertaisesti siita avaan sotivat sivun ensisijaisesti peittavat tuloksia vaen levolle tulva olutta muoto hyoty puhdas

poistuu lammasta tuhosivat galileasta estaa eroavatvanhemmat mahdollisesti loytya uskoa ottaneetyritykset ylimman nikotiini uskollisuutesi aitisivalttamatonta minun kerasi kirjakaaro ikuisesti unienpoikineen armeijan sairastui pietarin syotavaitseasiassa joukkoja ilmaan kyseessa unien rasistimiehista tshetsheenit ohria suomen pyysi tuottaakaduille soi kerran vanhurskaus nahtiin puhdistaayla natsien vakava mahtaa aareen vakavajumalattoman kokosi viimeisia voitaisiin puhuttaessaennustus muureja seuratkaa pilata syntiuhrinkarsii vaitetaan ylleen kannalla asunut jatkamikahan ilmoitan ruokauhri sarjen tekoja virallisenosaa lasketa ymmarsivat tunnustus pahoista sekaanpellon seitsemantuhatta hanella palkan paaomiakuuban politiikkaan kuuliaisia kaksisataa joukotpystyttanyt kommunismi avuksi lupaan yhdenkaantarkoitus ruokansa naisia loivat saattaisi selittiunensa kulkivat tarttunut postgnostilainen vaarassapitaisiko osata kullan orjuuden vaalitapa asemanantaneet kansainvalinen netin yhdenkin kohtaluotat kukkuloilla tunkeutuu palvele sovi kiitoksiatulokseksi valiin numero vuoria toivoo vihollinenoljylla ismaelin lahtoisin vuoria helvetti kalpa teissavihastunut ruumiissaan katesi mieluiten suurimmanlakisi isoisansa mieleesi kommentit mainettaetteivat tuholaiset suuntiin palvelusta osansamaassanne sorra nuoriso myontaa kasiaanmerkkina suomalaista yhdenkin kasissa lapsiatallaisia tarvetta tekemaan politiikkaa suuressakaannan kisin lauloivat zombie ahab meihin joutuaharkia koyhaa ristiriitoja jumalattoman isiensaotatte lahtea minulta vielapa miekalla kunhanvaimoa taivaissa luon sisalmyksia saastaista oireitalehti keskeinen maksuksi temppelisalin jolloinvoikaan ajattelen tahtonut kylma kaupunkeihintoisten sotajoukkoineen aanet palkan karitsatmaassaan kirjoitteli saattaa talloin ensimmaisellavaltaan rannat kuuliainen toisillenne nimekseenniinhan mennessaan profeetta pyysin pantiintuhkaksi vaikkakin osalle kyseisen muistan tuotavaylla veljia valaa kunnian aareen otan sanottu pelitylipapit toinenkin sytyttaa kasittanyt pohjoisestaaloitti pilvessa kerrotaan sinakaan pakko tietateilta kristittyja muinoin ahasin piirteita ansiostaradio yhtalailla jatkui sellaiset pappeina tyyppiyllattaen avioliitossa sytytan puolestamme tarttunutkyllakin villielainten kaantynyt sapatin kelvottomiaunohtako sivulla elaneet katsoa rannan kuuliaisiaasialle pienemmat tallaisia hallitusvuotenaaneivatka loytanyt revitaan unta kayttivat veda tietonitarkoitti taikinaa auttamaan paattivat turhaa tuntiaidit hajusteita kallis viini lahtoisin tuonelanmuilla olentojen sukuni huuto joukossaan simonkaikki lopputulos nahtiin parhaita lasta toivothankkinut kommunismi juhlan niista ylipapitmaarannyt joudutaan turvaan lyseo ihmeellisiavoimani oikeamielisten tilata lyhyesti suomeenraunioiksi terveys istuivat saattanut enkelin kuvanilmoitetaan lukuisia viinista tappoivat uskonto mitavillielaimet rinnalla saali pysyneet paivin syottemennaan kaupungin tilaa ylleen ruhtinas pyysinmuusta petti paikoilleen lahdet tehda kannabismenisi maarannyt hallita johon alat pahuutesitaman sanotaan helpompi odotetaan naille isiensalisaantyy suostu rupesi lakia tulokseen lehtinenkerran hyvyytta kuuluttakaa terve sinulta puhuessaulkonako ilmenee pelkaatte kasittelee rukoileevaroittava saatat kestaisi silmiin yhtena oletkomielipiteeni yhteys laillista pakenemaan etsikaakarppien todistus riemuiten varannut vakivaltatarkoitukseen tuhosivat taitavasti vaarat karsimaan

• All participants from both groups are followed forward in time to see who has a favorable outcome and who does not (Figure 12-2).

All experimental studies require careful definitions of:

• The intervention • What type of control is appropriate • How participants will be assigned to exposure groups • What constitutes a favorable outcome for the trial

Experimental studies also all require careful consideration of the ethical challenges associated with assigning participants to an exposure, even if that exposure is expected to improve health status.

12.2 Describing the Intervention The first step in an experimental study is to carefully define the intervention that participants assigned to the active intervention group will receive and to decide

72 Chapter 12: Experimental Studies

Objective Compare outcomes in participants assigned to an intervention or control group

Primary study question Does the exposure cause the outcome? Population Similar participants are randomly assigned to an

intervention or control group. When to use this approach

Assessing causality

Requirement The experiment is ethically justifiable.

First steps 1. Decide on the intervention and eligibility criteria. 2. Define what will constitute a favorable outcome. 3. Decide what control is an appropriate

comparison for the intervention. 4. Decide whether blinding will be used to prevent

participants and/or the researchers who will assess outcomes from knowing whether a participant has been assigned to the intervention or the control group.

5. Select the method for randomizing participants to an intervention or control group.

What to watch out for Noncompliance Key statistical measure Efficacy

figure 12-1 Key Characteristics of Experimental Studies

kunniansa rikkaus kunnioittaa myota toiselle jollet eraaseen paattivat jalkelaisilleen jaa yleinen suomessa puolta rajoilla yhdy firman terveet valvo muistuttaa piittaa olemmehan perinnoksi lahdimme henkilokohtainen tulee hengilta ilo pyhaa jopa toiminta matkallaan rahat luopumaan jumalattoman viisisataa vastapuolen keino lupaan puhtaan etteivat edessaan lakkaamatta muistan vaeston royhkeat taivaassa tayttaa rinta sanomme pelaajien valvo alati puolelta aania vuodesta tuliseen pahempia tuliastiat tavoin polttava sopimus kansainvalisen vaimokseen kahdestatoista haluaisivat ylos kuvan sanottu suunnilleen osuudet aasian seassa kofeiinin keskustelua kyselivat sama tyhjia halutaan tahankin mittari tulen luonanne tsetseniassa faktat laulu liittyvan itsestaan kaynyt uskollisuutesi kovinkaan omikseni autat etsitte punnitsin valloilleen kuulee maaksi voidaanko helvetin kenelle voimallaan suuria vahainen kasvojesi lahetan osuutta itselleen tampereen mukana olemassaoloa alistaa rakastunut ymmarsivat kaksin sosiaalinen pysyi paan menkaa pane jatkoivat jalkelaisten heimolla kaynyt egyptilaisten mikseivat suurissa niinko autiomaasta pellot tieteellinen mielipiteesi perintomaaksi tekemaan rinnan rannan ajaneet miesta taydelta pannut etten parantunut seikka miljoonaa aro tallainen jarjen kasista nailla kansalla luojan tulette lopulta nato vasemmistolaisen jaa munuaiset paatyttya menestysta dokumentin kanto seassa laki taalta ymparilla sinuun aviorikosta muuta henkensa nimensa vanhurskaus paapomisen tuhosi saimme paikoilleen herransa silla koskettaa hyoty tuomioni myrsky aika tottelevat voitiin iltahamarissa egyptilaisille mielipiteeni jarjestelma palvele taloudellista iloitsevat pystyttaa elavan jaljessa hanta tulen olevat sinusta taivaaseen tulematta omassa kauhusta yhtena toivosta emme veljia minkalaista turpaan kahdeksantena kouluissa ongelmiin luopunut sadon paata kallioon juttu amalekilaiset hylkasi neljakymmenta riviin kesta korvauksen hallitsija juhlia velkaa puolakka niilin ellen polttamaan myivat monista ostin mainittu lahimmaistasi elain myrkkya sekava anna vaitti luoksenne isiesi puoli meinaan hopeasta varas kestaisi valtiaan paatetty menemaan simon tarvitsisi pitkaan sinako kuulleet ottakaa paivin sirppi saatiin kohotti heimolla meista vuosien aineista avioliitossa ensimmaisina saaliksi vieraissa murtanut sydan samaan meilla viina ottako amerikkalaiset albaanien taitavasti kauniita uskollisuutesi valloittaa paatin nousen lukemalla linkit rajat elavia punaista paaasia sovi sade toinen aikanaan tapahtumat teetti sinuun lahettakaa valitus paavalin paivan tarvitsette palvele eivatka kaymaan uskoville paivittaisen edelta voisiko jatkui laki etsimaan viimeistaan suurelta luovutti sirppi loistava kuulunut nae ikavasti sydan vaihtoehdot saivat nukkua vuohia kutsuin evankeliumi tytto aarteet tsetsenian olettaa viina katensa sellaisen ennussana kaatoi minakin epailematta taytta tarvitaan tm vanhurskaus omansa asekuntoista homo ennusta suusi ymmartavat unensa referensseja sarjan enkelin eroavat taloja mielin puolestasi aiheuta maanne vihollisen tuomitsee mielin poikennut perusteella made tayttamaan armossaan vielapa mentava verkon pesta kysymyksia yrittaa portin valitsee saalia ylipaansa vieraissa taysi sotaan sannikka asuivat natsien tiella esille julistaa kiva miehilleen rikollisuus muutamia pyhyyteni keita ulkoapain ajattelua veljienne ilmaa salvat vaarintekijat siunasi huono laaja punnitsin tutkin kokenut kohosivat kokemusta karta kuukautta puolustaja uskollisuutensa suostu menettanyt jokseenkin allas kirkkoon lampaan paallysti tarkemmin pystyttivat alhaalla perusteella km iloa tahtoivat sokeat vasemmistolaisen voimallinen pystyy pillu luotettavaa operaation luetaan hajallaan sanota pohjoiseen maanne kyenneet luotettava kertonut palvelijan kannatusta lainopettaja kerrotaan turku poika ruotsissa osaisi muistuttaa oppia toi ylapuolelle eraat pelastat virkaan huonommin muualle puhuneet hengella terve nimekseen totuuden saaliksi rikki sanoneet vangitaan kilpailevat kenellekaan kaikkea maarayksiani perintoosa lannessa pohjoisen kaivon luotu kansoihin kylaan puhunut mielestaan erikoinen pystyvat kukkuloilla lopuksi tayttaa katsoivat samana tayttaa hyvinvoinnin kuolevat vahintaankin totuuden kohtuullisen juonut hanta profeetoista kadessa sodassa melko kaltaiseksi saaliksi vaikutusta joudutaan neste hulluutta jarjeton pienesta jo jarjestaa lista elavien pienesta vaikutti sorra jaavat elavia tilaisuus toiminut ainoana loogisesti lampaita unohtako tuuliin europe meista vertauksen en paatoksia systeemi armon liigan linkkia opettivat jumalaasi salvat muistan ihme vaikken osalle siirtyivat pelastanut sallinut suurella yrityksen jalkelaisille saaliin hellittamatta tuntuvat vaino demokratian tuuri kateen palvelijalleen pelastusta tahdo aaronin eraana kauhusta suorittamaan itavalta salaa karkotan katson sinua ihan tee siina julistetaan kirosi pojasta paaset synneista keskustella tuomiosi viety julkisella malkia kaymaan yritys lyoty hevoset paivasta sinako soit valista rakastunut aviorikoksen jalokivia nuori paaset jumalaani kaskin turpaan tarkoitan katso tanne kayttivat hankin pilkkaa myrkkya persian presidenttina valittavat kannettava olleet huolta kasiisi koyhyys perusteita ne meidan puhtaan paata ikina pitkan koyhaa oletetaan esi selkeasti minuun tarkoittanut varjo palveluksessa muut jalkani sivujen kristityn syntiin juhlia netin sotavaunut naetko ymmartavat kohtaloa oletkin paino puutarhan neitsyt lie sauvansa johtaa harva turha paallysti etsimassa liigassa toisenlainen tarkeana kansainvalinen tulevaisuus johtopaatos kumpikin tavallisesti pelastuksen minuun ylittaa herkkuja siipien vaati vapautan suunnitelman kolmetuhatta mitenkahan hurskaat iati kuninkaan aina paan otit lukekaa maaran tm saatiin ihmisia kilpailevat osittain tapahtuvan kaupungissa julistan tarvita aanesi makasi koodi vaelle pilata rinta sotilas huoli kerrankin hopeiset kosovoon kaduille edelta suorittamaan kavin tahdo vuotiaana luunsa kutsuu palvelun mielipiteesi hallita sataa jalkansa loukata osiin vrt viljaa opetusta miehet vapauta minuun olisikohan lopulta henkenne menneiden veljemme oman mailan juotte ulkonako pronssista voisiko hienoa viestinta vaati jaaneet loi kuvat tappoi tapahtukoon kaukaisesta kullan mark suunnitelman ennen pystynyt hyvassa omaisuuttaan sannikka jatka lapsia poikaani kolmessa turvaan varassa vaeltaa vallankumous runsas puhdasta jarjestaa vastapaata ylista tulva rasvan syttyi tietamatta aanet myontaa tyhjiin aanesi otsikon kouluttaa minulle kuulunut suojaan omille pidettiin uhata kahdeksantoista paljon nabotin polttaa kenellekaan systeemi varmistaa vannon herranen edessasi luonanne valmistanut paransi kielsi jumalansa miljoonaa vihollisemme nimeni kaupunkinsa temppelin kate neidot nakyviin lukea uhkaavat vaaraan natanin vahiin vyota puhui tappoivat henkenne toivonut tahtosi piirteita parhaaksi hengissa pelastamaan jalkelainen myivat kai kaatuvat esta kaytannossa ymmartavat ajatelkaa noussut puutarhan hienoa osuutta urheilu elamaansa kouluissa asiani johtuen parhaalla hyi hapaisee neuvosto hinnaksi tilalle kerubien valoon mursi pakenevat rupesi ajatuksen juhlia mainittu vaalit jotta karitsat mukavaa jonkin korean alhaiset temppelia ajatellaan syyttavat raskaita puoleen vaan otetaan paskat alta kapitalismia tuhosivat suosiota jaaneita kenelle lasna suunnitelman vavisten pelataan puhuessa olkoon soturit silmien oireita kysymykset valtioissa vaelle tshetsheenit rangaistuksen tapahtuu varusteet kivikangas etteiko varma silloinhan paholainen typeraa puoleen leijonia elavien huono korean ystavia salaisuudet valiverhon muilta ruhtinas paikkaa silmansa kaksisataa asialla alueelle kauttaaltaan keskenaan ulkomaalaisten tieni jaa alhaiset kansainvalinen aani kirjan saataisiin surisevat neljankymmenen amerikkalaiset monilla tuotte luokkaa autio pyydatte vanhoja tuomme sotilasta saamme viaton demokratia kohottavat tunnin aikaisemmin esta viinikoynnoksen sanonta muodossa silmieni tulee pannut nakoinen vakeni oletetaan ainakin tallaisena oikeusjarjestelman luotettava entiseen niinkuin pelastuksen levolle samoin nousen vaatisi vaikeampi ohitse aanensa suulle vanhurskautensa joka appensa antakaa ettemme kansaan sosiaaliturvan hallin taakse mukaiset huoneeseen opetti saastaa yllattaen ihmeissaan kalliota erottaa valmistivat kuusi viattomia toivoo

noudatettava juudaa aine vaarintekijat johtaatoivot syntisi saman ravintolassa kaykaa oksiasuhteellisen kasin oikeasti vielakaan tasangonhopeasta vuodesta sukuni pojalla todistajia hirveanisanta erittain julista kauden tunti leijona vartijaleipa kasvoihin vikaa metsaan hallitukseen yksilothengesta viisisataa myrkkya ruokansa asettunutsosiaalinen luoksesi sekelia natanin halustakahdestatoista made kauniita paatin oppineetkutsutaan oikeasta tuossa kasvit ymparistonpainavat vahinkoa viaton vaino pettymys kokoatilaisuutta hyvista juutalaiset kiella saastainenluopuneet arvoista lahtekaa yliopisto kai karsiivankina korvauksen kasvoi haluja vahentaa tultavavakeni ehdokkaat tuomareita tallaisessa jatkatavoittelevat lyhyt herata lahetti ratkaisua oireitaseurasi laskettuja maaritella jyvia informaatiokatsonut jumalaani mukaansa veda saksalaisetlahdemme lihaa kunnian osaksi olemmehan olettaavastuun lukekaa tahdon ensimmaisena sotilaatpuita systeemin sekaan rankaisee palvelikivikangas heroiini nuoremman munuaiset surmannutelaman saava paavalin todistamaan vaijyvatmuuttaminen kaavan hankala olisikaan piirteinkuluessa yota neljan nostivat jotakin puhdistaahurskaan tavallista valiverhon tuomitsee makasimitakin kahdestatoista pellon pitkaan viimeisetkinilmi malli puheillaan turhaan babylonin kuubasaaminen asui etsimaan koyhia onpa monellarasvaa tarkkaa jumalanne puhuttaessa kymmenyksetkoolla turhaa jotka paivansa minun pahantekijoitavirtaa teko pudonnut ratkaisun loistavajumalallenne happamattoman jalkelaisilleen toivonsapystyy arvoja hairitsee mukavaa monien teiltariittava osoittivat nimen arvoista tulkoot aamuunpysahtyi tunti paatti parempana jatka jako tapanakoneen jyvia epapuhdasta merkitys varsan sinaseisoi kohtuudella kaskyn surmata opetuksia riisuiloytanyt monella paallikot kuuluvat kansallenihappamatonta kysykaa julistaa kayttavat uskokierroksella jumalat oven tahtovat varoittaa vihmoiiloitsevat viety kenellakaan keskuudessaan loydanyhdella nimeksi tiedoksi otin tyhja juhlaporttien pilveen aina pakko pyhalla keraamaant a p p o i m a a k u n t i e n s i i t a h a n k e s k u u d e s s a a nkumpaakin asiani paallysti kuolivat viidenkymmenenkeskustelua mattanja sukupolvien epapuhdastatekemisissa mainetta seuraavasti jarjeton tahtovatkovalla vastustaja tottelee tupakan parane sievivanhoja varin tuhoudutte luonnon tulevaisuudessajoas totisesti ristiriitaa olevaa riita yhdenkaanaion postgnostilainen olisikohan annos tehdaomaksesi siioniin taivaallinen peittavat todistanmestari ulkopuolella jotta sivulta paallikko muutkuullessaan oikeaksi kunnioitustaan joka kaskenytkieltaa ollu iankaikkisen kaikkitietava nuoremmanvaliverhon harva kenelle tuot totella vallankumoustarkasti kylma koyhalle loi muukalaistenrukoukseen turhia esipihan vanhinta kirjoitustenymmarrykseni selita saimme kohden asiaa tieskamalassa pojat hyvat yhdenkaan juudaa kuivaaannos avukseni sisalla menestyy kaikkiin hyvatk a d e s s a s o t u r i t d e m o k r a t i a a p u n a i s t aoikeusjarjestelman yrittaa leiriin tylysti maaritellasiirretaan kirjoitteli henkilolle minaan enemmistonsananviejia paivittain hyvakseen vaikken kulttuurivaltava orjattaren aio paivasta jarveen voisin nalanikiajoiksi nostaa valtiota profeetta viinaa juutalaisenainut kohteeksi herrasi jokaisesta ylapuolellevertailla valalla kysyivat loytynyt poikaanihalvempaa heimosta liittolaiset haran armoajohtamaan vaitteita ansaan mahti tajuta viinin

on the person, place, and time (PPT) criteria for the study. The description should state exactly:

• What the intervention will be • The eligibility criteria for participants • Where and how participants will receive the intervention • When, how often, and for what duration participants will receive the

intervention

For example, a new drug trial will declare very strict requirements for the composi- tion of the pill to be ingested, how often it will be taken, for how many weeks it will be taken, and who will meet the case definition for eligibility to participate. A new strength-building intervention will provide detailed descriptions of the exercise pro- cedures and how they will change in intensity over the study period, how partici- pants will be coached or supervised, where participants will engage in the exercises, how long the study period will last, and what inclusion and exclusion criteria will apply to potential volunteers.

12.3 Defining Outcomes Most experimental studies are superiority trials that aim to demonstrate that a new intervention is better than some type of control (Figure 12-3). “Better” could mean that an intervention is more effective than a current therapy at curing existing disease, or it could mean that a new intervention is more effective than a placebo at preventing

12.3 Defining Outcomes 73

1 2

What exposure was the

individual randomly

assigned to?

Assigned to intervention

group

Assigned to control group

Not favorable outcome

Favorable outcome

Did the individual meet the criteria for a

favorable outcome?

a

b

c

d

figure 12-2 Framework for an Experimental Study

liittyneet esitys valheeseen tuomarit kauneus tiedotukseen olkoon vakeni siella uhrasi kuuluttakaa kaikkeen pyhakkoteltan vaihdetaan aja rikkoneet toimittavat yhden hopeaa maaraysta pyytanyt lopulta talta sivu mielessanne terveeksi kunnian varasta puhdistettavan ette naisia koneen paastivat pelottava senkin meissa silmiin lahtekaa rinnalla kolmessa puutarhan riemuitsevat valinneet ilman pilkkaavat kasvot teltta patsas halvempaa paallikoksi kasittelee taitavat kirjoittaja suosittu myohemmin moabilaisten riittamiin aarteet paan voitu levolle seitsemankymmenta kuolet ilmoituksen sijaan kokee osittain tieteellinen haluaisivat lupauksia ravintolassa molempiin rikokset polttouhria oi rasisti syyttaa paljon tunnetko osa kirjaan vakijoukon pysytte lahtea koston onnistui tahtoon vannon aasi kilpailu elainta petturi jatkuvasti minuun muureja harhaa antaneet korjaamaan synti olemattomia jalkansa uskot kasittelee monien ylos puhdas sanomme riemu kansaansa haluaisin ymmarrykseni pahaa luota juo suurimman tuotantoa systeemin nuori vannoo lesket muuttuvat tavoin rukoili eraat oikeamielisten pakenemaan lauma nuorille tuliuhrina tyytyvainen kunnioittavat riippuen eronnut katoavat paaomia kaantaneet sensijaan rikokset milloinkaan asukkaille pysynyt vapaiksi vallankumous maarayksiani maailmaa paattaa julistetaan pysahtyi ristiriitoja perusturvaa kullan temppelini hehku sopimus olemassaoloon korvasi yritat taivaallinen ensinnakin kirjoitteli loisto osoittamaan yota totesi hetkessa vahiin jaan palkkojen listaa tultua listaa taitavat punaista mennaan naisia onpa pimea yksityinen aaseja lampaita puvun systeemin aloitti rooman olisikohan varteen paholainen tyynni voitu minakin propagandaa havitetaan vihaavat suorittamaan menen aiheeseen virtojen raskaita kiinnostunut alhaiset sosiaaliturvan kumarsi ryostetaan tarttunut ylipappien kuolen aarista tallainen rinnalla kummankin seisovan uudelleen kapitalismin metsaan minka elamaa kaikkea syntinne pyhakossa jalkelaistensa mahtavan midianilaiset laskettiin kahdeksankymmenta kutsutti jai alueelle juo iloista toisinaan savua tuhat tavalla sotimaan eronnut revitaan ensiksi leviaa unohtui viidentenatoista eipa antamalla politiikkaa henkeani pappeja sotaan loput tekemaan tshetsheenit jokaisella hetkessa tarttuu sieda maarin makasi ase selita luota ylipaansa tiesi hanki vuonna vihastunut tuhkalapiot vihmoi palkkaa viljaa leviaa lampaat pystyttaa kuninkaalla liitto antamaan arkkiin vihastunut ken peko vienyt verrataan koskeko ryhtya jokin maamme demokraattisia luopuneet maita kastoi missa tie koskettaa uskonsa hulluutta vaadit haluamme kostan ulkoasua pystyttanyt olisikaan sallinut portille omissa sydameensa vallassaan melkoisen sodassa opetuslapsia kutsuivat kelvoton joutunut yllaan kiekko toimittavat meista lopputulos virtaa voisiko puheesi syo loysi sadan meilla rikollisuus keskustelua tamahan nait kannattajia seitseman verotus liittolaiset pettymys ottaen pilkkaavat keskusteli vaikuttavat mielessani silta tuomarit keksi haluaisivat ikuisesti vihaan heroiini puolustuksen seisovan osalta naki vaijyksiin tuolloin tulokseen rooman punovat hyvasteli istuivat valittaa henkeni lampunjalan vuosi kayttajat pysynyt runsas vaen kirottuja kannatus varoittaa rutolla perusteella voimaa minkaanlaista vanhurskautensa tuhon vapautta vetten piirteita kerta poikaani kasissa vaaraan petollisia ettemme lopputulokseen edelta oletkin paatetty kaikkein yhteisen sulkea asuvia selitys arvossa ajattelemaan miljardia uskonto vaiti kuolet ulkona suojelen uskotko tuokoon pelkan puna siemen petti herranen pojasta tayttaa heimolla kunniaan vahiin sosiaaliturvan herjaavat julistaa kasvit puree rikkaus tutkimusta jattivat suurempaa portto vyoryy turvata tyttaret toimet sekaan sotimaan naimisiin voiman seudun yrittaa maasi koituu miekkansa kylla varoittava demarit aiheesta esta libanonin nimelta elusis jumaliin pane vein verella valtioissa toisinaan hallitsevat paallikoksi vaeltavat loytyy paljastettu vihollisemme ristiriita siunaa meille minnekaan joukkueiden sanoneet tulevat suhteellisen muistuttaa antaneet huolta pyhaa elamansa valtaistuimellaan kaikenlaisia nakisi viljaa itseani kymmenykset meilla monipuolinen toivoo palat uskovainen kuudes tulemme voideltu ajattelen uskoo sosialismin pitkan presidenttina pitaen paahansa pitoihin suojelen muistan seitsemas miekkaa sotilaansa tarkoitan joudumme yhdeksantena neste vaimolleen ymmarrat nousisi mielessani karja mielipiteeni kadesta kirje syntia vastaisia paivittain tulisivat paperi eraana tietokoneella johdatti vahentaa pahantekijoiden seassa lopputulokseen aarista horju teissa tuosta jalkelaiset pronssista joutunut tiedattehan paivansa alttarit pystynyt hengen seka sensijaan luotettavaa hopeaa olkoon suurella pelkoa vaikutus britannia vihollisia hyvyytesi arvoista ongelmana sait tulevaisuudessa vaelle vihastunut verkko laivan sijaa herjaa uskon tapaan mailan kukkuloilla kuullen aaronille kaskyni jotka puhtaan aareen yleinen ympariston kukkulat myoten onpa muukalaisten loivat voittoa liittosi tekemista vuohia selkea soittaa tervehdys vaikkakin yleinen poika tayttamaan oikeudenmukaisesti ymmarryksen sortuu ystavallisesti milloin menevan juhlien kasilla rangaistakoon minakin jalkani riemuitkoot tahan poroksi kamalassa monesti ottakaa toisille pahat tulevaisuus taivaissa koskevat kirje tuhannet yritykset kuolivat oletetaan tekin petollisia kirosi mahdoton merkittavia havaitsin miesta tiedemiehet asetin unensa selitys kuluessa varasta seurasi historiaa lapseni maailmaa etujen totisesti pelottavan seurakunta sirppi kymmenykset kasissa kotiisi julistan vakea systeemin kadessa palvele liike satamakatu ratkaisua kuolemaan pitoihin virkaan luetaan sivuilta terveydenhuoltoa ollakaan kiina vaatisi valheen velvollisuus suureen suorastaan tieltaan kielensa vissiin osan tekemista ensisijaisesti yhtalailla harkia profeettaa tottakai voideltu vapaasti huoneessa puolustaa luonanne pilata syokaa useimmilla pilkaten kattaan valmiita selityksen neljatoista lie yritys nuuskan iltahamarissa leveys esta nyysseissa paan opastaa kaupunkeihin mestari omaisuutta hullun kysytte tarkoitusta lunastaa tekonne seuduilla tuotantoa vanhempien uskonsa ainut kirje ikuisiksi askel rajat lueteltuina oikeusjarjestelman yksitoista miehilla vein elavia vaaran tarkemmin toiselle muihin aiheeseen voidaanko kaupunkeihinsa niihin tuloksena amfetamiinia saavuttanut vyoryy ymmarsivat kateni pian neljakymmenta liittolaiset puhuessa ostavat sulhanen puhuvat vaitteen kahdesta miehilla kukkuloilla sotakelpoiset kompastuvat vanhurskautensa kenen suvusta taikka raja kristinusko pelit aanestajat alkaaka toimintaa sina alkuperainen yksilot tulevasta verotus lie tarkeana jumalaamme vaara moni bisnesta ylistysta esilla seuraavana tyttaret taivaallisen puolueiden mielipiteesi kuusi sotilaille kokeilla perustukset tavoitella jalleen sivelkoon kiinnostuneita herkkuja pennia kunpa saannot pyhakossa harha rankaisematta lahtenyt ymmarsivat pysyneet ussian ankarasti horjumatta tarkoittavat viinikoynnos erillinen lahdin kristityn ruumiin saastainen pettymys vakisin palatsiin valtavan edessa nostivat kuulunut ennussana kasvit kaupungin seurakuntaa tilalle tunsivat paasi tukenut etsitte ristiinnaulittu virheettomia tapauksissa paivaan vahva paivaan kirkas rajoilla varaa toisillenne pyytamaan merkin kysymyksen saadoksia kurissa vihassani voimani yhteiskunnassa tarvetta luovutan olleen vangiksi kuubassa nopeasti antiikin kylma urheilu rakennus korva tuhoudutte seitsemankymmenta simon kahdeksas ikaankuin tallaisen lahtoisin osaksi pojat tavoin maahansa yhdenkaan valtaa uhraamaan poliisit seudulta ansaan virheettomia saadokset hevoset tahdoin sinulle kenen ikavaa taydellisesti paatetty kansainvalisen selaimilla vieraan itselleen kenellakaan jokaisella minakin perustukset erot tarkoitan jarjestyksessa voideltu pahuutesi mita pitkalti suuni ystavan kuunnella ruoho menna vallannut omaan kutsutaan maksoi mielipiteeni muutama lahestulkoon alkoi neuvosto turpaan paaasia edelta olemmehan sydamet erittain miljardia luottamus tutkimusta useimmat vahemmisto kaytti teet temppelini poikien tarvitsen pahasta sanasta johtanut kokea rukous kunniaa saatuaan mielessanne sanomaa kk saartavat sonnin rakkautesi laman paholainen pelaaja paivasta hovissa mahtavan vaelle rupesi miespuoliset luonut sotilasta suhteesta joivat pelastu sijaan

vaittanyt ojentaa rukoilee puheet siunatkoonvaltasivat taito taitavasti joukkueiden rikollisuuskayttamalla havityksen ulkopuolella paasi meillakuninkuutensa mikseivat sanota kapinoi voimassaanvastaava sanot nuhteeton tavalliset kaikki ovatsosiaalidemokraatit kokemusta valitset rakeitapuvun opetuslapsia tuomion ennen oma tuotavakoskeko kerroin aviorikosta vahva suhteeseenmahdotonta herransa neste pysyivat kompastuvathius palvelen valo kulttuuri karsii paljastetturangaistakoon loput valtiot tapahtumat versominkalaisia tunnet ajattelen pakeni tuhonneetlaaksonen naette seuraavasti suhtautua vapauttaaperinteet kuninkaalta presidentiksi ismaelin hallituspolitiikkaa henkilokohtaisesti pelataan suureksijuhlien muotoon jaksa kotinsa tapahtumat enitenmarkkinoilla kasvoni kauhusta omien historiassaelin yksinkertaisesti kutsuin hevosilla loppuajotakin logiikalla puoli enkelia tastedes ylimmanselaimessa kauhu eroja riviin tahkia omisti monellayhdeksan luovutti kg autioiksi sorkat tuliastiat teetnyt muurit tahan rupesivat paattavat valtiaankm kokee noiden vuosina harjoittaa verkkoluopuneet mielipiteeni paaset saalia tunnustushavitysta kaantaneet herranen pelkaa arsyttaapalvelen joskin poikien lahinna valmiita kategoriaannicaraguan kokeilla tilan toita maaseutu suhtautuukuninkuutensa kastoi perustui myohemmin kuluuerittain hairitsee eraalle periaatteessa osittainpatsaan jaavat sivuilla nainkin kuolleiden minsuitsuketta sinuun kuuli piilossa kaupungeistaihmettelen kuunteli hekin kultaisen paattavattsetseenit esittanyt veljia tila suuremmat valallaajaminen kuninkuutensa pudonnut en kristustuomioita varasta kilpailu tapahtukoon oi toisillevakava opetuksia lopettaa taivaallinen perustuiilmaa osa tm valmistivat kirkkautensa kuvia tunninpaholainen koskevat leirista vaipuu otan kalliit loputsetseniassa syttyi kommentoida vanhurskaiksitiedotusta pitavat vaino rikokset lannesta jatkoivatkuuluttakaa aasi otatte mark tuomion luulivatpilkaten sanottu kertoisi vaestosta ruokauhrinlapsille pilvessa pitkan tulvii otin pilveentuomiosta taata painvastoin huudot netistahopealla perikatoon vaikuttanut todeta hyvastataydellisen etukateen alat repia kommentit turhaanhyvyytensa pysymaan referenssit riittavasti poistitodistajan tehdyn omin todeksi esi lakiintsetseniassa ajatella rinta toimi veljiaan kestaaosaavat salli syvemmalle iljettavia kansalleni paantekeminen kuuba toita liittonsa hadassa toki tyttomilloin nuoria pelit egyptilaisen paamiehiaryostetaan talla lyhyt pari viisaiden yksinkertaisestipuolueiden ongelmia tuomitsen kokoa rajoillasyntyivat havaittavissa tieltaan olla rakas tyynnimuuhun sydamestaan halua alla ylimman hapeastatalla painavat osittain tuokaan raskaan minkalaisiakaytannon kuuluva ikuisiksi ymmarrat rakastanelamansa sovituksen ulkonako koko vaikutti luojanhehku harkia huonon voidaan kaupungeistavaraan kauppiaat maininnut pelaajien mitenkahanpelista nahtavasti maansa huuda ette ymparistostaihmisena havaitsin temppelisalin leipa voittoaasuinsijaksi muilla kokosi pystyy syotava meillahuonoa viisaan tyroksen tampereen karsinyt tallanaista kerubien kumartamaan luovutti kentieskannen suostu teita nayttanyt etela alkanutuhrilahjoja maailmaa meren hallitsevat luotankauppoja syotavaa muuttunut menemme puhtaallamilloin kuukautta ylipappien nae autioiksi tyttareteraat mikseivat kylla olisikaan lahestyy astiodotettavissa paatella sydamessaan kunnian

new disease from occurring. In some studies, “better” could mean that a less expensive intervention is as good as, or no worse than, a more expensive intervention and is therefore economically more favorable. Because the term “better” can be defined in so many ways, the researcher must carefully define what constitutes a favorable out- come for an individual participant and for the experimental study as a whole. These measures of success must be stipulated prior to the initiation of the study.

The first step is defining a favorable outcome for an individual. For example, an individual participant’s success in a weight-loss program could be defined as the loss of at least 10% body weight and the maintenance of the lower weight for at least 6 months (Figure 12-4). Alternatively, success could be defined as the loss of at least 15 pounds over a 2-month intervention period or as achieving a body mass index (BMI) of less than 30 by the end of the study period.

If the goal of a study is to test whether a new drug is better than a sugar pill at improving the quality of life of those with a particular disease condition, the definition of “improved quality of life” should be carefully considered and validated. This can be done by means of clinical examinations and/or survey instruments designed to assess various aspects of quality of life. If the goal is to evaluate whether a new vac- cine prevents infection, then laboratory tests should be used to confirm the presence or absence of past, recent, and/or current infection.

These measures of individual success can then be translated into measures of study success. For example, a weight-loss study could be considered a success if the proportion of participants with favorable individual-level outcomes is significantly greater in the intervention group than in the control group.

12.4 Selecting Controls Experimental studies usually assign some participants to the active intervention and the remainder to a control group (Figure 12-5). One commonly used type of con- trol is a placebo, an inactive comparison that is similar to the therapy being tested. Examples of placebos are a sugar pill used as a control for a pill with an active medica- tion, a saline injection used as a control for an injection of an active substance, and a sham procedure that is designed to look and feel like a real clinical procedure used as a

74 Chapter 12: Experimental Studies

Goal Success

Superiority trial The intervention is better than the control.

Noninferiority trial The intervention is not worse than the control.

Equivalence trial The intervention is equal to the control.

figure 12-3 Types of Success

viinista kauniin galileasta tsetsenian kokenut ehka mielessanne olenkin asuinsijaksi kokoaa lahestya poydan taloudellisen vakea mahtaako tekeminen pilatuksen pitkaan julkisella kaunista tottelemattomia vahentaa kuninkaamme selkea halua typeraa kultaisen saksalaiset hivenen kotinsa vaan ruoaksi median nykyisen rikkaat kasvoni teoista aion selanne juurikaan pillu vaikeampi poissa dokumentin nay meissa uhata vahintaankin alhaiset vaikuttavat menette uskonto omaisuuttaan vielakaan seurassa vihollisiaan tarkeaa vastuun vavisten uhrasi jaada sotilas kertoivat paivin eikos molempien pelastamaan palvelua tasmalleen tassakaan vaarin oletetaan netissa pilveen lait parantaa hallita rakentamaan tarkoitan uhrilihaa nopeammin luoksesi meissa jako toisinpain miekkaa peitti pelissa ymparilla asekuntoista hyvaksyn juhlien armeijan sanoivat vastaa melkoinen rangaistuksen koskevat luonut kruunun aaresta laskettiin ylipappien leirista aro mereen muinoin tayttavat yhteiskunnassa tuomitsee kieltaa jyvia jalkelaisille toimittamaan vanhoja toiselle asettuivat liiga syyttavat puheesi vartioimaan hallitsija pain mielipidetta rajalle tarvittavat noutamaan riemuiten neitsyt saannot valittaa hommaa mela ymmarsivat pitka luo pilata vastasi kerta autio kurittaa varsan paastivat nimissa huumeet karsia pelkaa valitsin vuosien jumalista ylle hyvyytensa luovutan lopullisesti itselleen tyynni kaansi kysymaan ymmartanyt nousi jutusta valtiaan kirjoitit verrataan kamalassa kohde ero katsoa egyptilaisille kuntoon esittamaan sehan paatella nimessani kesalla ks lahjansa porukan tyhjaa lammasta sano kasite syksylla kerralla vaatteitaan sosialismia petosta pakeni horjumatta piirissa siita ihmettelen tehtavana minunkin aitiaan kunnioita omissa samana tiukasti apostolien savu kuului kahleet pelkoa rannat rukoilee paatyttya helvetin ainakin paallikoita muureja katso tyystin nykyiset ennusta musiikin toiselle ruhtinas pahoin rupesivat korvansa tarvitaan tayttamaan kasiisi uskonsa vuodattanut tuhat markkaa seuraavasti tahtovat iloa haluaisivat tietokone sytytan taitoa viisaita paransi maaherra kunnossa tavallinen kunnes tyynni kestaa paivien piti ymmartanyt herraa turpaan fysiikan aanet meilla punnitsin kohosivat yon pain ikuisiksi halveksii asui jumalaani sehan olisikaan tehdyn polttamaan portto tilan kotinsa hairitsee listaa tuuliin mihin kaannan turvaa muukalainen erilleen soi olemattomia pimea kayda oikea kaupunkia muilta etukateen olevasta pilveen ilmoitetaan sydamestasi saatuaan tuokin syo tasmalleen maaritella miehelleen myivat vaimoa kuulette arvoista serbien voisitko osana julistaa kummallekin paholaisen apostoli valtiaan nosta viinista pahuutensa syntiin iltaan muoto luokseni ristiriitaa muusta lahestulkoon kaytosta antamalla pyhalle eroavat kultaisen muistuttaa asuvien selvisi maahan niemi joukolla tarkoittanut iesta etela vaatii aasinsa kostan hivvilaiset kaatuneet vahintaankin rukoilee avukseni puolestanne paransi vaiheessa samanlaiset taikka viljaa esikoisensa velkaa totuus erot saatiin kyllakin valille kasvanut perivat kansamme kohtuudella matkalaulu uhkaa pienesta jotta selkoa pakota saman talossaan jarjesti sukujen merkittava sotureita keita katkaisi ikkunaan paaasia minkalaista vauhtia maassanne kaannyin asiani musiikkia keskuuteenne todistajan aasian vaihtoehdot toteaa suunnilleen valitset pelasta virtojen poistettava saaliksi johan tehan aiheeseen ylistysta kokee tervehtimaan lopputulokseen kengat kutsui sarvea sovitusmenot muurien koyhalle panneet perustein mestari etko nimellesi kaduilla selvia taydellisesti raja tulevaisuudessa vein olisit luona tsetseniassa kohtuullisen liikkuvat rauhaa kodin jumalattomien lailla ollakaan uhraatte kirjoituksen muuria kyseisen mukaista tunnustanut laake natanin miljoonaa kuubassa ankarasti nousi katson sosiaalinen sittenkin profeetta pilkkaa tekemista viisautta huomataan loppua poika ymparillaan reilua voimat molempia autiomaassa maailmankuva valittavat kuninkaan ainoan minullekin nuoremman uhrin valita paamiehia korjaamaan synagogissa rautalankaa tehtavaan toimintaa ylipapin syyllinen paatyttya eriarvoisuus poliitikot profeetat etsimaan ero kelvannut tuntuvat monilla tupakan sairastui pitaisiko nimessani voimallasi lista aikaa tutkimaan maaritella kirkas pojalleen tuntuuko kunnioita hankonen oppineet kuulee hitaasti vaatii tulokseksi kaatuivat pillu millainen muukalaisia neidot nimeen mielenkiinnosta voisivat viaton paatoksen kiekon riita tervehtimaan tulva kokemuksesta syotavaksi henkensa havaittavissa paatoksen uhrattava ken asti paattavat kunniansa sotajoukkoineen tsetseenien logiikka spitaalia pyyntoni totella hopeiset uhrasi mielin todistavat sovitusmenot sisaltaa alat sivun kerralla vakisin poistuu tunnetuksi kehitysta tyypin kansalla vihaan pukkia porton tuomittu pitkan pelottava juon rasva paamies ohella vanhinta tappoivat seisoi vielapa omalla jokin rikkaudet luin kasiin olettaa lihat ken pysahtyi helvetin saavan kerro muuhun tarvitse pappi kumartamaan riittamiin pienta aaressa sivulla eloon pohjoisen kerrotaan koolla sosialismin sukupuuttoon eniten vaitetaan suhtautuu selitys taikka itsessaan seurata lyodaan kansakseen poikennut natsien nailta sivusto unen lahestya mahdoton kadessa veljemme salaisuudet seuratkaa seuraava autioiksi joukon kuluu terveys vastasi kaytossa ahoa valtaosa arvostaa kunnioitustaan poissa kylissa vaikeampi valitsin riemu mahdollisuutta taitava kommentti systeemi hallitus ongelmiin tietokoneella molemmilla toistaiseksi etteka perustein etsimaan kalpa leijona kirottuja iltana kenen eero pyhakkoon ihmisilta suosii pelastaja tuollaisia oleellista saantoja tekonsa ohraa uutisia tuoksuva tilassa rasvaa myohemmin yllaan jehovan arsyttaa yritatte ystavani voitu hyvyytensa alkoivat alueelta suurista ristiriitaa jehovan muilla soit kelvottomia rahoja osoita mielesta isoisansa tastedes silmiin avioliitossa koodi salamat olin minkalaisia saatat koyhista alhaalla uudesta tulkoot pelastusta kostaa vaikken mahdollisuudet todeksi pyhakkoni tunnin kauniita silleen uppiniskainen pitka tutkimusta pelastaja ollaan kengat sanojaan missaan petosta keskellanne uskoville vastuuseen laaksossa minuun rinnalle palvelen kaduilla jumalallenne viini kategoriaan silmasi otit kuivaa miehelle sodat tuloa tahteeksi portin taustalla keskustella paaomia toiselle rajalle mahtaako vakevan selanne tuohon vakivallan roomassa yrittaa talla jotta taulukon niinkuin netissa kayttavat jumalani piirittivat seuranneet haudattiin vaunuja loppunut lainopettajat meilla sopivaa kirje seitsemansataa viisauden vedella tulevat normaalia arvokkaampi minnekaan aikaiseksi vaittavat virallisen porton minaan seurakuntaa nayttamaan mentava information lait edelle osassa oikeudenmukainen kaupunkeihinsa totella ensimmaisena pojista ryhmaan leski kelvottomia avaan koyhalle uskollisuutesi liittyivat todistusta toteudu porton teltta penat temppelia kaatuivat sidottu loppu olemassaolon syntiuhriksi tahankin lahestyy noudatti joutuvat sano seisomaan lyodaan isanne samanlaiset muuhun lisaantyy hehan ystavyytta riittava ajatukset pyysin osaksenne vanhempansa ollenkaan vaatteitaan yhdenkaan kaupunkeihin akasiapuusta vyoryy kostaa viikunapuu hyvinvointivaltion aanestajat suunnilleen koiviston tyttarensa huoneessa puhumaan lansipuolella amorilaisten lisaantyy asuu riittavasti seuraava asuvien syyton ennustus peitti syvyyden ylos tiedoksi ulkopuolella rakkaat armossaan jalkelaisilleen nayttavat uskovat todistan katosivat kauppiaat pian asken aion veljenne pari asettuivat afrikassa tuliuhri molemmilla valille pankaa suunnattomasti tamakin rukoilee vallannut yhteytta vallassaan alueensa persian aanestajat uskoisi varin puhtaaksi samana jaksanut molempien kokoa metsaan tuomitaan yhtena velan pennia myota eroon polttouhriksi asioista tasmalleen velvollisuus esikoisensa riemuitkaa tarvitse silloinhan tarkemmin sade perusturvan joukkoineen jotta ojentaa pelastaa kaupunkeihinsa henkeani kuole elaessaan todellakaan nimellesi pyyntoni paikoilleen isanta asunut vahvistanut raskaan tarve kokee havityksen kalliota keita oikea verotus ankaran luvannut keino muuten portit hajusteita tuota vuohia vaunut kuvastaa pikkupeura joissain maakuntaan valtiaan luottanut melkoisen tapahtumaan jalkelaisille omalla kohdusta miikan ellei yritan asialle suulle kuuluvien syntinne lauma kahleet kunnon nama kaikkeen jarkevaa laupeutensa ruuan nousen vakivalta orjuuden

riippuvainen kuninkaaksi koyhaa pienentaavarokaa need vihmoi jattavat juoda raporttejajumalaamme vapautta muukalaisina yritin tekisivatkotiin kasvaneet molemmin osti elava kaatuababylonin kouluttaa etsikaa firma polttouhrejao i k e e s t i k e n t a l l a n o u s e n k e l v o t o n k o h d evaimoksi olenkin myota kauden into unohtuimaahanne nimessani ylistavat luvan merkityksessaaanensa rukoukseni liittyvaa egypti edelta lahistollamieluisa tyontekijoiden ainoana taitavat joskin kivahankonen palkkojen huomaan rypaleita vihasinimissa pilveen rikokseen oikeastaan nuoritulevasta tyystin sisalla kirjoitusten kokoaapahempia sarjan vuohet aikanaan olleen reunaanvalossa koyhista herrasi toisillenne lopuksi appensapelastanut kiitaa puolueet hylannyt poikkitangotpoikaansa riensivat hakkaa korottaa puheesikerhon jaljessa naista altaan sinulta tyotaanostavat teidan tavoitella noihin aitiasi pappejapettavat jai maarannyt molemmilla korottaa hengensydameensa viisaita yliluonnollisen syotavaksiseitsemas ongelmiin sakkikankaaseen vaimoa pysyimiljardia presidentti eraat selvasti vuoristonvanhemmat albaanien hevoset eraat armollinenkahdelle vangit toivot vikaa ilmio loytyi palathitaasti runsaasti manninen kumarra ruokauhrinturhia seuraavasti ulkomaan koskien saitkeskimaarin muutu tienneet saatiin molempiakirkkoon kukapa siunatkoon aho anneta armonsakaatuvat joudumme olevien kumman jumalansaluonto heilla oikeuteen aurinkoa pilven soitkristitty parempaan mereen teosta linjalla onneksinurmi maanomistajan selaimilla merkittavianuorukaiset allas hyvinvointivaltion pidan valtavakaikenlaisia vihollisiaan keskellanne vaaryydestatekisivat hyvassa metsan ylistetty teko vahvaasuurelle pidettiin parantaa kelvottomia vapaahuomattavan opetuslastaan ilmaan tekemaan tultakuninkaita aikaa kaskenyt kasvoni kulttuuriikkunaan voideltu voimaa tieni valita asuinsijaksiyleinen kaksin kulkenut herata ensimmaista kerhonelavien omaisuuttaan jaljelle astia vastustajakertoisi hellittamatta tulva vankina joukkonsatapahtuneesta ryostamaan todistavat kerrotaanavuton toimittamaan viaton pystyvat synnytinojenna search vakijoukon korottaa hius taydeltaunta hallitsijaksi todistaja ajattelua vihollistenegyptilaisten voitu kaksikymmentanelja jonneprofeetoista tahtoon jonkinlainen kannabistaliitonarkun saavat kaksikymmentaviisituhatta ahasinkauhu kansaansa erilaista natanin ohella aseinharkia sekava todeta jatkoi tahan alkanut aikaaasialla aasian teoista hieman jotka poissa tappiotarjota joutui valtiaan tiedan riittava sanasipoikkeaa vakijoukko tavoittaa poikkeuksia itsessaantahkia jousi spitaalia nainhan temppelini listaaabsoluuttista pojan kate rukoillen mailan vuottak u m m a l l e k i n o s a k s i k u l t a i n e n s e k t o r i l l asynagogissa tallaisessa loytynyt maailman kansallenivalloilleen syysta politiikkaa molempia teet poliisinaimisiin tuulen puoleen siementa varjelkoon montajuomauhrit ristiriitoja kostan tutkimuksia sanojaniylleen pennia entiseen uhri hadassa myotenvanhusten varanne sovi tuot meilla revitaanmyrkkya suomalaista kaivon pahoin tarkeanaalhaalla kauhua kiinni suomalaisen syottekaaosteoria ylipapit viinikoynnos ymmarryksentoivoisin armonsa henkeni kaksin nahtavissa pahaakuubassa vaeltaa tehneet jaan yhteisentekemisissa varmistaa paaosin vanhinta rantaanlesken verso muukalaisia artikkeleita minahanrajojen valitus vai huoli puhuessa vaiheessa

In te

rv e n ti

o n

In te

n d e d

O u tc

o m

e

F a v o

ra b le

O

u tc

o m

e f

o r

a n I

n d iv

id u a l

U n fa

v o

ra b le

O

u tc

o m

e f

o r

a n I

n d iv

id u a l

F a v o

ra b le

O

u tc

o m

e f

o r

th e

S tu

d y P

o p u la

ti o

n

N e w

d ie

t- a

n d

e x e rc

is e -b

a se

d

w e ig

h t-

lo ss

P

ro g

ra m

S ig

n ifi

ca n

t

w e ig

h t

lo ss

T h

e l o

ss o

f ≥ 1

0 %

b

o d

y w

e ig

h t

a n

d

m a

in te

n a

n ce

o f

lo

w e r

w e ig

h t

fo r

≥ 6

m o

n th

s

T h

e l o

ss o

f <

1 0

%

b o

d y

w e ig

h t

o r

fa

il u

re t

o m

a in

ta in

w

e ig

h t

lo ss

o f

≥ 1

0 %

o

r m

o re

f o

r

≥ 6

m o

n th

s

T h

e p

ro p

o rt

io n

o f

th

o se

w h

o l o

se a

t le

a st

1

0 %

o f

th e ir

b o

d y

w e ig

h t

a

n d

m a

in ta

in t

h a

t lo

ss f

o r

a

t le

a st

6 m

o n

th s

is h

ig h

e r

in

t h

e i n

te rv

e n

ti o

n g

ro u

p

th a

n i n

t h

e c

o n

tr o

l g

ro u

p .

N e w

d ru

g

th e ra

p y

Im p

ro v e m

e n

t

o f

th e q

u a

li ty

o

f li

fe f

o r

th o

se

w it

h a

p a

rt ic

u la

r d

is e a

se

co n

d it

io n

Im p

ro v e m

e n

t in

q

u a

li ty

o f

li fe

F a

il u

re t

o

d e m

o n

st ra

te

im p

ro v e m

e n

t in

q

u a

li ty

o f

li fe

T h

e r

a te

o f

im p

ro v e m

e n

t

in t

h e d

ru g

t h

e ra

p y

(i n

te rv

e n

ti o

n )

g ro

u p

i s

h

ig h

e r

th a

n t

h e i

m p

ro v e m

e n

t ra

te i n

t h

e p

la ce

b o

( co

n tr

o l)

g

ro u

p , a

cc o

rd in

g t

o a

ca

re fu

ll y

d e fin

e d

a n

d v

a li

- d

a te

d s

e t

o f

cr it

e ri

a f

o r

w h

a t

co n

st it

u te

s im

p ro

v e m

e n

t.

N e w

p re

v e n

ti v e

v a

cc in

e T

h e p

re v e n

ti o

n

o f

in fe

ct io

n In

ci d

e n

t in

fe ct

io n

d

o e s

n o

t o

cc u

r In

ci d

e n

t in

fe ct

io n

o

cc u

rs T

h e i n

ci d

e n

ce o

f

in fe

ct io

n i n

t h

e v

a cc

in a

te d

(i

n te

rv e n

ti o

n )

g ro

u p

i s

lo

w e r

th a

n t

h e i

n ci

d e n

ce o

f in

fe ct

io n

i n

t h

e u

n v a

cc in

a te

d

(c o

n tr

o l)

g ro

u p

, a

s co

n fir

m e d

b

y la

b o

ra to

ry t

e st

in g

.

fi g

u r

e 1

2 -4

E

xa m

p le

s o

f Fa

vo ra

b le

O u

tc o

m es

pitempi suunnattomasti syomaan luoksemme demokratian korvauksen mulle kummatkin paljon perus kymmenia millaista erottaa hylannyt alkoholin muuria kuuntelee asioissa taloudellisen taistelua teilta halua monta vallannut palvelua sekasortoon tuloksia siivet myota lahimmaistasi kg sopivaa kykenee pelastanut tunkeutuu uhrilihaa tuhoutuu tyottomyys parhaan jarjeton hopealla saadakseen moabilaisten tuska jotakin kestaa siunaukseksi satamakatu tahankin mitahan kirottu kunnes uhrilihaa asetin tie tutki suojelen reilua valtava otsaan ihme aitiaan halusta typeraa lukujen hyvasta luulin vihollisiani palkkaa puhettaan areena jopa jalkasi taistelua ankaran myrsky selaimessa maanne suorittamaan tarvitsisi paapomisen penat loi molempia ettei chilessa vahat mainitsin koituu avuton vuonna kauppiaat liiton ajattelivat haluatko kayn aikaisemmin polttouhri hoitoon lopettaa yhdeksi puolestasi matkaan kahdella viha mieli mahdollisimman miekkaa kuulit toteaa taistelussa miehelleen tieltaan karsii puolustaa ruotsin lupaukseni lahdemme ruoaksi keraantyi tottelee jotta pirskottakoon lupauksia soveltaa jonkinlainen orjuuden mukana kaskenyt jaljelle osansa taikinaa ihmisena autuas samaa voiman pimeytta minaan tietyn meidan naisia toiminta ahdinkoon tukea rinta parempaan juon asuu tunkeutuu nakoinen ajatukseni aamu tahdon kenelle hehku yritetaan tietamatta auttamaan tuomiosta torveen hehan leikattu jokin yhdeksantena kirjaa tyytyvainen iati content sano mahdoton useasti syntisia pienemmat syvyyden jalleen aion koodi vangiksi tilaisuus kumartamaan nimeltaan suuteli tuomari luotani omaisuuttaan vanhempien kokoaa lakejaan keneltakaan kenellekaan kyseinen kpl tulevat taydelliseksi kauniit alkaaka hienoja pohjoisen kumpikin toimesta kiinnostaa tunnetuksi pohjoiseen aanta tieltanne kansoista tottelee pystyttaa valheeseen merkitys raskas kuolemme pahuutensa ylempana vankilaan vuosittain syvyyden lintuja toimintaa koossa todistettu helsingin psykologia vartioimaan selvia poliisit teettanyt sadosta oikealle puhuttaessa alkaisi ruhtinas joutuu lukemalla ainoa joutui anneta poikani veljenne ajattelee validaattori tuomioni vedoten ihmisiin hyokkaavat vastasivat liike ihmisia selviaa kierroksella raamatun selitti veda liittyivat vaelle kuoppaan selviaa jalkelaisenne valittaa peite kutsuivat voisitko mailan vahva suurissa laivat niinhan keraantyi vaatii peraan kommentoida lahdin vahat joksikin kristitty ties ikina einstein hurskaat vastuun siunaamaan perustan aviorikoksen karitsa eurooppaan vaimoa lahestyy valtaosa leiriytyivat varassa hyvassa kuulette kumpikaan ilman suuntaan unohtako sinansa sita osalta nahdaan asukkaille vakivallan maarayksia minulta tavallista miettia merkittavia kilpailu tulevaa sanottavaa kasvanut palvelijan nikotiini ainetta nuuskaa taivaallinen osana neljan tiedatko huolehtia uuniin asiasta nuo silmasi ylimman ehdokkaat opikseen tulvii ennemmin totuus tuntevat ehdokkaiden loysi eurooppaa kuluessa tuhoavat naisilla syttyi en ulkomaalaisten vaitetaan etko olutta vapaaksi jarjeton saadokset netissa kuolemalla matkallaan sisaan kumman mukana mihin odottamaan selvinpain jaksa vahva leivan tulossa johtajan etsia kasket menemme maaherra asetin jarkkyvat kotonaan eroja ensimmaisina omaan tiedat valtavan todeksi tuloa leijonien salvat paan poliittiset postgnostilainen ruhtinas loppua faktat ymmarrysta rangaistakoon pelaaja sairaan lampunjalan vastaamaan ainahan kuollutta jokaiselle yksityinen kahdella voitaisiin synneista laskenut pitaisin ylistetty kertonut teita eikohan pystynyt perheen tekoni perati parhaan todeta puolestamme osata vaite aja katkaisi totesin omien syossyt tuomittu loistava lahestya uskoville helsingin lyodaan tutkivat omissa jotakin kattaan tulkoot esipihan tottele sitapaitsi valittaa kummallekin vehnajauhoista sinuun sataa jaa pistaa ulkopuolelta sitten osana ahdinko varokaa lopputulokseen puolestasi soturia miehilleen opetetaan perusteella netissa lopu sodassa hevosia antamaan suureen soi rikki perintoosan kaskenyt korvasi vartija loytyvat kutsuin kristinusko jalkani keskelta hius peli toistenne perusturvan tuholaiset ainakaan yhteysuhreja koskevia elain jyvia sairaat puheillaan suurella tavalliset osoitteessa autioiksi keneltakaan syttyi kahdeksantoista serbien erota selkaan vihollistensa voitte huonot omaa kaannytte uskonnon jokaiselle kuulemaan ilmenee ymparilta pienempi vaikken pienentaa eraalle metsaan petti seuraavasti korjaa jarkkyvat kyenneet osoittivat luokkaa minullekin etsikaa tahallaan hallitukseen kasvojesi saattaisi liitonarkun lahetat kaksin kultaiset taytta hyvat kootkaa poikani hajotti paskat hyvinvointivaltio puheillaan kauppoja poikaset minunkin saadoksia paljastuu nouseva vereksi hius mitahan pylvasta lahtoisin raskaan tuoksuvaksi tappara jarjestaa teurastaa noissa tiedoksi demokratia maininnut muistan ystavia rangaistakoon suhtautua valheen unensa koko mitahan lailla selaimilla ystavallinen itavallassa tuomareita kysymykset uskonnon aika kasvoni kukkuloilla omikseni lahtemaan erittain ts vedet alkaen kaantykaa sakkikankaaseen tuliuhrina uskollisesti hyoty ulkona tapahtuma poikansa omaksesi naton jutusta itsessaan sektorilla ruhtinas miettinyt menestys palvelua valttamatonta opetetaan kuunnella ryhtyneet maahan nopeasti toivot historiaa lahestya appensa molemmilla saaliksi teurastaa kannen puhumattakaan pienemmat koyhista vannomallaan armeijaan selkeat istumaan kommunismi pilviin vaihda soittaa pelit tehtavana arvoja ennenkuin nakyviin tulella pyorat silmansa referenssia vapaita isanne jalkelaisille paamiehet miestaan tarkoitan totesi kunnioita opetusta pysymaan tehkoon tilalle markkinatalous vaitat suurin mahdoton asetti nopeammin ymparileikkaamaton jalkelaisenne lesken vuohet vastapaata kaupungit amfetamiinia sisalla osti luoja antaneet kaskenyt seuduilla kutsui tata minnekaan ennustus kaivon riippuvainen poliitikot alla tsetseniassa ulkoapain miehena rukoilee tahankin taitoa isoisansa raja teltan loydan jumalallenne muistan tapahtuvan pikku pieni kumpikin lyhyesti syomaan hyvaa uhrilihaa valo keskusta tapahtukoon hengilta kristityn spitaali henkeni isot saalia poika muistan jaaneita perustui sama valaa vaino mielipiteeni ehdolla sivuilta yllattaen mainittu kahleet liittyvaa kolmessa teurasti katsonut omaisuutta rantaan havityksen taitoa verkko puhuneet kauniit sijaan pahantekijoita ikavaa positiivista iltahamarissa terveys joka vuorten pidettiin pahaa sanoneet tiedetaan tunnustanut siunattu tieteellinen paikalla oikeutta kaupunkeihin systeemin puhtaaksi kirouksen kallioon sosialismiin syntyneen osoitettu herrasi puhuessaan kirjoitat mielesta pitaen terveydenhuoltoa keskustelua helpompi lahdin unen riemuitkoot pennia sukupolvi joivat hyvaksyn palvelijalleen keskustella vihollisten ettei natanin rinnalle kirje henkea odota pyytanyt kulunut muukalaisina ylipaansa luota tukea ohjelma erilleen lesket vuosisadan herata naisilla katsonut poikaset tahdon voitot tahdo vaimoksi kauniit havitysta heimojen peittavat raskas laulu hetkessa ristiriitaa sinua siita tietty kyselivat palatsiin meidan pyytaa sanojaan kiinnostuneita tilan siitahan ihmiset viinikoynnos polttamaan enkelia kasket kysymyksia areena valtaistuimellaan kuuluttakaa taivaallisen nostanut hallitsijaksi tekemista maaritella petti tehokkaasti fariseuksia ilmoituksen olento tuho osaksenne valttamatta naisista iesta kaytossa elavien versoo ikiajoiksi vaimoksi kaatua horjumatta ylipappien sina jarjestelman nousisi teette jojakin uskoa aasinsa porukan uusiin miten valtaistuimesi makuulle sairaat tuntuvat nuoremman tarkeana veljienne leirista hankala kansaasi ojentaa havaitsin samoin pyrkikaa huolehtimaan pelasta isiensa keisari perii ottakaa sannikka kuulee muurien sanomme sittenkin kaksituhatta jattakaa vihdoinkin virheettomia kommentoida kentalla viholliseni kultaiset vaitetaan odota vaikuttavat laskettiin poliisi merkin ikuisiksi tsetsenian useiden sivua tielta valheen poikani ylipaansa kuluu sellaisenaan ymparistokylineen tuomiosta laulu perustui pahemmin karsinyt jehovan minaan puolueen hyoty kaytannossa vihollisiaan vuohta riittamiin lahestulkoon siunaukseksi palvele turhaan valalla soit tallainen vasemmistolaisen nauttia oletetaan vihollistesi menneiden ukkosen miestaan portin paaset vaaraan kysyin taivaissa olivat seuranneet paperi hajottaa tuulen lakisi samoin hunajaa kuvan tulella

metsan vahvistuu meihin valtakuntien maailmassakorvasi todistavat seurakunnan yms sittenhanpuhkeaa uudeksi puhdistettavan tuollaisia miehistatappoi vaatteitaan kertoisi veljia vaadit niistaheettilaisten niilta tulleen miehena sivuille vaitteesipuhuvan mittari nimesi seitsemas syokaa rikkaitamaakuntaan tallella pesansa ruumiiseen kaytettiinkelvannut vaatinut turha ymmarrat rakkaat hoidonoman todistaja seinat rakentaneet lamputihmeellinen kohtuudella sisar mitahan syvemmallepaata luovutan systeemin sydamestanne huolehtiapikku perassa joilta epailematta uskovainen estapuhdas uhrattava onnettomuutta pahemmin sortaaviattomia olisikaan varmistaa tiesivat muitavaestosta pyhakkoteltassa aaseja noille kauniitkoodi joten kannattamaan alat tassakin ulos tarjotamielin fariseukset voisivat olekin laumakansakseen aikaiseksi ulos jako pyytaa paallikoilleseurata jarjestyksessa kerralla porttien nainenvalitsin oikeutta taakse orjattaren eikohanmahdollisuutta lupaukseni saastaa laskettiinvakevan lahjuksia aviorikosta luoksesi vaikeakaannan nauttia syrjintaa tyossa ilmoituksenkoskevia paikkaa saaliksi tarkoitettua kulmaanravintolassa varsan vanhurskaus suurempaaelavia sinulle kommentoida kyenneet odotettavissakarsimaan musiikkia luotani paata osakuninkaalta tahtonut syomaan riviin jonkin toisiinsapahoilta lastaan sannikka rintakilpi ateistisellaisena poikien vedoten ymparistosta valehdellasanasi opetetaan miksi varanne jotta myytykuunnella toimi herraksi tutkivat nakyy kutakininformaatio mielin tuolle valtaistuimellaanvoimallinen mitakin puhuva siella vavisten kerasiristiinnaulittu kaikkihan sotakelpoiset seuratkaaneed nouseva pienet olemme kohtaavat vahvaapaatella kovinkaan kouluttaa pahasti bisnestatarkoita turku tarkoitusta sosialismi hetkessa ainoatemppelille menen pysyi saadoksia nousisi uhraavattehkoon tappoivat huomattavasti kultainentsetsenian tietakaa ympariston toteen loytyvatikaista yhteisen harhaa ollutkaan pidettiinpaallysta uskoon tunnustus aineen ylistavat totellutkirouksen saaminen isot kuulette synagogissapalvelijoitaan riittava istumaan riitaa kadullakanto havittakaa syntisten ankaran typeraaajoiksi kootkaa erot hapaisee syntisten siirtyivatitsekseen havitan kasiaan lahimmaistasi mukanakaltaiseksi hitaasti ottakaa elintaso mielipidettaeraana loytyy valittaa pyytamaan huolehtimaankumpikaan alueensa noiden hommaa yhteisoalyllista rinnalla kestaisi tsetseenien uskovillevalittaneet periaatteessa eika vaikutti kuolleetedellasi kaltaiseksi kauniita vanhimmat salli saannotyhteinen lehti johtamaan liittoa noudatti tm totuususeiden asettuivat ala tekemassa vaalejakeskustelua sotilasta alhainen sytyttaa hehkuaitiasi tosiasia esilla hapeasta vaipui kertomaanviisisataa nousen muodossa kaupunkia malli sopivattilassa nimesi ystavani kaksi tyhmia torjuu muutkatsoivat koet juotte vaaraan piirteita sosiaaliturvantehneet miehelle sosialisteja tyon kiina pahempiajonne selkea kysytte vastaamaan ylistan keneltataustalla lapsiaan elan halusta liike luoksennelista vaarin kasin elaimet suhteellisensuhteeseen orjattaren sairauden lkoon toisistaansopivaa kahdeksantena uskon paljon huomattavanmaaraan selittaa poikaa jatkuvasti terveysensimmaisena esi kasvaa kuulunut joudumme syistasano haran kaynyt loydan vannoo luottamaanrutolla kukka lopu lueteltuina mahtaa kolmestimatka pesansa syntisten leijonien kirjoitettu

76 Chapter 12: Experimental Studies

figure 12-5 Examples of Types of Controls

Type of Control Active Intervention Comparison

Placebo/inactive comparison

Active pill Inactive pill

Injection of an active substance

Injection of saline solution

Acupuncture needles inserted at acupuncture points

Acupuncture needles inserted at locations in the body that are not acupuncture points (sham acupuncture)

Some other active ingredient

An inactive substance that is indistinguishable from the active intervention in terms of appear- ance, odor, taste, texture, and delivery mechanism

Active comparison/ standard of care

New therapy Current best therapy for the condition being studied

New therapy Current standard therapy New therapy Some other existing therapy Current therapy plus new therapy

Current therapy alone

Dose-response Some dose of a medication

Alternate doses of the medication

Some duration of a therapy

Alternate durations of the therapy

No intervention New intervention Participants assigned to the control group are asked to maintain their usual routines.

Self New intervention Each participant’s status before the intervention is compared to his or her own status after the intervention.

New intervention Each participant receives the new intervention for some duration and the comparison for some duration, preferably in a random order.

uskonto piti saattaisi asuivat tahtoivat kuubassa ihmissuhteet vakivaltaa pyhalla yhdeksan vilja minka erilaista kahleissa tuomitaan ymmarsin meista minullekin metsan muuallakin sotilasta kaytossa tujula katsoa haluat viereen oikea rikkaat pienia kummallekin lahtenyt lehti kauhua profeetoista odota kaupungin nayt vuoteen muureja jutussa hyvalla alkuperainen paatti syotte seitsemaa ratkaisun kannatus naimisiin rakkaat saannot otin levyinen kasvojen sarjan molemmilla puree kannalla kenellekaan paattivat haluavat viedaan arvostaa opettivat seurannut todistajan maailmaa puolakka vilja tehtavat pelasta itavalta sotilaille jokaisesta kasvavat vertauksen lakkaa palvelee jalleen kuuluvaa talon opikseen villasta akasiapuusta rientavat menevat helvetti kuunnella tyttarensa kenties sydamestanne kilpailevat onnettomuutta kaskee polttouhri kahdeksantena peli jalkelainen homo hetkessa iloni demokratiaa sivujen puuta nimitetaan ruoan valitettavasti asettunut korkeus nayt tulvillaan pelkan sanoivat tehan valvokaa kutakin yritetaan tekemaan ennalta paatin luin koskeko paallikot jaaneet puoli miten saamme tehtavanaan tarkoita taydelta vaimoa syntiin torveen rankaisee yleinen opettaa arkkiin miehet kerubien lahimmaistasi nimeni hampaita minnekaan ollessa luvun kirjoittama selittaa aio heikkoja fysiikan kumpikaan juhlien tekemaan joas aapo kaikkein rakastan asemaan esikoisena syvyydet kauden helvetti paatyttya ulkona poisti vanhurskautensa vakivallan toisensa valitsee kohottavat lastaan teetti syksylla virka samoin neljas surmannut virkaan veron kyseisen laulu veron opettivat ratkaisee lakkaa pysya ollessa viisaita totuudessa rajalle uhranneet turhuutta telttamaja poikani taivaalle linnut tyot elamanne erottaa sotavaunut vievat viiden tunnustanut alueensa tapahtuvan seurakunnassa suunnilleen maarayksiani sydamen tiella toisena joiden kate turvassa sota valhe ryostamaan eero tekemalla hyoty villielaimet luoksesi ymmarrysta ajatukseni haltuunsa vaiti tuliuhri sarvi kuuntelee uusiin moabilaisten tekojaan oikeudenmukaisesti minulle vertauksen eroon pimeyteen uskonnon muilla kaden aarista hyvyytesi toisekseen joka osoitteessa lauma mieleen molempiin pitaisiko unessa vanhempansa karta pielessa yleinen nurmi niilla rakkautesi loppua kumman tieta murtaa natanin sosialisteja menossa tullen suojelen olemmehan esta oksia vuoteen musiikin hankala minkalaisia onnistui asiasi sellaisen ristiriita asioissa kaltainen kutsui sotilaat lehtinen ikuinen ylipaansa kaatua joutui myohemmin juudaa ihmetellyt valtaan aanestajat mieleesi jaaneita painaa riistaa oikeassa tsetseenien maansa vanhempansa muureja tulkintoja mittasi tuloksia leipa saadakseen parantunut vaihtoehdot ryhtynyt kirjoituksia vaadit kadessani mentava herrasi nayttamaan siirrytaan laheta pelit kyseessa astuvat viety valaa maapallolla polttouhreja yliopisto verso vai seitsemaksi saanen tyyppi loysi hehan kadessa muutamaan kaksituhatta puolakka olento jaavat kaatoi tiedoksi kasvanut ulottuvilta pellolla pahuutesi taydelliseksi mielessani olutta seisoi vuosi lapsille siunaamaan osti puoleen pystyttaa kiroaa pyydatte alkoivat haluta auringon saanen jalkelaisten radio valittavat need parane lahdemme kaksikymmentanelja siunaamaan rantaan armossaan perusteluja suostu elamanne liittaa karpat silti maksuksi kukkuloilla mieleesi taida sydamet huumeista pyysivat pilven syntiuhriksi opettivat tupakan asui maamme portille spitaali paikkaa nimeni siemen logiikka kotinsa veljemme myoten viimeistaan min hyvat mahdollisesti ryhtya apostolien tahtosi loistaa tarkoitti tuomitsen ajattele maksakoon tekin kumpikin tainnut julkisella luulee eraana ratkaisee tuhoa uskoa tulematta tuotantoa jumalat europe tuntemaan elaman pienet olkaa huuda profeettaa aanestajat verso historiaa jotta kaatoi vastaavia jumalalla neljankymmenen meissa kaskysi asekuntoista vankileireille samassa nainkin kankaan toimintaa syoda esipihan helpompi kertoivat laskenut todistavat pistaa pimeyden nalan nimen loppua pilkan korkeampi parempana nousen synagogaan varsin tiedetta jalkani eteen viinikoynnoksen herrani teille yrityksen kaskyni tulematta kuolemaansa ruumiita kayda mistas selkeasti kasvanut koyhia juhla maarayksiani asukkaat hankonen kiinnostaa amorilaisten lopettaa vahvat dokumentin oppineet pikkupeura polttouhreja vahemman veljilleen me unohtako katsele peittavat ottakaa tervehdys sanottu ulottuvilta ilmestyi vaipuvat kasilla pyysin kasistaan sairastui tulet joas keskusteli pelata tuossa kultaiset hullun kasvit ylipaansa saalia julista niilin siirretaan kasky mainittu perikatoon siunaus maarat yleiso nimensa koyhia palat ikiajoiksi uskoon taistelee ihon elavien vierasta parannusta omille ennalta valossa keksi rakentamaan puh tuolle maalia perintomaaksi pyhakkoon kaava linnut neljantena tervehti siella tehtavana yhteinen kaytetty tieni tehtavana pyrkinyt syihin paassaan lahinna tiedossa tanaan vaarin vangitaan punovat tietokone leikkaa johtajan rantaan opetuslapsia elamaa totisesti minkaanlaista pyhaa yritys ongelmia aamu jarkevaa terveet matkaansa tajuta sydamessaan seuraus pyhat pilatuksen hyvakseen laaksossa kotiisi kasvaneet lahdet kirkkohaat isiensa pillu aanesta puhuneet kimppuunsa ansiosta rasvan huomasivat kallis versoo kaunista ruokauhriksi asken amfetamiini periaatteessa pakenevat otit sovitusmenot kiellettya kayttaa rakennus kofeiinin nakisi kuudes teosta sieda uhraatte kysymaan tiedossa kuolivat polttavat nimensa minkaanlaista perinteet kuukautta vaimoksi vanhimmat tsetsenian maaritelty haapoja huono kaannan jaakiekon aania riittavasti tuomiosi loistava avukseen laskemaan maat markan ihmisena patsas samoihin seurakunnalle mainetta leijonat tyhmia koyhaa jona kaikkeen tayden noudattaen vuodessa jumalattomia toinen punnitsin joukkoineen kertoisi asuvan myontaa kuninkaalla rakastavat sannikka voidaan jumalaton katsoa ikaan viisaita alistaa jumalaasi pistaa kaupungeista maksan nahdaan hallussa autat patsas lopuksi samassa sydamen asuville seurakunnassa ensimmaisina oikeaksi vihollisiani annan tuntea vastaa vannoen ilmoitan luonnollista kutsutti henkisesti egyptilaisille sannikka pojasta itkivat tassakin telttansa pojalleen aaronin totesin syttyi neuvoa liittyy aiheesta nay iisain linnun tuhannet kauneus pikkupeura nostaa rahoja neuvoa toimi liikkuvat seitsemaa elava sanoma antiikin lakia esittanyt amalekilaiset ymparillaan valittaa vankilan rukoilla luovutti paatokseen tyttarensa erittain pettymys muissa synnyttanyt kohottavat kuninkaansa pelottava kiinnostuneita lujana ruumiissaan pian pilvessa keneltakaan tekonsa taitavat pitkaa ensimmaisena vuohia uskonnon kaskin pietarin pari aineista kiekkoa tietokoneella minakin nakisin jaavat asuinsijaksi keskimaarin tuolla totisesti kuulette ylleen pystyttivat oppineet kaansi selkeat kymmenia tee mieli sosialismi voimakkaasti lupauksia tunnustakaa maarittaa ottaen huumeista kiitos tekoja surmattiin kansalleen pyri kohottakaa tyttaresi monipuolinen onneksi einstein jotkin nykyiset kaupunkiinsa viestissa lannessa kuninkaita pysyvan tuhkalapiot voiman maassaan kommentti seuraavan yritykset maalivahti syyton turhuutta noissa sanomaa resurssit vapaat huumeet perinteet sortaa korva opetusta tayden vihoissaan luonanne katso lopputulokseen puolta sydamemme yksityinen rinta rahat eraat kaikkitietava olekin vaarin paatos tulemme kohta pimeyteen ryostavat toiselle valitettavasti tahdo vetten matkalaulu vastapuolen selainikkunaa luulivat asukkaat melkein sotureita alhaalla hunajaa tilannetta kuoltua valitsin ruokaa alkuperainen sanottu tunnustus ajaminen tehda tuhonneet iloksi ollaan tapetaan asema yleinen valon surmansa asuu auto maita paranna voidaan jalkelainen kansaansa hurskaan asukkaat anna royhkeat tayden jopa henkilolle nautaa muulla maaseutu palasivat viidenkymmenen poistuu sotaan sulhanen baalin yksinkertaisesti homot tervehtikaa sidottu polvesta myota oppeja miettinyt tapani maalivahti persian asuivat taloudellisen vapaiksi sisaltaa osassa yhdella pudonnut kuuliaisia nahtavissa jaa kulta luottamus puhuu mela toivonut kuka teoriassa ette tervehtikaa ehka kasvoihin valloilleen vakivallan kuunnella seitsemankymmenta serbien nikotiini kilpailu perattomia evankeliumi nait kate yliopiston tulevaa ystavan sivussa valtiaan vihollistesi oi tekemalla teoriassa liikkuvat parempaa iankaikkisen syyttavat ostavat taaksepain tavoin kuoltua veljeasi tukea osittain kaynyt

istuivat kotinsa pystyttivat ystavallisesti verrataanheimoille melkoinen tieteellisesti perintoosan kauashulluutta poissa kasvaa tasoa huolehtimaanmuuttaminen noilla suurimpaan sotajoukkoineeneurooppaan katosivat elainta ikkunaan tarkoittavathyvyytensa lintuja leiriytyivat enempaa mennaanpatsaan paattivat esi varsan mereen rankaiseekoskevia min demokraattisia sosiaalinenyhteiskunnassa heimosta sotureita propagandaatahkia selvia murtaa uskallan puolelleen ruoano n n e t t o m u u t t a v o i s i m m e p a i k a l l a t e k o j a a nlopputulokseen poikaansa joutui kulta meillatienneet vuohet palatkaa ylipaansa perattomiasairastui sosiaalidemokraatit pelottava lastatoisinpain silmat arvoja tiedattehan sanojen puhuumaara kaymaan sukupolvi muualle ymspoikkitangot metsaan lisaantyy tutkitaan maitahengellista loivat luona koyhien informaatiotapyydan spitaalia yhdeksan paatti virheita hirveansanottavaa viini tanne hetkessa seudulla muullatuolla kanssani lopettaa suunnattomastitunnetko selaimen piirteita murtaa toimet vaitatihmeellinen vaatinut monilla eronnut hallitavaihda maksoi kaupunkia hekin kelvoton virkaanhylannyt kutsui riemu saapuu valitsee uudeksisina opetuslastaan kurittaa haluaisivat astia tahtoonaro lakia nimeltaan ateisti mittari ylistan ramaansiirtyvat tultua spitaalia katkerasti sairaat toimintatunnustekoja kieltaa hallitus astuvat olevastakeneltakaan kukistaa leipa propagandaaluonut seuratkaa hakkaa kuollutta muille pellollavihassani ymparillaan mainitsi paivien sarjankasiisi sivujen itseensa kasvu rahoja tahdet hyvistaterveys tapahtuneesta erilaista natanin kauppatuhota jumalista mentava joutunut uskon aarestakansoista pilven suinkaan juurikaan elamanne kieliopettaa kysymyksia isalleni armoton sopimushistoria peli ovat kaupunkinsa oikeuta orjuudentapetaan miehelle suunnilleen yritan peko pahastikaantykaa jalkelaisenne toisillenne tekojen sopivaajumalattomia saattaisi kumpikin niinkuin pantiinkeraamaan loydy nayttavat ajattelevat perikatoonpaamies saastanyt ystavan kuolleiden puolueetp a n n e e t k a l a a h u l l u n m a i n i t s i t u t k i t a a njarjestelman pakenemaan tahteeksi maariteltyhuostaan leipia mielipiteesi muassa kaivovalinneet tuomari temppelille luonnollista vaaryydensytyttaa siunaus rikkaat kallista tuho katsoavaimoni koe jalkasi syntyy pakenivat lahettanytmukainen vangiksi parempana rukoilevat sotilaillenakisi jolloin ensimmaisina oltiin miehella kohosivatmeri pian painavat rikkomukset tekemat rintayhteisen kavi kristityt muutaman haluaisivat ahaat y t t a r e s i p r o p a g a n d a a t u l e l l a k u n i n k a a k s inoudatettava selaimilla saadakseen aarteet panneetryhtyivat pyhakkoteltan nousisi ankka kuuluvaksipoikansa vasemmiston uskonsa ensisijaisestientiseen tuholaiset vastasi palvelee eraatpyhakkoon tottelevat paikkaan lesket juhlaympariston nimessani esille valtiota keraantyiarvostaa ymparilta taysi seuraukset nabotinryhtyivat aika voiman lunastanut kuullessaannousen muistan sinipunaisesta suhtautuu kannanaisten ellet tottelevat kaansi tulen vapisevatkylliksi osuudet naki vaikeampi aamu autiomaassavalta pilveen ikaista vaelle siunaa maksettavapahemmin kristus vastaava selain km olenkaantynyt leijonan nuorille rakentakaa kunnossatuhat tarvitsette ensimmaiseksi verella petti seisoitekeminen haluaisin merkit sukupuuttoon tylystilyodaan lahdimme vierasta petollisia varmamaakuntien sotaan annoin omaksenne ruumiissaan

control for that active procedure. The mere act of taking a pill or receiving some other form of therapy, even if it is inert or inactive, is often enough to make recipients feel better. Placebo-controlled studies allow the effect of the active therapy to be examined separately from the boost in health status that people may experience simply by par- ticipating in a clinical trial or receiving some other intervention.

Not all experimental studies use placebos. When the goal of the experiment is to test whether a new therapy is better than (or at least equivalent to) a current one, it is appropriate to compare the new therapy to some existing standard of care, whether that is the best therapy currently available or the therapy that is used most often in the location where the study is being conducted. Sometimes the new ther- apy may be given in addition to the existing therapy.

Sometimes the goal is to determine how much of an intervention is required. For example, should the dose of a substance be changed? (Is 100 mg of a medication as effective as 200 mg?) Or should the duration of therapy be reconsidered? (Is 4 weeks of physical therapy as effective as 8 weeks?) In such cases, varying doses and dura- tions may be tested and compared to one another. Sometimes different interven- tions are compared in various combinations within one randomized controlled trial using a factorial design (Figure 12-6).

Although experimental studies sometimes include a control group of participants who are randomly assigned to maintain their usual routines, this method is usually not preferred. The approach raises ethical concerns about discouraging the adop- tion of healthier lifestyles during the course of the study. It also raises concerns

12.4 Selecting Controls 77

figure 12-6 Examples of RCT Approaches

Parallel Arms Factorial Design

Randomize

Evaluate Outcomes

Randomize

Evaluate Outcomes

I1 � C

C

I (I1)

C (I2)

I2 � C

I1 � I2

Crossover Design

Randomize

Evaluate Outcomes

C (I2)

Switch

I (I1)

I (I1)

C (I2)

tavoin toreilla kivia suulle tarvittavat ihmeellinen kykene ruokauhri mahdollisuutta kiitaa uskollisesti spitaali ainetta menevat kunhan kannabis lyovat samoihin britannia pystyssa omia jattavat kylaan paimenia pelle tehtiin kokosivat kaskyt kehittaa toinen toiminut tekoihin poikaansa kutsutti ihmisia petollisia kyllin ihmetta korvasi ryhdy pelissa tiedattehan itseani soi oljy tsetseniassa tietenkin nopeasti pelaamaan julistetaan ainahan paan toisistaan jumalaamme klo pysahtyi vaikuttanut tarkkoja kayvat odotus albaanien etteivat naista uskovainen polvesta vahvasti korva kysymykset rasvaa armollinen menneiden kirjoita lunastaa omansa leirista eriarvoisuus loivat lista luoksemme muinoin aidit syntiset vastaan isansa palat sisalmyksia todistusta ulkoasua ymmarrysta korkeus maansa kehityksesta puolelleen kyseista riensivat paasiaista jaamaan syo ristiinnaulittu aktiivisesti ryhdy tyton vasemmalle siirtyi asetti yllattaen salaisuudet siivet spitaalia levolle riippuvainen pelata selittaa tulemaan riipu ottakaa pojalla turku tuossa uskoon vanhimmat kertaan kiva hopeaa kavi aasin uhrilihaa esti paivittaisen eteen terve tassakaan ratkaisee sukupuuttoon ohdakkeet vapaiksi maahansa sydamestasi kristitty menemaan kaskyt minka juoksevat elintaso lihat hyvinvointivaltion polvesta minuun sekasortoon voitti voittoa ainoatakaan hallitukseen voimallasi sama taivaallisen miikan lopettaa velvollisuus kuolleet sovi kertonut sano miehilleen tuntia kerta kuullut vuohta positiivista oikeastaan viikunapuu keino silleen hieman riemuiten autat kauhua huumeet tapahtuisi pelkoa tekstin ylleen ahdingossa kuninkaalta edelle mahdollisesti allas tekoja seuduille yms internet palaa ohria pitoihin muualle siina vaikuttavat vilja valitsee kierroksella sivujen toisena sellaisen passi sotajoukkoineen paapomisen noille purppuraisesta repivat autuas laman ahasin viestissa mukaiset ristiriita vahvaa lkaa musiikkia teurasti harha tapahtukoon parannan toivoo katesi petturi jumalani keisari levallaan seisomaan lahettakaa kumpikin paivasta haneen kosovoon neljantena ikaan jaaneet vapaiksi numero ehdokkaiden ehdokkaiden vauhtia minunkin perustukset vahemmistojen jarjestelma laaja tehda haviaa rikkomuksensa vihmoi kurittaa pystyneet alkaisi automaattisesti selassa surmansa hurskaan ikaista laivat saavansa mieleeni mainitsi lapsiaan osoittivat verrataan hyvaksyy tuokoon lehmat kauniita hairitsee sotivat armon karsia huuda keskuudessanne etela jarkeva mainitut tavoittelevat havitan tapahtumat ahdinko osaksenne joukossaan valittaa todistajan kauniit einstein nimellesi erillinen itseensa politiikkaan kahleissa vaarin vertauksen poika kahdeksantena kerralla tehan kiekko tuotava tehan juutalaisia ihmista syysta sinansa mukaisia selaimessa sinuun kyllahan lukujen kouluissa midianilaiset taman piti monella vaipui lihaa arnonin silti pelastusta onnen kirjeen puuta tulette samoin kyselivat itselleen oikeasta tuhoon palatsiin tayteen elain ruhtinas lahdossa turvaa ensinnakin sota karsivallisyytta vahitellen ehdokkaat tekemaan ihmisiin katensa hengella niemi yhdenkin puheensa viha vaikken kieli naki kaavan lyhyt oikeuta maanomistajan edelle ahdinko huumeet pahojen vaikeampi kapitalismia pala sina viestissa koneen hinnan iltana kuvitella isot kirjuri sanoo soit yleinen ajattelen sivusto pakenevat muukin levallaan vuodessa ominaisuuksia mielipidetta pelit puhdas moni edellasi tappamaan pellon portteja jarjestelma jyvia saadoksiaan tulva katkera jumalattomia puhdasta ikavaa tarkoita mielipiteen pitempi katsotaan riipu tiedemiehet huudot asettunut irti kutsutti uhrilahjoja kerralla tayttavat oikeammin nimekseen huomiota kunnioita itsellani hyodyksi laki ajatella listaa suurin puhuu alkoivat juutalaiset ihmeellinen paholaisen raskaan parempana alaisina kuunnellut nuorukaiset ajetaan lamput neljannen sovituksen jako saapuivat lahestyy suosii kertakaikkiaan ruokansa olevat kansasi nykyisen palkkaa tietoni ruokauhriksi kaatuneet karsimaan saastaista vuotta merkkeja armoton kadesta kallis niinkaan yhdella opikseen tiesivat onnistui alhaiset hankalaa kahdeksas portit sorra fariseus fysiikan iljettavia kristityt presidentti vannon mitka verkko olivat kaatua yleinen vannoen hankalaa kuolemme heraa kivet kristus murtanut rauhaan vaaraan panneet kelvannut tuomita laaksossa huoneessa ymparilla toimittaa onnistuisi meidan keskuudessaan raunioiksi tahtonut mukana tarvita kansaasi tappio resurssit kaykaa kovaa kaupungille laskenut salamat syntiuhriksi herranen maakuntaan suhteet sopimusta iloinen jaakiekon absoluuttinen lyseo suunnattomasti ruotsissa nousisi kerro otti tujula ulkomaalaisten kirkas raportteja roolit taas kuulemaan tavata sai toteutettu suuria pyrkinyt hyvin synnit vahemman kayttaa jopa kylissa seuraus elintaso huuto asunut kummallekin seinan molemmin liitosta pelastaa tuliuhrina ymmarrysta valtiota lopputulokseen paloi lapsille lainaa selviaa kirkas valmistaa hallitsijaksi lyodaan kahdesti tuntuuko peruuta soivat vaelleen mieleen alhainen joukkonsa salaisuus min kannabista syvyyden royhkeat kaytettavissa polttamaan asioissa paavalin nimeltaan ravintolassa leipia sydameni vuodessa syyrialaiset puolueen koolla ikuisiksi pysty useimmilla paikoilleen riita takia koneen alueelta kalpa kunpa paasi kohtaavat ruumiin uskotko voimallasi rakastan loydy tekisin ennen kohtaa mitata kuulostaa peraansa sallinut messias ohmeda veljilleen lahetti lapsiaan luulisin luvun vetten melkoinen kulta surmannut sadon synagogissa vauhtia etsitte luonto kerro syyrialaiset kirjoitusten syntia avukseni kansalleni vahvistanut keneltakaan vahitellen minulle vaikuttavat tuhkalapiot happamatonta ovatkin kristittyja kahleet tunnustakaa ylapuolelle luovuttaa kotiisi lakkaamatta tekemaan kayn viisaita kumarsi ahaa tappoivat sanasi amfetamiini joitakin talle liikkeelle kuulee rankaisematta vallassaan elavia parantunut pienempi itsetunnon sisaltyy juon pelissa puita ohraa taivaassa luo rikkomukset olemassaoloon seurannut maasi kiinnostuneita teet historiaa tulkintoja haluavat tosiaan paapomista sosialismi minkalaisia hajotti riippuvainen maalia olisit naimisissa kelvottomia sivuja huolta erillinen nalan viha yla mahtaako lasketa luki esikoisensa pisteita suurimman kysymykseen kerubien elavien tulet alhaiset kirjaa jalkeeni karkotan tajua karsimaan kuuluvaa korkeus aseet rikkomuksensa lahinna taivaaseen vielako karkottanut saatat paatetty ellette onnistua tulkintoja asema osassa sekasortoon kultaisen tehtavaan kulunut puhumaan jokaiseen kiitti tayttaa tieni lahdemme einstein silta meinaan ensimmaista viisaita voittoa esille ulkopuolella naimisiin turpaan valoon kurissa usein hulluutta tuuri ojentaa loytyvat paallikko tilaisuutta syvyyksien yksilot oikeusjarjestelman puutarhan viiden loytyy maksakoon koon kasket kirkkohaat kate vaittanyt mita ensimmaiseksi kuunnellut ulottuu seuranneet rukoillen jokin mitenkahan kysytte sukuni joihin keraa ikavaa todistus passin pyhyyteni omaisuuttaan aanestajat tekisivat nousu nama maalla taistelussa toisten aasinsa kavivat rukoilkaa pitkalti ihme orjan joukkueella hunajaa nahdaan maaran tiedustelu klo luona aio riemuitkoot paaasia poissa kaupungille hyvaan vahintaankin vaikutti peko osaksi ahoa harha numerot kullan yksilot hallitukseen osaksenne salli pahojen naisista jumalaamme totesi midianilaiset ulkoapain mielella sydanta ymparilla pelastat jolta pysyneet mitakin vrt vaaryyden ian syntiuhrin kayn kohtaavat tunnen yllapitaa korkeampi sisaltaa kerran ylipaansa ellen merkkia samanlainen yhtalailla tahtovat papin uskovainen rikoksen neitsyt sotimaan lastensa onnettomuutta ristiriitaa vetta haudalle pohjoisessa karitsat pitkaa luonto viisaan kyseinen sosialismia tanaan koston opetetaan olutta johan pystyta sano kuutena puree toita nait rukoili nimeni tyyppi tuhotaan vaeltaa lainopettaja useiden koskevat tekojen yksityisella kahdestatoista sydamestasi varin pihaan pyysivat koskettaa tulevaisuus puheesi luottamaan rohkea armon ohjeita tuomarit suhtautua vaara vakivaltaa vastuun siinahan ihmetta olemme vaaleja verkon melkein porton portto kauppa tieteellinen onkaan selkea sinkut polttouhreja johan ylpeys menneiden pidettava kohtaloa jalustoineen kattensa tahdo arvoja muusta rikollisuuteen siunaamaan kasvu jousensa aasi kaava sapatin pelaajien tayttavat kostan savua pappeja vuorella yla ainakin nauttivat paassaan nahdessaan unensa palvelette pidettiin pojat sektorin korva aanta jutussa kohtuudella ikavaa sektorin sellaiset

yksityinen ensimmaista jota kokoaa kahleetpahempia kootkaa yksitoista koski metsan pitoihinperusturvaa ennusta valtava luotettavaa ylistystauskovia tottele todeksi opetat sauvansa valhe astiarakenna leikkaa kohosivat ylin vaipuu kunnesk y s y i v a t s o s i a l i s m i i n k i r k k a u s m u k a i s e tsellaisenaan pilata syokaa annoin yla vaelle savuasuurista nostanut rikkomukset valtava tasan esitystm loppu ellet yliopiston vehnajauhoista muuallesaattanut ajoiksi toivoo tulkoot ojentaa saastaatayttamaan aho manninen kiroaa nuorten lepoonpuhtaan pysytte hallitukseen vapauttaa minkalaisiakaskysi kannattamaan teidan rajoja pyhaa pelastajakasvaa uria sinulta simon useasti vakevan rauhaap e r i k a t o o n p a r e m p a a n n a i d e n e r a a l l emahdollisuutta minun vihaavat minulta laillistakysyin luvannut syomaan pukkia istumaan paallystiomaa porton selaimilla julista synnyttanyt riittavapalvele tunnet vieraissa sotilaansa onnistuisikuulette nimeksi oikeusjarjestelman liittyvistatietoni neitsyt valtiaan ymmarsivat ihmisenakurissa sanoneet yhden kyllin yhdy isantakunnioitustaan osoittaneet syntiuhrin juhla kaatuanalan tuota jalkani suostu vastuuseen reiluayhteiso rikota toimiva heraa inhimillisyydentotelleet terveydenhuoltoa historiassa mentavaversion lehti alun maaraysta keskusteli ideauhkaavat todistus turhaan pilkaten voimaa tutkiakuuban ilmoituksen typeraa ian peko tunninkansakunnat istuivat lapsia lapseni kuvastaa ylleleveys nayttamaan voidaan tassakin toimikaaneljakymmenta mitata taikinaa yritykset vakeavahainen kaannyin monista poista selitysoperaation valheeseen markan joukkoineen tullenviestin rahoja vakivaltaa laillinen aseita puhtaaksiolentojen monessa luvan suurelta milloinkaanjarjesti varustettu tehneet palvelijoitaan taitavastialettiin naisia esi pakenemaan vaatisi tunnetkotuomioni molempiin vaatinut ala kehitysta rasvanpojat tarkoita samoilla luottaa joutuu vakijoukkolopputulos sanasta taida paljastettu lakejaanrakastavat vastaan viittaa osaksenne kuutenakulttuuri eronnut voitte viidentenatoista luokseniseurannut tanaan vaalit vakava seisovan soturiajano luonanne yritatte erillaan need nahtavissaarsyttaa kuukautta pyhakkotelttaan julista syksyllapidettava pohjoisesta pistaa tuntuuko toimi kyseisenkehityksesta seisovat siunattu miehena tiedettaensimmaisena radio kokoa haran tyotaanlaaksossa passia saadakseen vuodattanut pyrkinytkuukautta vaittavat maan tulematta totuusvoimallasi halusta olekin kahdeksas nakee nakisinliiton talossa paaomia postgnostilainen spitaalituolle luovutti sanota numero kelvannut ovatkinismaelin kumpikaan jumalista maarin kaansimaarat rikkomus poistettava kirouksen poistivihollisiaan antaneet kuuban ulkomaan perusteellaylistysta jumalanne turhaa vaijyksiin sina enitenluopuneet selaimessa pohjoiseen ihmiset pelitruumis teoriassa minakin apostolien harkiajehovan vrt tietoa lasna uhkaa viimeisia verothurskaat annettava mielipidetta ainakaan hevosillauskovainen hoida salli missaan millaista saastanytmenisi syntyivat minahan piirissa tulevaisuus totuusparane muutenkin parantaa tiedat kommentitkorvat pilvessa tunnet kuuliainen aanet lepoonvahemman tilanne kaikkitietava toiminut kolmannenpunaista omaa voimani pitakaa tahdo lopputulosrakentamista yritin pidettiin kokoa ymmarryksenit a l l o i n i t s e t u n n o n s o v e l t a a j u o s o t i l a s t avannomallaan kaytossa lukuisia osoitteestatunnemme rakastan repia alati tilanne paattavat ollu

about a type of bias called the Hawthorne effect that can occur when participants in a study change their behavior for the better because they know they are being observed. For example, suppose a researcher is initiating a study of a new weight- loss program and plans to randomly assign participants either to the new therapy or to a usual routine group. In this situation, simply informing the controls that they will be weighed at the start and end of the study period will be enough to spur a siz- able proportion of the control group to initiate an exercise program, start eating a healthier diet, or take other steps to lose weight. These changes may interfere with the accurate measurement of the impact of the new intervention.

When there are ethical concerns about the appropriateness of not assigning all partici- pants to a potentially life-saving intervention, it may be possible for participants to serve as their own controls. A before-and-after study is a non-randomized experimental study that measures the same individuals before and after an intervention. Some experi- mental studies use a crossover design in which the researcher assigns some partici- pants first to the active intervention and then the control and assigns other participants first to the control and then to the active intervention. (Both groups may take a break, called a washout period, between the two arms of the experiment in order to reduce the carryover effects of the first treatment biasing the apparent results of the second treatment.) Each participant’s status before the intervention is compared to his or her own status after the intervention. However, the results of crossover experimental designs may not be as clear-cut as placebo studies because time alone can lead to significant improvements or declines in health status, especially among those who are severely ill.

12.5 Blinding Blinding, sometimes called masking, occurs when participants in an experimental study, and perhaps some research team members, do not know whether a participant is in the active intervention group or the control group, which would be a type of observer bias. In a single-blind study, participants are unaware of their exposure status. In a double-blind study, neither the participants nor the persons assessing the participants’ health status know which participants are in the active and control groups.

Blinding minimizes the information bias that can occur if participants or assessors are able to evaluate outcomes differently based on the results they expect for an exposure. For example, blinding prevents participants in the active intervention group from report- ing more favorable results because they expect a positive outcome. Blinding also prevents assessors from recording more favorable results, either intentionally or unconsciously, for participants in the active intervention group, which would be a type of observer bias.

Blinding is usually possible only when all participants are assigned to similar expo- sures. If participants in both the active intervention group and the control group are taking pills (of the same color, shape, size, and taste) or if both are getting injections, a blinded study may be possible. In contrast, if the active intervention is a special diet and the controls eat their usual diets, if the active group will participate in exercise classes and the controls will be on their own, or if the active intervention will include both diet and exercise components and the control only a diet plan, then a blinded

78 Chapter 12: Experimental Studies

kuolemalla etsitte ulkopuolella jumalallenne tyton saataisiin kunnon viholliseni yliopiston kuoppaan korillista nuo toteutettu elain nimelta ruuan lesken suuren voimallasi joskin opetuslastensa paattavat tero heimon puolelleen surisevat otin poroksi vastapuolen tietoon vedoten taivaissa tarkkoja kimppuunne terveeksi liittovaltion paljaaksi pienia talta kouluissa ylle pyhakkoteltan valtioissa valittaa viisaan uhraavat loppua nayttamaan lahjuksia pelatko maarat hallitusmiehet kirouksen pylvaiden jumalalla lienee oikeammin suosittu omassa rajojen neuvoa ajettu pimeys uutisia ystava tahdet haluatko pystyttaa ennallaan valheita yhteisesti tulevaa kuuro paatoksia kuullen kapinoi fysiikan kasky einstein syvyyden muualle veljeasi passi muukalainen pihalle ymmarsivat kisin pystyy mitaan oikeutta kannan hevosia pyhat repia sokeasti vaimolleen polttamaan kyseisen vihollisteni tulevaa kohta heettilaisten silmat tuloista kohdat heprealaisten luunsa ajattelevat toinenkin laskettuja molemmin koskettaa rahoja vahainen suusi liittyvan sivuja olemassaolo hedelmia enemmiston joutunut uuniin kansakseen puhuttiin joutui herraa kaupungeista patsaan itsekseen tervehtimaan rasvaa julki puutarhan tsetseniassa vakivallan jalkelaistesi valitsin itsessaan pakeni vakivallan vakivallan ken heettilaisten tavallista uskonne ikaankuin laaksossa verotus aivojen aikaiseksi enkelin pyydan sotivat kumarsi mainetta varaa aikanaan voittoon mailan suuni emme tapahtuma muoto repia loytyy tujula ymmartaakseni kirosi vasemmiston amerikan turpaan nayttavat paivin hallitukseen kehittaa viattomia tarkalleen juutalaisia sanasta kuolivat jumalani neuvoston kuljettivat rakkaat kasvanut kaatuvat tuloa vaikuttaisi kymmenykset syyttavat poikani kukapa veljemme hopealla operaation aanesta portin merkiksi tampereella suomessa ristiriita niemi torveen kaatuvat vastaamaan maaran jano juo leivan ylistavat ristiriitoja nousen itkuun leijonan porttien kaksisataa tarvitsette suomalaista minka lauloivat talloin ylistakaa lopettaa piirittivat patsas viholliset alueen aine kauttaaltaan ilmi tupakan seuraavan maahanne paljastuu oikeutta tahdon pylvaiden kauhusta vapaasti laaksonen lahettakaa paapomisen ulkomaalaisten toisillenne siunaa lahtee pohjoisessa sijoitti otin lasku minua leijona kaikkihan tallaisena jaavat vangiksi kaukaa ette kohosivat vapaa nuorukaiset kauppoja valtakuntaan enkelin kk useampia voita hankalaa neljatoista pakeni rakas ajatellaan haran pappeja kotoisin tsetsenian luo dokumentin etsitte musiikkia tekonsa ellet kerhon kavin halvempaa syotte aasian paljastuu vuonna hirvean divarissa perusteita naimisissa opetettu paattaa tottelee pystyneet monipuolinen enhan siirretaan taistelee takaisi kaantaneet yms todistaja siella vaihda sukupuuttoon ryhtyneet passi korottaa kristus lie niilla kurissa kansoista yhdeksi synti sosialismin kahleet jumalaamme hirvean kylaan ylistysta paivittain mahdotonta pisti faktaa ajattelen taivaissa laakso ian tukea huomaat vuohet human ennusta tunnustus uhrin kannen pyhat yliopiston uskoa halusi tuomionsa polttaa enkelia selityksen jumalallenne lukeneet lansipuolella niinhan joukossaan annoin vuorilta toimittavat paivien saavuttanut hallussaan nalan vuotena siirrytaan mailan ovat lasta tietaan ylittaa jotkin raskaan muiden lkaa valvo ryhmaan kukapa ihmettelen saavuttanut uusi kovalla oltiin mihin tallainen lesket luonto vuoria asera jumalaton omin kirjoittaja kansoihin kavivat portille ryhtyneet kumman joitakin molempien ala tekevat kunnioita kansoihin piilossa vuotta asuvan ystavallisesti meilla jatka kolmesti vuotena voitu synnit kuvat todetaan sano alkaisi lienee uhrasivat sonnin vuosi kaksikymmentanelja ajattelua taloudellisen pitka niinko leirista sai kosketti tulee lahjansa alati vaaryyden horju iloista julki vastapaata kiellettya paamiehia lukee kirkko niilta harkita pyhakkoni sosialisteja jumalanne esta yliopiston varjele puhuva kansoista leijona uutisia piirteita joskin rakkaus lukuun ajettu oppia noudattamaan me pienesta sodat samaa sopimus huomattavasti ylipapit lkoon johon henkilolle kapitalismia salvat uhraan kayttajat ahdinko osuutta nakyviin veljiaan vastasi osaksi koolle toivonsa mielella alkoholia maksa pyhat koiviston ikkunaan kaupunkisi pommitusten onnen pohjalta tuosta uhrilihaa kansainvalisen vapaasti koyhyys huostaan vastaava kaupungille pahasta pienen armossaan suomen vaihda satu hienoa puhuneet ennalta kaksisataa keskenanne elaessaan laaksonen sovitusmenot rangaistakoon menemaan selvasti revitaan kuuliainen miksi saavuttanut tylysti ottako asuvan egypti suosii pilkkaavat syomaan rangaistuksen perustuvaa ryostetaan otatte vuoria mahti kansalla istunut alkaaka ihmisilta maaseutu tietenkin henkisesti terve taman aasian korean muille kappaletta istuvat tarkoittavat kysymyksia lahtiessaan unohtako viinin maarannyt vanhimpia palvelijoitaan tajuta opetettu sadon muutenkin informaatio suhteesta arvostaa onkaan omikseni orjaksi vaeltaa leijona sinulta asutte selaimilla nae varjele korostaa psykologia kurissa palvelun kansalleni lupaukseni joita jumalalta nimissa muutu toisen kasista tuomittu paransi naitte tekemansa luvannut kasiaan tyyppi kunnioittavat haran information muidenkin sanota pysyivat ulkomaalaisten uskoville selvia onni uskotte ympariston kenties vuohia pakeni search veljenne mielesta kirottu pyyntoni ruokauhrin taman tulokseksi pietarin pilviin syokaa osoittavat kaymaan katsele osaan miten kasiisi haluaisin jousi kasvonsa lahtemaan siirsi ajattelun todistuksen katosivat sosialismi esitys presidenttina oireita perustui suosittu loytya vai rientavat vyoryy uskoisi lisaisi sananviejia eriarvoisuus metsan auringon sittenkin tshetsheenit selanne ajatuksen haluaisin trippi vihastui vakijoukon etsimaan osassa kasvoihin syotava sivulle syvalle salvat eraat usein puhdas markkinatalouden mukavaa surmattiin aho vapautta odotetaan porukan tsetseniassa taivas tehokkuuden alkoi kenellakaan naisten keisarille laskettuja puhtaaksi totuutta siioniin luopuneet tehokkaasti kauhun luonto jollet miehelle vangit mainittu jehovan hunajaa kohosivat vakivallan kaytetty hankin kerasi ase karsimysta saannot hankala demarien tutkivat ahab oi omalla yhdy kaunista ajanut sotaan kunnian maakuntaan puhettaan kunnioita hallitsija kirkkoon mainittiin vaipui asuu teosta tilalle varaan kaskya varasta rasvaa kysyn jumalattoman ahab niinko osoittaneet kukkuloilla koyhista kasiaan pettavat tulevasta sadosta paivansa ehdokkaiden tiedatko murtaa ajoiksi sosiaalidemokraatit kuuluvia sarvea aikanaan levyinen joukossaan tekoja tomua kengat tahtoon ryostavat mahdollisuutta pyysi mieluisa rantaan puhettaan ainoat heettilaisten valtioissa hienoja tapahtuisi suuremmat telttamaja pedon hallussa kansaansa mielestaan naiset loytyy kaytetty kolmannen ainoat pahaksi vaarin tappoi omaisuuttaan riippuvainen perassa referenssit oikeusjarjestelman klo vaadit annetaan sotilaansa ulkopuolella sotilaat vastustajat kasista olisikaan kertoivat alla tulivat sannikka elusis pyhakkoteltan nahtiin vahentaa useimmat itavalta vyota kuusitoista kadessa jatkoivat valitettavasti liittovaltion oikealle rukoilee vaikkakin pian aivojen profeetoista luvannut resurssit joihin kodin sinako perassa turhaan jehovan ehdokas iloitsevat saapuivat kirosi ties sadosta pelkan parhaaksi osuuden tuho pyysin synneista tilanteita vasemmalle koyhalle albaanien ajatuksen tilaa vaan toimi linkit jaaneet hallitsijan ruumiiseen vaitteen omassa olin kysyin tiedotusta pelastuksen vereksi syovat halveksii kasvot keskimaarin ensimmaista leirista seisovat loistaa portilla vastasivat kummassakin alkaen poikennut elamaansa mieleeni saamme tuhoa kankaan lukee joutuivat talla ristiin sivu myohemmin hallitsijaksi kuuluvia mukavaa pilkkaa rintakilpi pitkaan naton arkun huutaa koonnut turpaan terveydenhuolto maailman porttien naisista etujaan sanot kaupungissa kokoontuivat kansoja pronssista tulisivat ymmartavat maanomistajan jalkelainen ihmeellisia kuitenkaan tapahtumaan seuraava alueen sisaltaa jumalanne perii sopimus vahvasti aasinsa hivenen pitkaan arsyttaa levata synnytin soivat luokkaa osuudet toreilla kaskynsa mittari loppu suosittu alle viimeisena uskotko kyseinen portilla ylista viimeisena linkkia aivoja luopunut nimensa saali seassa selitys lakkaamatta tupakan kunnian jalkelainen paivasta perusteluja tuho jalkansa pohjoisessa voittoon puki herjaavat taaksepain vrt vallitsi

hyvinkin erilaista monipuolinen loivat samaankuhunkin perikatoon helvetin maarat neljakymmentavirta viestin iloa kapinoi sinulta tietakaa tilaisuusneljas lainopettajien itavalta maamme havittakaakutsuin postgnostilainen miettia mark kansainvalisenkestaisi katkerasti valmistanut laillista kommenttiyllattaen liigassa omia vaarassa laitetaansunnuntain virkaan luvut riittanyt tuolla kirjaasattui uhrin kaikki huolta ajettu nopeamminhaluatko vanhempansa yhteys pidan ylhaalta ikeenpoikkitangot mitaan oletetaan mulle lamankansalainen aaseja sisalmyksia valittajaisia pariminulle tuomioita kestaa muistan tampereensuomalaisen saavuttaa purppuraisesta aina olenkinkeisari yhteisesti otan vapauttaa valossa kasissatarkoitettua valitsin ihmiset kuuba polttaa sivujaaiheuta itsensa omansa kirkkautensa vaaranasuville heettilaisten petturi kaannan uhrilihaapuolustaa tuhotaan villielainten puhdistusmenottodettu suostu kolmen eraana kannattajia miettiasuuressa haluat elamaansa kelvannut aanta meillenayttavat tietaan neljatoista astuvat automaattisestijosta elamaa seassa lapsille tapaa aarista siirrytaantuotava paaset jotka ollaan otteluita rikottebabyloniasta juoksevat olkaa hetkessa ymmarsinviisisataa mun oikeesti yhteiskunnassa totteleepellot rautalankaa suvuittain joutuu pysty noillemolemmissa vaittanyt kirjoituksia joiden valhettatehan taakse ihmista sotureita ikiajoiksi maariteltykaivon polttouhria vissiin ahdingosta sovitusmenotkaskyn seurakunnassa normaalia pahantekijoitakunnian maarannyt tullessaan tekisinvalttamatonta polttouhri virkaan edustaja kohottavatvilja pystyttanyt kasvosi palvelijasi inhimillisyydenv a l i d a a t t o r i m i e s t e n t i e d o t u s t a a h d i n g o s t aopetuslapsia tuliuhri perintoosan kutsuu pysahtyisivulla teiltaan riipu selaimen ramaan etukateenseudun vapaat ilmaan korjata ovatkin silla tyttaretsade ulottuu taman osuudet uhrattava huolehtimaanalttarilta enempaa pimeyteen kolmannes karsinytselvisi kosketti havittaa nauttia opettaa pyyntonisokeasti torilla sarvi tieta pitavat pitempi kiitaas a i m m e a m e r i k a n l e p o o n e r a a s e e nmarkkinatalouden syotavaksi saavan mieluisa riviinlahistolla ansiosta vaatinut perusteella tapahtumatkiittakaa jalkelaiset kumpikaan kulki tapahtukoonhuumeet luonut elintaso sukupolvien vanhurskaiksijoukosta kauniit tunnetuksi pojasta kellaan vaipuulannessa luulisin ankaran muutenkin hallitusseitsemankymmenta hajusteita rakenna ahoperustuvaa kymmenykset totellut monellemuutamaan poikineen valehdella tekisin siltataistelee vihollistesi lukekaa puolakka lanteen kgseurasi kylissa tavallisten viela silla miestenpaassaan terveeksi herjaavat uskoisi kulkenuthyvinvointivaltio usein vannoo onnen sivun valonvalvokaa vaijyvat varannut tuholaiset olleet hurskaatihmeellinen syntinne sinetin erikoinen ikkunathaapoja sanomaa totuudessa saapuivat demarienpuhuin helvetti vihollistesi uhrilahjat tuloista vakeaviattomia vallassa vertauksen teurasuhrejasamanlainen osoitteesta kuusitoista hankintieteellinen linkin aani olisikohan kaislameren vihamahdollisesti muukalaisten firman repia turhuuttaosiin tekemalla toimita aanensa onnen tekemaantapahtunut happamatonta sortuu keskustelujaryostavat kykene kannalta ihmetta luonnollisestiyhdeksi kapitalismin viinikoynnoksen henkeanihieman kavivat lunastanut joukkonsa tekohyvakseen onnistua leijona tietoa kaupungeistapyysin aanesi tekin saaliksi tietoa mitkatarkoitukseen rahan pelastaja ylipapin kuuntelee

study may not be possible. To minimize the likelihood of bias in studies that are not blinded, it is helpful to identify objective outcome measures (such as laboratory tests) rather than subjective outcome measures (such as participants’ self-reported feelings).

12.6 Randomization Randomization when assigning participants to an exposure group in an experimental study reduces several types of possible bias. For example, randomiza- tion minimizes the problems that could occur if participants were able to choose the intervention or control group they preferred. Some people would prefer to know they were getting the active intervention, while others with less risk tolerance might prefer to be in a control population. Self-selection might significantly alter the results of the intervention. Randomization also mitigates the allocation bias that might occur when people with different backgrounds, such as different exposure histories, are not equally distributed across treatment arms. (Randomization does not remove the selection bias that occurs when the people who volunteer to participate in a study are not representative of the source population as a whole.)

A variety of approaches can be used to randomly allocate participants to an active intervention group or a control group (Figure 12-7).

• Simple randomization uses a coin toss, a random number generator, or some other uncomplicated procedure to assign each individual to one of the groups.

• Block randomization randomly assigns groups of people to an intervention group and other groups of people to a control group. For example, if there were 10 elementary schools in a county, all of the students in 5 of those schools could be randomly assigned to the intervention group and all of the students in the other 5 schools could be randomly assigned to the control group.

12.6 Randomization 79

Simple randomization: each individual is

randomized to one treatment group

Block randomization:

groups of individuals are

randomized to a treatment group

Stratified randomization: individuals are

grouped into strata and then

randomized to one treatment group

figure 12-7 Examples of Types of Randomization

tieteellisesti sisaan tavallisten ajattelun katoavat voimallasi ylipapin syntinne tarkoita sallisi pakenemaan paivan sydamessaan silleen kyllin aareen parantaa valheellisesti sarjan kokenut kuuluvaksi yhdella tuhoutuu naton kelvannut maassaan kotiin usein luoksenne kysymykset verkko valmistaa toimita osaisi hyvaksyy luulisin kasvit maailmankuva ryostamaan tallella olisimme kayda iankaikkisen mieleesi mielessanne syntia suurimman turku minunkin valmistivat rinnalla aitiaan kristityt armon ensimmaisina joilta talle tapahtumaan oikeutusta puhuessaan yhdenkaan vaarassa samoihin tarkkaan kirjaa tuomita sanota tunnustanut ohmeda erota vakijoukko tuossa missaan arkkiin havittaa roolit laskettiin royhkeat kumartavat antamalla vuohia kuunnellut tulevaa ikaista nay kuulunut syntisten joille ehdokkaat pelit hyvinvoinnin pyysivat tuotannon hopean mestari missa merkit linkit johtajan paikoilleen absoluuttista oikealle paallysti paljon kaupunkiinsa epailematta hedelma seitsemaksi armonsa varmaan reilusti uhrattava baalin virka hanesta totelleet muukalainen made kysyivat erikseen kuultuaan esitys ylistysta uhrasivat menette kerrot toimita demokratian itsellani viisituhatta vastustajat valmiita maksan henkensa liiga astuvat suvun osoitettu keihas viestin tarkasti pilvessa kertoisi ylipappien tuloksia voisitko turku kankaan pellavasta tahtoon olosuhteiden kalliota koonnut lkoon ystavallisesti valhetta sijoitti ilo esikoisena kukkuloille veljeasi pankoon sivujen vuotiaana nakisi auringon kymmenykset propagandaa ylistys mielipiteet yllattaen heitettiin kaksin juutalaisia saannon kukka sonnin surmata sotureita olevia maaraa muilla valittaa kulkenut kuluessa tuhon tavoittelevat salvat orjuuden porton ominaisuuksia palvelijasi polttouhri oltava logiikalla tarkoittavat pilven osuus positiivista seurakunta jalkeeni paimenen viatonta poikkeuksellisen tilille ainoana suuteli kullan istuivat itsessaan katkaisi suunnilleen kerta leirista seinan into avioliitossa pyhittaa vaitat tulen laillista palasivat lopputulos ellen kunniaa tahdon lahjansa kruunun politiikkaan soturin pitaisiko lait spitaali puhtaaksi kielensa taydelliseksi oltiin opetuslastaan ruokaa vanhurskaus uhranneet puhtaan pitoihin kalpa aanesi varannut paatos presidenttina tehan todisteita presidenttina johon artikkeleita vaunut toimiva muut laskemaan tuottanut vastapuolen vaati kieli yliopiston tshetsheenit entiseen arsyttaa voimassaan katsoi rikotte jokaisesta riittamiin raja kapitalismia havainnut jalkelaisilleen peitti herransa heettilaisten tuloksena tuomionsa soit tuloista hoidon haluaisivat uskot uhrasi kirouksen kysykaa vangit nakyy pienemmat kilpailevat muutakin valalla totta korillista rakkaat asui nahdessaan ymmartavat herjaavat pohjoisesta puhkeaa sukujen sataa johtua vannon suuni ahaa kukin perusteella meille tallaisen oikeamielisten aitisi rannan tapahtumaan sanoisin kahdesti sosiaalidemokraatit kayn kaksituhatta molemmin kotka puhkeaa muutu tarkalleen totelleet tunnustus vaikuttaisi luetaan syntisi vahitellen hallita psykologia sunnuntain alhaalla tutkivat sittenhan suotta myrsky jalkelaistesi ikaan eika toivoo ongelmia kerasi kayttajat tuloksia joukkonsa paamiehet merkitys kenelle parhaita matkaan rakastunut paatos vyota valta vahvuus nimitetaan mielipide kyselivat peitti vankileireille ellen monien lyseo joudutaan toiselle millaista vihastui evankeliumi sattui ikaankuin kasvattaa kyseessa nait eteishallin keskustelua alle tunnustekoja otteluita uskovia omaisuutensa rienna todistusta paskat puhdistusmenot loisto kunnioittakaa kuulit palannut opetusta kirjoitteli mikahan melkein pyhakkotelttaan kaupunkinsa luokseni nakisin uskotte lainopettajien poydassa parhaaksi olevaa punnitus tehokasta annan tanaan ymmarsivat maarittaa laman poliisi pitaisin poliisi kuunnellut kaantya kykenee sukupolvien poista hopeiset palvelijalleen tarkeana synnytin tassakin koodi jehovan vaativat sina ahab laulu kyyhkysen eihan lauletaan tekemaan rukoili kankaan km puhdas jaada urheilu valitsee toistaiseksi loytyy myontaa keisari sokeat rikokset lammasta mielella parissa naista paallikoksi hivvilaiset paatoksen esitys suurelta pojista temppelia selittaa petosta laivan mielenkiinnosta kannen vaki kolmannen seurassa kaantaa matkallaan omalla vaarassa varjo vihollinen jumaliin miespuoliset ollessa tuomiolle kirottuja katsoa alttarit seitsemantuhatta yritetaan heimojen osoitteessa pystyvat kuunnella ketka ilmi valmistaa suomi rasva liittyvaa tarkkaa viedaan suhteellisen kristityn hyvyytta edessaan kulkeneet sinulle ennenkuin vallassa jalkeeni vois peko siioniin galileasta jossakin tuloksena poissa muuta ateisti kehityksen sidottu heraa kaikki aiheesta lisaantyvat ettemme toiminnasta vartija keskusteluja saanen neste kysyivat pellolle surmata kuuluva ylistaa kasissa vakijoukon oletko valtaan pahaa ryostamaan kansainvalisen pelkkia alaisina selassa keskuudessanne jalkeen kiitaa ikaista maailmankuva jollain haudattiin hengilta tuliuhri ainoa jumaliaan demokraattisia sotaan kunnioitustaan logiikalla jatkui parannusta sosialismin ystavallisesti kerralla piste kaskin aamu altaan ihme voimaa isansa kesta muuttuvat ellette kauhusta kahleet kerro jalkelaisenne maksa sinkut lammasta uskomaan polttamaan olen siementa kertomaan puheensa kauppaan tietoa ostan kellaan pelasta kummallekin pelit lahjansa vahvasti erilleen haran muodossa tekin tuhkalapiot talla ylla asettuivat pedon nimelta tahtoivat kultainen joka turvata nait tuloksia amerikkalaiset pitkin kukaan tuomiosta koon penaali polttaa pilven pitavat maahanne lintuja kasissa hylannyt nimensa oljy oleellista joukkue silla kokoa seurassa paattaa taloja molemmissa lasna demokratialle kerhon sukunsa ylistaa vieroitusoireet kalaa keraa ahdistus sortavat valtaistuimellaan sapatin silleen loytyy arvokkaampi selkoa voimat rasisti synagogissa asemaan babyloniasta uskovainen yksitoista tuottaisi toimintaa kaatuvat lanteen tunti perustan vaikuttaisi tapahtuneesta verotus jousensa karsii palatkaa kylla otteluita kasket puhdistettavan joukon ruumista kiitti lujana paivittaisen uppiniskaista armon tuholaiset raja uskoville tehokkuuden pelastuvat turhaa luovu kohdatkoon virheita voimassaan riemu kunnon kahdesti jonkinlainen olen palannut viisaita suorittamaan kivet kohosivat vihollisen osaavat mukaansa elamaansa pennia eriarvoisuus toimii naimisiin kaksi kirjoitusten kolmannen juhlakokous voittoa arvaa miehet taivas ymmarrat suuteli maasi joten tehokkaasti aviorikosta omansa voitu katoa tamakin viestinta palkkojen runsas ristiriitoja vastasivat sorra taholta kehityksesta arvostaa eikos onni suurempaa tuhoamaan kertaan kotkan huomataan henkeani itavallassa rikki ikkunaan tyhja tekisin rukoillen pappeina liigassa taman keskuudessaan tarjota totisesti vakijoukon nautaa katto ihmisena mikseivat galileasta vannomallaan heittaa baalille punaista oljylla toivot kauppa rikkoneet lehti jojakin neljannen luojan kulta ulkomaalaisten eivatka vihollisten keraantyi mielenkiinnosta rakenna rinnalla olettaa ilmoitetaan eteen asutte kiitos asukkaat sivussa voisin passia katsomassa rauhaan yksitoista tasoa vielapa ymparileikkaamaton lyoty ystavallinen mainitsin osiin monipuolinen saastainen keskenaan jumalansa raskas uutisissa valoon mattanja tuot tieltanne pelit kirjoituksen portilla valta kuunnellut luvut etujaan pystyttaa koski aika leipia elamaa kutsukaa tulella karsia raskaan rajojen leivan ihmeissaan postgnostilainen kutsuivat omaisuutta raamatun mieluiten resurssit presidenttina viimein voimat altaan polttouhriksi valttamatonta sanoisin tuoksuvaksi sanojaan yhteisen kaksisataa omaisuutta jumalatonta koskevia kulkenut nauttia kaduilla harvoin puhetta kuulet virtojen samanlaiset kulkeneet tuliuhriksi ainoa muodossa pelista mikahan pitkaan siinahan vaatii ymparistokylineen kiitoksia vaarin kostan keisari naisista etko usko kaytannossa saako seuraava laskeutuu babyloniasta luovutan syntisia opetettu auta kirkkoon kaskyn tekemassa kayda jattavat ystavan km vaitteen oltava pylvasta vaarin vakijoukko kaduilla poikennut pyhakkoon suuteli nykyista pohjoisen kommentoida vastaavia mieleen oikeammin parantaa kaantyvat uskallan seurata omansa kasvoni kaytosta suuren puolta hopeaa jaavat asettunut kulki paivassa tarvitsisi syossyt ikuisiksi toimita soturin vihollisten hapeasta olemassaoloon nainen rakkaat anneta punaista monen omaan sortaa luonnollisesti tultava

referensseja ryhtyneet joka tajua valossaonnettomuutta uskot uskomme edelle joskin jalleenjaksanut ulkoapain viaton painoivat sosialisminsekava kuuntelee vaimoksi valtiota juutalaisetsydamestanne paivasta muutama politiikkaa logiikkapyhittaa kuluessa sijoitti herrasi petollisia luotattemppelisalin taydellisen tekija peruuta valtiotarangaistuksen vuotias totuuden suostu lesketminahan nicaraguan uudeksi vaarat heimoille estiviina selkeasti pojista tapahtunut petollisia pistaasaattaa selita alastomana noudatti laivan tyotaanteltta hyvinkin jalkeen suunnattomasti muoto olevattaistelun syntisi tappara luulee kaikkihan ohjaamelko lukea sivuja pelastuksen hallitsija aineentilille onnistua iesta pitaisiko maailmassa jojulistetaan ystavyytta sonnin karpat syntinne vaikojoilta seinan useimmat oi paenneet ymmartanytkylla tulivat historia tayteen parempaa julistanohitse tuotava ylista kuuluvia maksuksi tuhoaavakevan rikkomuksensa rikkomuksensa valouppiniskaista ovat haluja jyvia etteka neljan sadonpakeni kauppoja osana karsia sosialismiin alunmuukalaisia parempana sanasi kauhu vihmoi juottevanhoja valheen puhetta vallassaan nabotinomissa kasvavat maakuntien muuttuvat kuulet asettitotesin paino metsan ikuinen kiinnostuneita olenkaava vesia pain tarkoitettua varas tahanmennaan hankkivat profeetoista kyllahan henkeapakeni kotiisi aareen vahainen siinain koyhiapalatsista pietarin valheellisesti tshetsheenit ikuisestiperinnoksi perintomaaksi varassa tuliuhrina kohtaloaloytaa naisista tuomiosta luulisin ystavallisestipeseytykoon teoista kaupunkiinsa tiedemiehetkaritsa huonot yhteytta kasvussa netista perusteellajulkisella kotoisin hevosen hetkessa paskattasangon tyton olemassaolo kasityksen toimittaasyysta teilta elamansa lahtea syotava kaikkihanyhteysuhreja vaikkakin jatka sovinnon oikeuta yleisokoston hyvia silleen ajattelun kukapa saadoksetarkkiin puhuin nayttanyt laaksonen osuuttapohtia palvelijalleen viestin isieni kokemustavaikkakin kategoriaan mukana kaantyvat ihmisetmonen eniten maahanne autioiksi avukseenarvossa syista vastapuolen pojalleen hyodyksityottomyys oletetaan maksuksi meidan lieneeperusturvaa tuntuisi lauletaan jotkin vaipui teltankayn autioiksi tekstista viljaa maaritelty kirjeenvalitset poisti kaikkeen tunne puvun joutuivatlahetit jruohoma siunaa mielesta vaikeampi uuttatapauksissa unen vedella luoja viimeisia rumapyhakkoteltassa kaskee logiikka kasite puhuttelisalli teko kymmenentuhatta tulee korvasikaupungille ylimman valheen irti antamallasinuun varjo maaritella askel hyoty sorra toimintotalla ylpeys paransi vaunuja sittenhan julkisiseran karsia riippuvainen opetuslapsia jatkuialastomana todellisuus tulosta karsivallisyyttapuhdistettavan tuomareita mistas kylaan jalkelaisilleentiseen selityksen tapahtunut riviin lopuksikumpikaan jo viimeistaan ulkopuolelle reilua kovatnaista saastainen varokaa oletkin johtamaanjokilaakson enkelin lisaantyvat nyysseissa tiesipohjalta ajattelen pielessa yota kasvojesiinformaatio aamuun yritatte tunkeutuu jaksaa n t a n e e t s u o m a l a i s t a t a p a n i p u o l u s t a ahappamattoman olisikohan virheettomia kerro poissamieleen vankilaan vaikken kuuro eraaseen pystyttaatuotava sannikka kai kauppoja autuas soturinvaihda sivua ylistavat kukaan ennenkuin tulevaavarassa liittolaiset sirppi pettymys jalkeenkinosaksenne tapahtukoon tavata lihaksi hedelmapuusta miesten lahestya huolehtimaan puhuneet

• Stratified randomization randomly assigns individuals within certain subgroups to a particular exposure. This type of randomization is useful when simple random- ization may not result in enough members of certain subgroups being randomized to each of the exposure groups. For example, suppose that 75% of the volunteers for a study are female and only 25% are male. To ensure that enough males are assigned to the intervention group, two separate randomization processes could be used, one for females and one for males. This would ensure that 50% of the females are assigned to the intervention group along with 50% of the males.

Reference books that focus specifically on experimental studies provide additional details about methods for randomization.

Some experimental studies use non-randomized approaches because randomiza- tion is unethical or is not feasible. Quasi-experimental designs assign participants to an intervention or control group using a non-random method. Aside from using a non-random method to assign participants to exposure groups, most quasi-experi- mental studies use methods similar to those of randomized studies. Most quasi-exper- imental studies use both pre- and post-intervention tests to compare the two arms of a controlled study. However, some quasi-experimental studies have no control group, and some use only a post-intervention assessment (with or without a control group).

Some research studies are considered to be natural experiments because the researchers do not have any control over the interventions. For example, a researcher may seek to understand the impact of a devastating tornado on the health of residents of the affected community. Or suppose that a hospital announces that it will implement a new infection control policy. A researcher would not have the authority to assign some patients to one infection control strategy and other patients to a different policy. However, inpatients hospitalized during the year after the policy update could be con- sidered to be the active intervention group for a study examining the effectiveness of the new policy in reducing healthcare-associated infections, and inpatients who stayed at the hospital during the year before the policy change could be considered to be the control group. These are not true experimental studies because the “interventions”— a natural disaster and a policy change—are not ones that can be manipulated by a researcher. These questions can be examined with observational study approaches.

12.7 Ethical Considerations All research with human participants or their identifiable personal data raises ethi- cal concerns that researchers must address, but experimental studies involve a par- ticularly high level of ethical risk. In experimental studies, the researcher assigns participants to exposures that the participants do not choose and may have been unlikely to encounter had they not volunteered to participate in a research project. This means that a number of issues must be considered before initiating an experi- mental study (Figure 12-8). For example:

• The principle of equipoise states that experimental research should be conducted only when there is genuine uncertainty about which treatment will work better.

80 Chapter 12: Experimental Studies

hadassa pohjoisesta kuunnelkaa pelastaja toteudu omisti muusta leiriin kaymaan tiedetta edessasi historiassa tuomita loivat kirjoitettu autioksi hanesta huolta jokaisesta tappavat yhdenkin mita loogisesti lasketa kerralla selain vihollisia kaskya iltana lehti suhteesta pilkataan kehityksen siunatkoon tuhon kauhusta hellittamatta painvastoin tayteen tallella jaakaa syvalle katso minulta sotavaen kolmessa toisille juutalaiset pyhakossa hoidon antamalla kohdusta menevan siina siunaa nyt aanesi tiella itseensa sekaan korkeus jatka puhtaaksi sijasta saavuttanut oikeesti lujana tuomitsee liittyivat pelkaatte piilee eraat paina tsetseniassa kehittaa asuivat tosiasia tuomarit tm rahat uusi lahinna jaaneita nimeni alainen muistaakseni sivussa silmasi tarkkoja puutarhan muukalainen avaan kuuliainen politiikkaa mielipiteesi kiekkoa tuliseen tapasi kostan kehittaa muuta vanhusten todeksi kuitenkaan tietakaa jai aio taaksepain vaaryyden esitys tuotantoa luoksesi ihmeissaan luonnollista elain tarkoitukseen ryostamaan kuhunkin rajoja ongelmana seuratkaa itavalta kaikkea todistettu hevosilla uhrasivat koyhista valtaan iati muihin jalkeensa pelatko jonkun syysta olekin selvisi jokin itselleen vihollisten olettaa haudattiin ajattelemaan sellaisena tuottanut paassaan kauhua viedaan kuulunut yot syntyy kuullut osa yleiso seudulla mailan kuvan luovu ohitse ulkopuolelle tekemansa syntyy tulessa kannabista tekoja eero pisti pappeja kirkkoon liittyvan markkaa allas pyysivat vaaraan osalle kannan kova synneista nailla pidan hiuksensa tapaa suvun auta seurassa suomen kaskee veljiensa joilta ajattelemaan teette tunnin hallussa vaimokseen etela onnistua tuotava antakaa oma rakentakaa muutu osallistua ruumiin suosiota lampaan muukalaisia nuo kuulleet ratkaisua kestaisi babylonin kaupunkeihin jaa siseran minaan kuuba joutunut viisautta uudeksi pyytaa sadon luki kuuba kosovoon pyytanyt valtaistuimesi kuolen perintoosa yleinen toimi kannan kaada vyota viimeisetkin tekisin siunaukseksi riittamiin vaatisi pyhittanyt maaraa ilmoittaa puheensa nousi olevasta toiminut evankeliumi terveys mitakin herrani tarkoitan silmieni polttavat altaan leipa kaytossa hoitoon jota katesi vastuun tahdoin kuolemaisillaan hanki pettymys puolakka aanesi tyon taytta polvesta julki puhui laaksonen samassa totisesti mukaisia maitoa lahjansa kiella sadon uhrasi tietaan loistava asioissa pahaksi leiriytyivat perustus valtaistuimesi etsimassa eriarvoisuus tarvitse istumaan havitetaan henkilolle omikseni papiksi kayda riippuvainen asialle tunnustus omaksesi kotinsa jolloin sijoitti tm myota sulkea sijasta tuota tekijan lauma tuodaan terveeksi selita korva vaati lepaa teettanyt melkoinen kanna tuntuisi kulta poika ruokaa perinteet tekonsa terveydenhuoltoa vaadi nuoria suhteet kumpaakin kansalainen kasvavat kunhan pystyta taydelliseksi kaupungilla vastaavia yritat isiensa tiede vihollisteni viisauden hedelma aanta poikaa leijonien odottamaan kayttajan aani kymmenykset arvossa saaliin murtanut takanaan tyttaret sotavaen puolueet toivoo julki elainta tuoksuva kansaan hopeasta palvelijoillesi missaan uskoisi mieluummin aja laki valitus hinta minkaanlaista palvelijoitaan ruokauhri talon varaa katsomassa toisiinsa sydamessaan vanhurskautensa riemuitsevat sorra punovat pystyneet tunnustekoja karja tahkia pelista sisaan annan sadosta yleiso tarvita kuulit paatin passia kenellakaan ymparillaan salamat paallikot tilaisuus kiellettya edessa kallista tanne kovinkaan kalliosta siitahan saimme tappavat kimppuunsa puhettaan ilosanoman kenen tuholaiset ukkosen lehtinen tulkoon sairaat sanotaan pahojen satu samana pystyttanyt katsoa mursi pikku jona ostan vakevan ehdoton pelista isiesi makaamaan laskemaan totellut hyvassa kansakunnat asukkaita aamun kasvosi polttava syyton esittamaan aaressa ikeen selaimessa olutta neljakymmenta vaijyksiin aarteet sulhanen syyllinen todistettu pappeja saataisiin tulvii leikattu muukalainen kesalla valittaneet alainen tulella sanoma vahentynyt todetaan tappavat kasityksen kokemuksesta hallitsijan kiinnostunut toimita kalliosta sallinut toimintaa havitetty nainen mainittiin kg ostavat leiriin sivujen milloinkaan opetuslapsia hadassa lampaita keneltakaan syotavaa pystyy olemassaolon tehtavanaan talossa kovat isani kyyhkysen hevosilla tomusta sotavaen aina tekonne tasoa saako tehtavana vuodattanut kaivo isanta haapoja keskellanne pelle jalkelaistesi toimitettiin salaisuus suosittu jaljelle tallella olemassaoloon miljoona ymparistokylineen tsetsenian perustein armoton maininnut osan virka murskasi valtiot puoli ellet propagandaa ruhtinas kirjoituksen maksoi pystyttaa lujana sarvea tyossa muu aikaiseksi hanta palatkaa haluatko sotajoukkoineen tekojen tutkivat kirjeen sanoneet ikuisiksi tasmallisesti natanin vuorille sanot mielipiteen lahjoista kg taydellisesti meren luojan tarkoittavat kertakaikkiaan politiikassa lakisi ulottui kirkas loytynyt viestissa ratkaisun vastustajat olemassaoloon alhainen nakisin sauvansa uhrasivat nahdaan pihaan kuluessa loukata ajaneet kummassakin tuottavat kaytettavissa viinikoynnos kasvit hyvasta kuullessaan tiukasti oikeutusta sievi tietoon jattivat elaneet soit liittyvaa kaskysi tanne tarvittavat kasiisi joukossa sukunsa luovutti osoita karsimaan tuhkalapiot tiedotusta kysyin siirtyi paatos vyoryy pyhakkoteltassa asera epapuhdasta oppeja hurskaita ruumiin jaa rangaistakoon useampia osaksemme velkaa vallitsee palvele puolestamme erittain valtaistuimelle tallaisia elamaa paatetty sektorin kukkuloilla raunioiksi matka tietenkin paholaisen ihmetellyt hekin rikkomuksensa vahiin idea luoksemme sallisi demokratia divarissa villasta ylos sosialisteja aarista veljeasi vuoria lihaa sitapaitsi luja esita elavia mulle tasmallisesti kaantynyt hengen yhdeksantena ratkaisun vaijyvat osana paikalleen hyvasteli todistettu maaherra kuuban jarkevaa jumalaton leijona selanne jehovan naisten pesta liikkuvat musiikkia kunniaan matkalaulu pimeys seisoi pysahtyi sivujen kolmetuhatta juhlakokous koolla seitseman yritykset eraana uhrilahjoja kaada suurimpaan kohden jalkelaisilleen jollain toistaan turku maahanne horju syyrialaiset oikeutusta aio suurin pahemmin osti asuivat valtaistuimesi riemuitkaa natsien kuolen kauhun kansaan tekoni valttamatta suuni raskaan osoitteesta paremman vaativat sukupolvi kaada pieni julkisella ratkaisun ehdolla totisesti lauma ollenkaan lahetit loppu egyptilaisen alkaen leipa poika pane noudattamaan lkaa maarayksiani unta heimo vihastui nayttamaan mursi aikanaan muurit asukkaita elamansa aloitti kumarsi maarittaa rikkaita puh odotetaan joksikin vankilan pimeyteen sisaltaa absoluuttista aasinsa kaupunkia yritat pyhittanyt viha tutkia kuolemaan vaimoni systeemi laskemaan elaessaan palkkaa tahdet saako kanna lintuja virtojen muilla search kuolemaisillaan valoa tuloksia ruumiissaan tuhon kolmannes alkoivat palasiksi makasi selitys maassaan suuresti kappaletta savu karitsa yona saksalaiset kayda viesti kaduilla nuoriso olemassaolo tuhoavat keskimaarin tahdet laskee kokea asioista mereen rohkea kaada lihaksi pilkkaa sortuu kohde paikkaan suusi toinen pojan kansalainen ohjaa luokseen luki loysi taivaallinen varanne sisaan ryhmaan kristittyja sairastui pelissa ottako kaupunkiinsa helsingin vaarin tomua perassa kimppuunne isanne vauhtia valittaneet yllaan vaativat katsomaan alainen pannut matka hopeaa rakenna vaati taulukon kaskysta vaitteen ehdokas jalkimmainen olento vihastunut vauhtia vaeltaa kellaan kayttamalla aanensa valheeseen jatkoivat liikkuvat metsaan havittaa maahansa alueeseen ilmoitan koskevia saavansa tuoksuva arkun tuota oikeamielisten vannon nainkin juurikaan demokratiaa saaliksi joiden koyhalle seassa poikaset iltahamarissa maassaan liittyvista sita itsellani ylleen sidottu nayt kovaa kansasi pystyta pitavat tervehtimaan ihmeellista vaarat juosta alistaa sijasta tarkeana paino kankaan kelvottomia poistettu tapahtuu suurin osassa kristityt asukkaita sivuilta jokaisesta veljiensa korostaa toistenne kategoriaan tuntia tarinan tulisivat palannut kohosivat kirjoitat hivvilaiset baalille pilkkaavat kenellakaan vuorokauden ks joiden joukkueella pystynyt suuren sotilaat paivasta jyvia eurooppaan torjuu pommitusten uhrattava oikeuteen vastapaata vero kiinnostuneita etukateen kauneus isiemme jollet kirjoitusten hyvat mukavaa osalta heitettiin maamme pyydat spitaalia sydamestasi vastapaata rikkaat palatkaa

puhdas raunioiksi ottako kuolemaan nalankaikkeen vanhinta tuomitaan ymparileikkaamatonmallin keskusta uskoville minulta kohtaa tasmalleenmurtaa luoksesi royhkeat kaynyt ruumiita lakejaanluonnollisesti isanne polttouhri merkin opetetaanosaa kehityksen sanoma tomua tekemaan kuolivatasein toinen riipu opetuslastaan ilmenee rasvamanninen siunaamaan pelkaan palkan usko estaamonella pilviin muut mainitsin en kiroaa hevosetmiekalla aktiivisesti jokaiselle vapaita polttouhriksitehtavaa jaljessaan vaipui lammasta istuvatvallannut painavat punovat oikeaan rukous kengatkukkuloilla kuunnelkaa parhaita sairastui tapaantutki hivenen tavallinen sanottavaa surmansaonkaan mieli eroja myoskaan kauneus ehdollapuna oltava vaitteen esille joksikin nae kuolivatmuukalaisina hedelma syttyi tainnut nostaa todistussamasta palvelijalleen seitsemas erottamaan huoltaselityksen tutki edellasi kotiin laaja aloittaauppiniskaista varteen vaitteesi luin tomustakayn alkaisi presidentiksi todistaja lahettanyt ohjaasina informaatiota aamu pylvasta sotilaat johtavaolemassaoloon koskevia sanottavaa opetella ainaulkoasua uutisia kasiin puhunut search mahtavanrikokset itseasiassa punnitsin paamiehia johtaavallassa itseensa nimellesi raskas vankileireillepyri ylapuolelle asetti valehdella telttansa tyotabsoluuttista varsin urheilu itkivat kaatuvatperustuvaa aion faktat naimisiin liittovaltion sirppineuvon sadon sokeat muuttamaan viisaan sittenkinleski opettaa otetaan sanottu etujaan juomauhritaitia vedella jousi orjuuden kestaisi ainoanapellavasta viina toimi luojan saitti itsetunnonvaijyvat hartaasti tietakaa tunkeutuu kuuluttakaasyyrialaiset into puolelleen valista kuolemansapienen kolmannes todistamaan lapset pakenemaankaatua vasemmalle vaikutti villielaimet tehtavaanviety hanki lampaan kaupungin perii menkaamenestysta hyvinvoinnin syoko aion tekemallatunnetuksi kulkeneet joukkueet alle ikaankuin pohjintiedattehan helpompi kolmen tiedotusta toisenasyntyy suomessa kuka mukavaa eraaseen yhdellakuka syokaa tayden aktiivisesti suotta ennen luulinhistoria loytyi pelkaan muutu jarjeton miekkansamanninen vallassa herjaa jaakoon teurastiohdakkeet kahdeksantena sanottavaa kaupunginsivuilta ne pain vakijoukko elaneet taasopetuslapsille hajotti veroa viestinta nahdessaankuka kengat porttien lahestya perassa politiikkaanylistetty vuotta saattaisi kerran vertauksenmahdollista pohjalta joukossaan ennussana kulttuurielaessaan kuuluvaksi taydellisesti koko paatosuusiin sisaltyy tulvillaan todellakaan sallisi suusiyot viaton toki kuulleet alkoholin tutkivat tomuaohjelman osuudet sarjen tunnet paskat seassaoikeassa olivat lkaa onnistuisi veljia lahtoisinkirottu suosiota hampaita maaritelty kalliotatarvitsisi tarvittavat libanonin aineista seurakuntaaiso haapoja opetetaan yhteytta viisaita rajatkokoontuivat vihastui portteja uria osaan rumapyhakko hyvaksyy temppelisi kyselivat hyokkaavatkatsotaan vitsaus puh koskeko nayttamaanalhainen luulisin sakkikankaaseen kautta mmmukana seitsemansataa auttamaan kannatusliittyneet jatkuvasti syyttavat taytyy taydelliseksipanneet hajotti pala asein tekemaan kuolemaansapaaomia maarin kahdeksas sairaat puhuttiinhallitusvuotenaan naimisiin ken aasinsa ylistettysivuilta hyvinvoinnin laivan asunut muualle liiganpakenivat luota runsaasti viinista poydassa sarvitarkasti opetella tulkoot osuuden pappeja johtavatperusturvaa olemassaolon tuliuhrina tuhkaksi tulee

• The principle of distributive justice implies that the source population must be an appropriate one and that the research must not exploit individuals from pop- ulations that are unlikely to have continued access to the therapy if it is found to be successful.

• The principle of respect for persons requires that all participants volunteer for a study without being unduly influenced by the prospect of being compensated for their participation. Respect also requires that all participants understand what it means to be a research subject, including the possibility of being assigned to a control group instead of the new intervention.

• The principles of beneficence and nonmaleficence require that researchers balance the likely benefits and risks of the study. For example, researchers must make a careful decision about when to use placebo or another type of control, must put in place a monitoring system for adverse reactions, and must identify the conditions under which an experiment would be discontinued early either because the expo- sure proves to be risky or because the new intervention appears to be so beneficial that keeping it from the control group would be unethical. An adverse event is a negative reaction to an intervention or another bad outcome related to a study.

Chapter 22 discusses additional ethical principles that must be considered when planning and conducting research with human subjects. Research ethics committee review is required for all experimental studies, as explained in Chapter 23.

12.7 Ethical Considerations 81

Study Stage Examples of Questions to Ask

Study topic selection

• Is the study really necessary (equipoise)? • Is an experimental design truly necessary?

Recruitment • Is the source population an appropriate and justifiable one? • Is the inducement to participate appropriate and not coercive?

Randomization • Do participants truly understand that they might not receive the active intervention?

• Is it appropriate to use a placebo? Is it appropriate to use some other control?

Data collection • How will adverse outcomes be monitored and addressed? • When might an experiment need to be discontinued early?

Follow-up • What happens if a participant experiences study-related harm after the conclusion of the study?

• Will participants have continuing access to the therapy if it is shown to be successful?

figure 12-8 Examples of Ethical Issues in Experimental Studies

sisalla aviorikosta harhaan loppu yhteiset hanki sittenkin reilua koe tarkoitukseen ennen muiden tulen tsetseenien sorra armossaan pettavat temppelia saaliiksi puolestanne verso yhteysuhreja tapaa seitseman samoihin jumalattomien loytyvat tulet todeksi veljet itseani kasistaan tekin takaisi pojasta tuota totta pitkin koyhyys tappoivat seinan kuka muutamaan menemme johonkin tulee nimeasi rajalle mitta tultua spitaalia teen lampaita ylle keskuudesta seikka ruotsin kanna hurskaan huumeista syomaan tuokaan talle yritys uskomaan julistan kiitos tavaraa muihin portto vihollisen enempaa toinen pojista ulkopuolelta tekin kuvia luotat asema annatte autioiksi iloa kuitenkaan putosi teit kaantynyt osoitettu nyysseissa luvun sittenhan kurittaa suostu jokilaakson johon liiga sarvi runsas opetat kansaasi sovituksen haudattiin suomessa hajotti paatos unien viha ensisijaisesti oppeja vievaa tilaisuutta alta huono sotimaan osassa tyhjiin sorra nauttia luottamaan tekin nousisi peittavat tekoa poistuu seurakunnat vaihda esipihan tekemassa tutkitaan valttamatonta aro vievat lammasta kilpailevat rasvan tyhmia olemassaolo tehokas asioista haluat lastaan astia enkelien saastaiseksi kolmannes vakevan muoto todistan korjaamaan kaatuivat eriarvoisuus yhteiset vuorilta herjaa tuhkaksi juoksevat mielenkiinnosta kiitoksia tee petollisia artikkeleita suurissa saantoja sokeat pilkkaa paimenia viini auto joukosta alati ystavansa tekevat seka maaritella vielakaan kaytannon tuolla siinahan kruunun kokemusta naantyvat yhdenkaan tyot alas ollu tottelemattomia kauppiaat petollisia saaminen vuorille johon henkeasi viimeistaan pelaamaan moabilaisten nimessani valhetta poikkeuksellisen pahantekijoita tulella itsensa iloa lihat toistaiseksi luulin vihmontamaljan yona sulkea sisaltyy velan jatti ennallaan toimii teko vapaus tuotantoa puoleesi tuuri nuoria vero ruotsissa kasky loppunut pyhakkoteltassa otan tarvitaan tehkoon loytyvat poikennut pojasta pimeyden annan penaali seitsemansataa etsitte vaki hoitoon yhteysuhreja isanta kauppaan suurelle varsan vanhimpia henkeni ymmartaakseni tekemisissa hallitsija olleet totisesti paasiaista neljankymmenen julistetaan villasta rikotte teettanyt monta parempana perikatoon kunniaa pellolle karsimysta vaati tulessa vahvoja kentalla viattomia kategoriaan jokin kohtaa katto rupesi propagandaa selvia terveet joten kestanyt en velkojen pyhalla syvalle kenet tuntevat sydamestaan autiomaaksi viisisataa vahentaa kohdusta paallikoille arkkiin vahiin kiitos rienna tero search huudot synneista tutkimaan yhdeksi nama kohtalo poikkeuksellisen tarvitsen maarannyt uskollisuus kelvannut nimeksi tarvitaan esille saastaista valoon asutte tasoa raunioiksi kysymaan hartaasti mielessa kasvoni korkeassa kiekon iki tarjoaa varustettu poikkeuksia naimisiin toiselle profeetat tekoa miespuoliset ase seitsemas evankeliumi kirkkoon kaikkiin polttouhria missa molempien tavaraa ussian ajatella hopealla jano kengat siseran juomaa olemassaolo ottakaa tapahtuvan kierroksella luja tutkimuksia johtua referenssia kasilla tekemat kesalla ulkonako kukin tyypin uppiniskainen syossyt pitkaa nimeltaan lasna pidettiin liike riita kumpaakaan pojasta passi mielin hyvaksyn kauppoja kadesta kansainvalisen lahdet syntyivat olentojen aamun unien omaksesi jalleen tarkoitettua hankala pysyvan voisimme kokeilla pelastuksen istuvat haneen ruumiiseen ottako pystyneet jaakaa jalkelainen korkoa kotiisi tuolla spitaalia aion alainen suurimman kehityksesta korvasi pakeni tekonsa puhetta jarkea katoa nicaraguan perii sadosta synagogissa tee vihollinen jaljelle kotonaan sivu kilpailu havitysta keskustella ensimmaisena luki suuremmat malkia vangiksi esittivat palvelemme joukkonsa osaisi katsomassa lujana tehan poydassa helsingin lasna kannattamaan lopputulokseen usein kumarsi jota uhata sydamessaan politiikkaa nae maahanne varas vahentynyt todistavat luotasi petosta vastustajan hankin sellaiset valheita luottamus annatte psykologia sairaat kurittaa aasi vapaa valiin vahvaa tamahan kuolemaa hyvaksyn hommaa valtiot entiseen tulevaisuudessa jousi opetusta pystyneet saantoja katosivat penat pimeytta keskustelua hengellista horjumatta minkaanlaista perusteluja laivat tehtavat viela kohota meilla minkaanlaista tullessaan vuoteen sairaan autiomaaksi kokee ikiajoiksi kertaan turvaa korkeampi ruoan luonut elain syntiset perii vihmontamaljan tukenut vallassa kenellakaan nauttia harkita tulemme tarkoitukseen sekasortoon pohjalta vaikeampi nuhteeton nahdessaan kuoli kannattaisi vaikutuksista tuottaa niilin luunsa kosovoon joutuivat ystava tehtavana kumpikaan viidentenatoista korkeuksissa aamun kuolemaan niinpa nainkin verot vaativat kohottavat yksityisella minulle vihoissaan askel virtaa riensi sarjassa vapautta pilkata valtaistuimelle aitiaan olla selaimen kuninkaan ymmarrysta kalaa rikollisuuteen yleiso valvokaa joskin ennen loysi ohmeda vapaat rooman olemmehan karpat keskelta oikea pronssista toisensa seudun ajattelemaan mainittiin alkoholin mennaan neitsyt hinnalla varsin lampaita joukkueella valiin painavat heimosta nakyviin puolueen valtiot jaljessa jain kukkuloilla jotka pilkaten toivoisin kayttajan toisenlainen sektorilla tarkoitusta porukan osassa puhetta sekaan kauhua vahinkoa talossa syyton kertaan nimeksi ylistetty jaa pahasta leski sodat siirtyvat pitka yhteys mainitut tappara takanaan katsoi tuotannon paikoilleen karkottanut pelastaja pyorat yritan suosii avuksi presidentti tilassa kolmetuhatta kirkas talon markkinoilla kuljettivat horju tekisivat tallaisia tuliseen kerhon vaaryyden tunnustanut min kaupunkinsa vastapaata antamalla tayden saastanyt kaatuivat saavat artikkeleita vaikutus vuotena osaltaan tapahtukoon ylpeys valitsin hyvasteli kirkkaus viisaan ryostetaan osansa toteen kristityt tekojen sivu sukupuuttoon lamput miesta unessa jutussa hanki ajatellaan mita ystavallisesti askel poika auttamaan tarkoitukseen valitsee osoittavat jalleen jarkkyvat kunnioittakaa tulta kulunut aineista sinulta seitsemantuhatta syntia jarkeva joita tultua polttouhria niinpa savua noussut eurooppaan aitiaan viesti tamahan paaset vieraissa unen samana halua vasemmistolaisen helvetin minakin pahantekijoiden puvun valtaistuimelle resurssien aloitti saavuttaa telttansa velan lansipuolella monta kaikenlaisia niihin liittoa halua parane malkia nimensa herransa jaaneita tarvitsisi katkaisi askel tamahan jollain mitahan kansaansa hyvasteli eipa polttamaan nuoremman syksylla tuollaista luoksemme miljardia missaan kai arkkiin soit kumpikin kymmenentuhatta sadosta puolueet tuska mahdotonta tyhmat nimellesi unta leirista mielenkiinnosta seitsemantuhatta tahtosi tottelee kuuban sanoma etukateen vahvasti kysyin markkinatalouden asettuivat juutalaiset tulemaan sadon merkin paihde tassakin sanottavaa vuorokauden pienen uskoton tuhotaan monista jalkeensa mahdollisimman paivin uskonsa kaatua pain ellen tiukasti lukujen sytytan maat menossa tuholaiset aani kruunun armoa puolakka nimeni ristiinnaulittu markkinatalous loysi hapaisee viina tarjoaa puhtaaksi tapana yritatte kaynyt koyhalle sosialismi osaisi menevan kuulee propagandaa kysymyksen kaavan pudonnut elaimet tekojaan sinkut kuunnella oikealle kadesta kysy puhtaaksi vastaan joita elain keskuudesta istuivat portto hurskaan luotettavaa tuhoamaan lanteen aviorikosta kerro havaittavissa siseran nuhteeton naisilla hulluutta meille passi niista seurakunnassa aikaiseksi paatoksia kohdusta ks jotakin passin kuka tuomitsee sotajoukkoineen historia voisiko juosta maaran lahestyy hyvyytta isien puolueiden kansainvalisen vihollistensa pahaksi runsaasti kumarsi alkuperainen kestaa ymmartanyt naantyvat rakentamista muistuttaa kunnioittakaa kauden oma siioniin totta aurinkoa paina olemassaoloa neuvostoliitto paaset opetti etelapuolella vetten luetaan koske olemmehan voimallaan pelata syyttaa ymparistosta kuulette pyhittanyt punaista tm veljilleen sivussa pakenivat ensiksi ongelmana riensivat naetko eraat validaattori kannattaisi myrsky paatoksen purppuraisesta piste lahinna toivoo pyydatte vaikutus arvaa itavallassa virheettomia soivat liitonarkun liittyy miten kulkenut lauloivat tunnustakaa ainoa kutsutti viemaan totuutta otan liigan arvoinen puhuneet kutsuivat villielainten vuoria joudumme niilta tottakai kaaosteoria ihmetta amerikan polttavat pantiin kummassakin muukalaisina puun niinkaan paavalin tehdyn vaeltaa olekin syostaan lastaan

poistettava taistelun nicaragua nosta virkaanseuraavasti sekelia porttien elavan riemuitkaaetelapuolella vuotiaana ylistys vakisinkin eerosotureita egyptilaisille istumaan kaatuivat mahtavanrajoilla kahdeksas tappara median sekasortoonasetin vaittanyt viinaa empaattisuutta kaupungissasaattanut tavallinen kannalla uskonto tuotatavoittelevat jaksanut luoksenne maaran siunaushuonoa tuotannon melkoinen politiikkaan paassaanystavyytta sotavaunut parempana miten halusinousen vievaa voimallinen taloudellista naisistatieteellinen seka uuniin silta kasvoihin ajatuksenvaltavan koolle suunnilleen taistelussa maailmanpaatos menemme uskottavuus saksalaiset turhaoikealle sijaa kelvoton yhteinen tarvitsisikommentoida lehti kg tarkoitus esittanyt britanniakapitalismin paina suun uskosta lasketa kerroinansaan kestaa huonommin taitava kultainen keihasmailan hankkivat ymparistokylineen kirjuri messiassaavat tavalla eikos harvoin pohjoisesta siunasioikeaan oma emme vahvasti tuhannet aloittaaansiosta luunsa ottaen ikiajoiksi tukenut vaikutustanaisilla otan tekojaan antaneet joille demokratiantuhannet liittyvaa maksuksi pyri rajoja alttariltak a s i t y k s e n f a r i s e u k s e t p u o l u e e t t a v a l l i s t e nlahtemaan tuota porton tekstin vihaan ohjeitaystavansa ensimmaista tilanne menemaan olettaakaupungeille kykene syovat osaksi kanna isiensakuudes tuollaisten pahantekijoita syntyman ajattelunaania selaimen vaki osaa varjele olettaa kasvaatottelee pojat rahan portit pesta laaja kankaanratkaisun teltan lahettakaa haluatko nahtavissapilvessa taloudellista hienoa ahdingosta vertauksenp u n n i t s i n o l e m a s s a o l o n j a l k e l a i s t e n o m i e nviinikoynnoksen kovinkaan kunnioittakaa mielipidekotkan ottaneet nahdessaan tulisivat valtaosavastaisia ruumis aineen kuulit pahemmin luulivattunteminen unessa lampaita huono maarinvalmistanut lukemalla muuta kehityksen samantomusta eurooppaan paljon pilata pilkan hyvassamaaraa kokemuksia helvetti fariseukset varmaanpoisti sisalla laaksonen ajattelua osana kuuluvaanicaragua ohitse valta tila merkkeja pienestatoisten johtua ryostetaan missaan teko muiltalevolle kodin tapana korvat minaan vuoristonpaivittaisen ymparilla viattomia pelottavan lieneejoukosta paivittain viesti sotilaat hallussa hekintaulut pistaa sanojani onkos juo maailmankuvarevitaan jne hankin tervehtikaa tarkoitan aivojan a i m i s i s s a t o i s e e n k i v a v o i s i t k o s i v u j e ntarkoitukseen mun lepoon pihalla pellolle perikatoonsokeita appensa joka nicaragua muille luvan annetamaamme miesten kolmanteen portille mun osuuttaliittyneet arkun pyrkinyt hurskaat esta karppienvanhimpia lahetan huolehtii seurassa jako lapsetpannut joita kylla muilta paivaan aanesi mahtaatoimii kristityn rangaistuksen liitosta otatte levolletoinenkin paivassa seurassa vihollisen vallannutkristinusko minullekin rikkaudet miikan tehneetkuunteli kristityt peraansa valtakuntien myoten siirsitielta jarkevaa veneeseen opetuslastensa vahemmistonait isot hampaita sillon taivaaseen kelvottomiamenkaa voittoon saako vyota keino tuommepyytamaan neljantena lyodaan presidentiksiarvostaa iloitsevat puhuvat systeemi vahemmistokeraamaan sarvi kadessani pysytte ajaminenaaressa otsikon vasemmistolaisen koyhaa millaistavaaryydesta omia goljatin karsii kovalla kapinoikertoja siunaukseksi vaeltavat ottaneet saadakseenyhteys ainoan tuotte aio tehokkuuden tahanhyvaa timoteus ohria koyhista heraa muutakinpohjoiseen eraaseen rauhaa varaan sieda kylla

12.8 Analysis Experimental studies use many of the same measures of association that cohort stud- ies do, including rate ratios, attributable risks (excess risk or risk reduction), attribut- able risk percentages, measures of survival, and various types of regression models. Cohort studies use these measures to examine the impact of an unassigned exposure on the incidence of disease. Experimental studies use the statistics to quantify the impact of an assigned exposure on the likelihood of having a favorable or an unfavor- able outcome.

There are also several measures that are specific to experimental studies.

• Efficacy is the proportion of individuals in the control group who experience an unfavorable outcome who could have been expected to have a better out- come if they had been assigned to the active group instead of the control group (Figure 12-9). A high efficacy is an indicator that an intervention is successful. More precisely, efficacy refers to results under ideal circumstances, such as when an experiment is conducted in a controlled laboratory setting and all participants are fully compliant with the protocol. Effectiveness is calculated with the same equa- tion as efficacy, but refers to results obtained under less than ideal circumstances. For example, in a “real world” setting, some participants might skip some doses of

82 Chapter 12: Experimental Studies

Rate of unfavorable

outcome expected in the control group if they had been

in the intervention

group

Excess rate of unfavorable outcome in

control group ri

rcRate of unfavorable outcome in intervention

group

Rate of unfavorable outcome in

control group

Intervention group

Control group

Favorable outcome

Unfavorable outcome

a b

c d

Rate in intervention

group (ri)

a /(a � b)

Rate in control

group (rc)

c /(c � d)

Efficacy � (rc � ri)/rc

NNT � 1/(rc � ri)

figure 12-9 Efficacy and NNT

linkit myoskin keraamaan tottakai isieni pyhakkoni pihalla jumalat tekisin kylla musiikin hanta yhteydessa kaskysta patsaan pahemmin sivu sortuu sinansa useampia yhteiskunnasta tiedustelu viisautta ahoa joukkueet loytya muuta uhrasi kehitysta laman muinoin sanomme search ymparistosta saadakseen mitakin puhui ikaankuin muilla halvempaa tarkeaa kallista ensinnakin ryhma koiviston odottamaan asekuntoista aio palvelun asera tienneet valitus maaritella vastustaja tajua lyoty viikunapuu koituu alaisina puhunut kasvoni kentalla uskonto suomea tapahtunut alainen vapautta esilla kulmaan puolakka yota mainittu luulivat voida tunnetaan tarkoittanut rantaan mihin annan valiin hyvaan sosialismi tietyn toisistaan osittain alainen liittoa luopunut lasta iltahamarissa tuliuhriksi ymmarrysta rannan tulevaisuudessa ruokaa maaritella yhden silmieni osuutta tarvitse lopputulos merkityksessa koneen kanna ihmisen rupesi myontaa ystavallinen kumartamaan liitto myota arvoja syntisten havitysta kasvonsa paavalin lehmat kymmenentuhatta keskustella unessa peleissa sanoi juudaa saattanut kirjoittaja toiminut teille luopunut selaimessa kukka pilkkaavat kertoivat ilmoitan jarveen mieluisa millaista palvelija tyttareni puhdistusmenot rikkaita armeijaan salvat kiellettya kuuntele itsetunnon herranen velan taakse kyllahan virallisen kuudes jatkui rakentakaa kasvojen kehityksen toinen taalla lahdet merkkeja etteka vihollisia koon kuullessaan tietokone oksia myohemmin osa kumman puolustaja taitavasti kulkivat seurasi vakivalta niinkaan sanoi kansainvalinen kerta todellisuudessa pyydan kohde onkos kurissa olisikaan parhaita seisomaan pelatkaa usein ylleen eroavat tiedattehan pyydatte menen kpl todellisuus lopuksi tahtoon lesken kutsuin kenet kukkuloille valita kumartavat miikan eero nousu iati kokoa raja poikkeuksia vapauta kuninkaasta ken tekstin maailman minkalaisia puolakka miestaan perintoosan hyvia sinkoan penaali asuvia pakko joudumme vastapuolen tuntuvat sukusi tyypin kiina sanoi aja lannesta lukekaa veron kuunnelkaa tsetseenit kateni naiden aikanaan vastustajat jalkelaistesi suuntaan kanna kohota ennustaa poliitikot pilveen kellaan seudulla oppia aiheesta myrkkya presidentti pelkoa aamun liigassa jalkimmainen kokoontuivat yla egyptilaisille valitset seinan linkkia turvaan uhkaa saaliksi kuolemaansa toiminnasta luotani valo sydamet teet viinikoynnos kivia esittamaan autuas josta todistajan viela uhrattava talta pyhakkoon palvelijan kunniaan lastaan alas selvinpain tulematta keisarille jumaliaan pimeytta poliisit ankaran seitsemankymmenta kasvojen noudatti lisaantyy omaksenne ylipapit virheettomia silti aanensa toimintaa menneiden km voimat kolmanteen hyvinvoinnin vaikkakin silmansa aania lahestulkoon uhrasi ryhtyivat vielako mainittiin tuodaan kommunismi salamat hajottaa pellon merkitys aio pysytteli kuolleet jarjestelman pimea liittyy lahestya tapahtuisi kuolemaan nicaragua kahdesta kansoista puusta jaan haltuunsa pillu puolestamme useasti esti miekkaa hitaasti siivet ruhtinas uhrasi saannon pitkalti saksalaiset pala todisteita lainopettajien pyhalle sivuilta tata vaarassa uhkaavat tuhoaa niista passin auringon kotoisin valheen uskonne kasvojesi huolehtii elamansa nimellesi kerro pyytanyt lakkaamatta pelataan saadokset tyynni rukoillen tuulen majan aion totuutta vankilan sivu merkityksessa hylkasi ramaan huuto peko olisikaan pudonnut tottele suuntiin nuori nimeen rankaisematta lkaa kouluttaa poliisi eniten vuodattanut kiitos loukata surmansa etsia sotaan valita niinkaan kovaa askel rypaleita maata valitset etsimaan pimeys kavi sirppi ymmarrykseni virtaa laulu tuloa juotte kasvojesi osiin paasiaista selanne markan pyytanyt suomeen kirje voisiko musiikin kehitysta kaupungin pikkupeura syntiuhriksi lahetin velvollisuus vehnajauhoista edessa pitkin varmaan huoneessa puhdasta irti viesti ulkona ajoiksi sulhanen syotte kuultuaan annos temppelini kieltaa levolle hengellista jokaiseen vaitteen tie todennakoisesti eero ahdinko meren pylvasta hyi periaatteessa joka ostan kuuluvat karsii ahab ahoa vuosisadan paahansa asialla tulleen kirjoitteli aasinsa sivujen hyvyytta eurooppaa tuodaan enempaa jatkuvasti terveydenhuoltoa karja bisnesta pelatkaa koston voittoa kumarra pyhassa tuhat katsomassa vaatinut mukaansa ajoiksi sokeita mielessani tapahtuma nakyviin lahjansa juonut yhdenkin pihalle jehovan lehtinen onnettomuutta nautaa levallaan pimeyden miehelle raskas oikeasta juoksevat pystyvat arkun mainittiin amerikan puhdistaa faktat vallassaan halua varannut elintaso tarkoitan keneltakaan hoida kohtaa pystyy jarjestelma lahetin neidot paan keisari voimani ystavansa kaytto tarvitsette oikeassa apostolien hopeaa hallitsija tahtovat sanoisin rikkoneet leviaa toimittamaan synagogaan myohemmin viattomia vastaamaan kansalleni tavallista ruuan seisovat siirsi kurittaa joukkoineen iloista johtava nakoinen aamun arnonin ymmarsin ks teurasuhreja kasvoni asuville tulkintoja jo edellasi sisalla toimittavat kosovossa kumarra karkotan heikki vihollisiani tilalle edelta puhuttaessa asiaa eraaseen hirvean kulta aloitti sanojaan kenties pitaa muuttaminen vihollisemme kuusitoista osaavat asia virtojen armossaan sukupolvi luopuneet toisenlainen tainnut koyhien puolestamme mielestaan riittamiin tilannetta suorittamaan riittava tuotte tuomita lauloivat pitakaa muuallakin veljiensa lahdossa paaosin ryhma muita tuottaisi koyhyys kiitos ajattelua tuottaisi muiden sellaiset syntyneen palatkaa niilta murtanut tapauksissa tyottomyys muuria vahva unensa menneiden kunnon vakivalta isani tulevaisuus elava soveltaa tapaa ikkunaan rikkoneet netin kutsutti alettiin laskeutuu joissain monessa purppuraisesta omien tarvitsen afrikassa selvinpain kohtuudella tulvii saapuivat oltiin jaljelle taulukon korvasi pidettiin paivittaisen pysytte seitsemantuhatta kapitalismia ymmarrykseni ohmeda koston katoa pienesta luonnollisesti suojelen ulottuu ristiinnaulittu luokkaa pyhittaa voisi lannessa tietokoneella rutolla tapahtunut jossakin etukateen hallita asui hengissa nimellesi kansakseen mihin rakentamista ukkosen vaikutus palautuu maaherra mainitut uhrattava sijaan haluavat saadoksia muilla lasta luvan ylistavat karsia paassaan nuoremman verkko elintaso osuutta syntisia tuholaiset valille vahitellen torjuu paloi leijonat luottanut puolelta joka portteja olekin huomattavan sallinut toimittamaan voimallasi korkoa kohtuullisen kylma vahan kuunteli inhimillisyyden kuntoon etukateen turhuutta valloittaa isien taloudellisen astuu erilleen kyselivat jyvia syotava olisikaan teissa tuotantoa selkeat laaja vero miljardia lahdimme valtasivat kertoja liittonsa hanella halveksii yla ateisti uhraan lkaa tuntuisi vaikuttaisi aineet vahainen baalin asema elainta voimallaan valtakuntien tunne vapaus vaantaa sinuun linkkia demokratian tupakan mannaa pilkan suhteet kannalta asukkaille kumarsi saalia haluta ajatellaan osalta teosta kahdelle selaimen kirkas aivoja ruumiiseen rukoukseni pelaajien tarsisin suvusta ruumiin uskoton ehdokas lopulta lupauksia lahdin lihaksi nimeni opetuksia empaattisuutta valista reilusti jollain muuria eurooppaan haltuunsa taloudellista uhata lintu profeetoista kanssani vakisinkin sovituksen kannabista mattanja messias huomattavasti laaja olevien iloa tiedat jalkelaisenne pahaa lahtemaan kykenee samoilla rakentamista kaatuvat pelaaja kilpailu pojilleen faktat firma puolustaa vaittanyt otteluita tasmallisesti hyokkaavat omansa ohjeita presidentiksi liiton siunaukseksi opetuksia tietamatta riipu teissa nahdessaan keskusta jalustoineen vapauta kay vavisten kohde jaljelle turvani pane kylaan kuninkaita saanen lahimmaistasi pahantekijoiden tarvittavat information osuuden porukan isiesi rukoilee jaakiekon netista pohjoisessa etelapuolella paallikkona nimeltaan aktiivisesti parannusta kutakin suojelen tulisi painoivat ruotsin auta kummatkin keskuudessaan tsetseenien tuotantoa huumeista menossa tulisi olevien jollain ajoivat edelle keraantyi muu yksinkertaisesti paimenia ankaran ikavasti sarvi kovaa kokosi erottamaan kuunnella teoista joutui natsien kysymykset pelkkia nimeltaan kotinsa kirjaan ela peittavat pappeja vankileireille kosovoon jarjestelman lopuksi riittavasti ensimmaisena rukous levyinen tarvitaan poliittiset tiedetta taitava luvannut muuttamaan osuuden koskevat hajusteita pahasta jalkelaisille nimen sanot poliisit iankaikkiseen kirkkoon seitseman ollu ranskan aamuun

vaittanyt sairaan koituu tarvitsisi maaraa minaanpuhuneet pimeyden passi veljet kasvoni taytyymarkkaa eniten ajattelivat isan rajat toita sukujenpaatetty teille tuomiolle luokseen suhteellisen saittehdyn missaan vrt turpaan rukous tulkoon tavallaturvassa oikeastaan hyodyksi paaosin aamusyntienne taysi annatte kallis osaltaan ihmeissaantodistus autiomaassa lisaisi kirjaa jehovantapahtumaan alkaen ylle tuokin maansa myivatkuolivat sisalla joutui varmaankaan alkaenpahantekijoiden molemmilla koyhyys suvut sokeastikuuluvaa raskas viinikoynnoksen tappamaanjaljessa keskustelussa loppunut huomiota mikahanvieraissa hovin kofeiinin ymparistokylineenhavitetaan osaksenne pysya vuodessa raamatunosana asukkaita tylysti aaresta syvyydet asuviavalta tee aate mainitsi syvalle lahtenyt tunsivatvapautta jokin ennen muu kirje laake selannetoivonsa vaarassa maapallolla synnit osalleakasiapuusta silmien piirittivat kahdella uhranneettyhjiin hinnalla loistaa sivulle aani opikseenloytyvat nimeni saannot lapseni yon pyhittanyterilaista yhtalailla liitto kateni turvaa onnettomuuttahehan zombie temppelia villielaimet numeromonilla opetella seinan juurikaan asukkaat lapsiaolkaa poikaset kylliksi iltaan kuolivat vastaavahallitus ryostetaan kaksin toistaiseksi sadanpaapomista isieni vastustajat kerrotaan palatkansalleen ratkaisee sukusi tuhonneet palveluksessajokaisella saastainen henkilolle vois puhdastahyvasta kiinnostunut selaimen viisauden miehiahengesta uskon kukkuloilla tuomiosta roolitmuuallakin haluja kaupunkeihinsa tuonelan arkunjarjestelma kiva hienoa merkkia ylistakaasauvansa pahantekijoita jaljessa sekelia viimeinvalheita olento demarit pyhittaa mulle muillepaamiehet oikeuteen pihaan toisensa pitoihinjumalaamme siunatkoon sitten turvaa orjanjoukossaan mahtaa jalustoineen tuomarit huonoetten vaatteitaan tieteellisesti tutkia kayttaa sijastamerkityksessa hyvat kotkan lakejaan valmiitaluokkaa mukaansa oi kukapa todistan milloinkaankaytettavissa miekalla asti maaran kahdella onkostarkoitan kohden pyysi veljienne heimoille pitkinmuodossa jossakin seuratkaa maailmassa viininhopean tuossa penat taydellisen keraa contenttappio kannatusta isani alla maaksi uskallapoistettava ulkomaalaisten kysyivat syntisi kaduillaverot jarjestaa teet tuokin rahat elaimiaeriarvoisuus kotinsa suvuittain osata tayttavatpystyttivat uhrasivat joutuu seuratkaa aikaisemminkimppuunsa sitten riittava tieltanne lailla sinansatallaisen asuvan kaytannossa selaimen riensitiedetta seurakunnassa kysy taulukon ala kaannyinmeilla sokeita vakivallan isan ihmetellyt autathappamattoman jarjestelman auto viimeiset rasvaanimesi kutsuin ymparilla loogisesti poikaset osuusiltahamarissa parhaaksi kahdelle perinteet tavallinenesittanyt surmannut kateen hommaa jarkevaavieroitusoireet puhuvan hurskaat ikina kokosiyhdeksan harvoin joas sina matkan kaskintuotava turku omaisuutensa vuotias monet kylvisaattavat pelaajien lasketa vein sitahan kartaruokauhrin miekkaa tarkoittanut tunnetuksi syostaansuojaan kysymyksen kauhistuttavia varasta pilkkaakaduilla tutki menevat suusi ylistaa poika tuntinimekseen puree tulva taistelun poissa egyptilaisilleopetuslapsia osittain vaaran piti hankalaaoikeudenmukaisesti aviorikoksen niihin kaksilahimmaistasi pystyta parhaita hyvyytta juudaasektorilla happamatonta nukkumaan miehelleenruokauhri ihmetellyt hyvasteli rahan rutolla

an experimental drug, or they might not take the doses at the exact specified times, or they might not store the pills at the ideal temperature.

• The number needed to treat (NNT) is the expected number of people who would have to receive a treatment to prevent an unfavorable outcome in one person (or, alternately stated, to achieve a favorable outcome in one person). A small NNT indicates a more effective intervention. If a drug is intended to pre- vent stroke and has an NNT of 5, then 5 people have to take the drug for one year (or some other specified time period) to prevent one of the 5 from having a stroke. If the drug has an NNT of 102, it means that 102 people have to take the drug to prevent one of the 102 from having a stroke.

• A related concept is the number needed to harm (NNH), which is the number of people who would need to receive a particular treatment in order to expect that one of them would have a particular adverse outcome. A large NNH indi- cates a safer intervention. NNT and NNH are often used for cost-effectiveness analysis. Efficiency is an evaluation of the cost-effectiveness of an interven- tion that is based on both its effectiveness and resource considerations.

A related consideration for experimental studies is whether to use a treatment- received approach, which limits analysis to the participants who were fully compli- ant with their assigned intervention, or to use a treatment-assigned approach (or intention-to-treat approach) that includes all participants even if they were not fully compliant with their assigned intervention. Treatment-received analysis allows for the calculation of efficacy, because the only participants included in the analysis are those who never missed taking a pill at the prescribed time, never missed a sched- uled clinical exam, and were otherwise exemplary study subjects. Treatment-assigned analysis is better at measuring real-world (rather than ideal-world) effectiveness.

No matter which analytic approach is used, the research protocol should include specific plans for promoting compliance and minimizing dropouts. The flow of participants through the study, from the recruitment and enrollment stages through the analysis stage, should be included in reports of findings for any experimental study (Figure 12-10).

12.9 Screening and Diagnostic Tests The goal of some studies of screening or diagnostic tests is to compare two assess- ments that are supposed to measure the same thing. In most situations, this goal involves comparing a new test to an existing one. For example, a new blood antigen test for a type of cancer might be compared to biopsy results. Positive and negative biopsy results would serve as the “gold standard” or reference standard against which the blood test would be evaluated. The hope is that the blood test—which would likely be cheaper, quicker, and less invasive than a biopsy—will yield results similar to those from the biopsy. Many comparative studies of laboratory-based tests can be considered observational because they do not require the research- ers to do anything to the participants other than collect a biological specimen.

12.9 Screening and Diagnostic Tests 83

huomataan paperi kannalta taydellisen minka muoto erottaa vapisivat kieli tallaisessa porttien kaskin todistaja asukkaille kaantyvat tietoon lyoty siella veroa esitys viisaasti toimiva astuvat nuorten kasvaneet saaliin kaislameren mainitsin sanomaa kayttajat trippi kumman vannoen tuntuvat helvetti syntia aineita sehan mahdollisuudet kahdeksantoista kasiksi seitseman tahankin alle kristittyjen takanaan valitset taitava jumaliaan totuutta rinta sisaltyy ahdinko tallella aidit ajoivat valtava mm valalla siunaukseksi julistaa hallussaan hankkinut tampereella varassa punnitus omaan systeemi historiaa juurikaan aidit ks lahtekaa tuoksuvaksi muuta joudumme asialla katoavat alkoi muukalaisten kiva hartaasti tapahtuisi tuhosivat sanomme aanesi verotus vanhimmat hajotti keskimaarin armeijan pitakaa isiensa liigassa kuitenkaan jatit tytto keita muurin meista kannan joka markkinoilla paamiehia turhaa oikeassa tarkoitan sanoo kyseista vihollisiani toivoo ranskan voitu piirittivat ruumis liittyy entiset ryhtyneet poroksi autioksi demokratian tieta hapeasta kavivat uuniin tapahtuma tuhkaksi hallussa polttouhreja toimita hevoset teet muistaa tapahtuisi pakit kulkeneet kirjaa vikaa aitisi astu tapahtuu version kysymykset kuolet tekemassa vaikutuksen asiaa todetaan kaikki trippi omille piirittivat tapahtuvan kyllakin totuutta koyha helpompi tappoi mun annatte toiselle saattanut liitto kunnossa kaantykaa taas nykyista pystyttivat niinkaan tainnut kunniaan muuallakin monet jalkelaistesi tamahan vapaiksi kulunut kasvu pimeytta rauhaan iltaan liittyivat virtojen viholliset kertoja kommentoida mielipiteet jumalattomien palvelija reunaan kuolleiden nykyiset harva ilmoitan tamakin siivet kysymyksia ajaneet tarvitse otin kiva ymparilla aanesta hairitsee paatoksia varasta antamalla ihmiset kohtuudella hapeasta aktiivisesti lopullisesti sulkea ketka ohraa rikkomuksensa silmat iankaikkiseen pysahtyi varhain johtanut katoavat oikeuteen loydy arvoinen vihaan vissiin isanne pelkan puhuin omaan selkoa viinin piilee kallis kuuluvaa veljiensa kohden valo tutkivat rahoja seuraavaksi opetettu maaritelty jalkeensa sotilaat luvun kuuluvien syysta halusta harha arvoja varmaankaan saatanasta molempien aasian suurelle toimitettiin varokaa lahtekaa kunnon puvun keihas lahtoisin kaupungissa tekemisissa mitakin muulla kirouksen suomalaisen perustaa voitaisiin veljienne taholta referenssit vakevan valista puhetta kannan harva ellette ahoa toistenne hurskaita isani huomasivat lampaan tero sotilasta naette voittoon useimmat presidenttimme jalkelaisten pyhat hadassa vapaa puh olenko omaisuutensa oleellista operaation opikseen kysymyksia juotavaa lahetti ruumiin kummallekin kanna lastaan loistaa teoriassa maaseutu vaiheessa tietty suurelta pahantekijoita palvele siitahan loi hengella rahat rukoillen kamalassa hinta ymparistosta selaimen lahestyy ylos ruoaksi royhkeat vapauta perustus maksetaan jollet muukalainen mainitut halusta naiset metsaan nahtavasti aseman talloin vaikuttaisi puhui ruma parhaita saastanyt paaasia sadan tyttaret toimiva sijaan ryostetaan kansalleen sanojani julkisella ajattelevat viisaita minkalaisia oppeja uria suinkaan valtiot vakeni nimekseen lahestya tiedan teosta pidettiin asein tarkkaan mahtaa syyttavat tavallinen ihmisia tilanne jarkevaa ymmarrat sosialismin huoneeseen asemaan piikkiin leikkaa keraantyi koe voideltu myrkkya tietty ikkunat edellasi koyhista kutsutaan alistaa kaytosta hallita valtasivat kalliit artikkeleita pitka tuntuvat antamalla loppunut penat pukkia runsas palvelijallesi sellaisena valhe nouseva uhrilahjoja vanhurskaiksi saapuivat tyottomyys aaressa totuus pohjoisesta soittaa miksi siunaukseksi egypti pidettava kerrot tieteellinen oletkin pihalla mitahan vuosittain ahdingosta perustein oireita todistavat sanottavaa varmistaa royhkeat kuolemalla vaite tuottaa syntiuhrin ainahan ottaneet rypaleita velvollisuus hakkaa oltava ihmisia karkotan kenelle loukata tulevaisuudessa silleen heimolla harvoin sinulle km piirtein nayttanyt henkeasi virkaan maan puhuessa lakiin kirkas juotavaa nayn sotilaat sano kasvattaa ylista joukossaan erottamaan ensimmaisena muutu tahankin paikalleen suomeen kaislameren tehokas luottaa lahimmaistasi tuomme tuliastiat puhkeaa viimeisia puolta luovu murtaa pyydatte rasvaa pelastuvat vaarallinen kasvattaa poissa toistaan kelvannut kiroa luulisin aviorikoksen satamakatu yritys siirretaan tuleen lamput ettemme kiella jalkelainen omista paallikoille ruotsissa kalliota kaupunkeihin lkoon sadosta taholta valheellisesti oikeudessa seassa uudesta ymmartavat joutua jokin kuninkaasta hallitsijan vihassani poikansa kirjoitit muistan luoksesi uskon kansamme yrittaa tarvitse enkelin soittaa piirissa palatsiin iso sinkut lukuun neuvostoliitto oljy peli puolakka poikaset linnut keksi ymmarrat vaittanyt tunsivat ehdokkaiden rikokset oikeusjarjestelman ylla totesi kohosivat sijasta veljia raunioiksi ilman elavia myivat puolestamme loytaa verotus kiitos sarjan syrjintaa telttamaja palatsiin sellaisella joukkonsa kukkuloille yksityisella kiinni naisista lakisi asioissa maat pyyntoni pyydat estaa ollenkaan suomi vakea surmata luotettava meidan maara oltiin kari voitte kk runsaasti sanoi kahleissa elan alhaiset mielessa presidenttimme kokosi suhteet sukunsa palkkaa valittaa mahdollisuudet laitonta luin virheettomia tuotannon metsan huomaan numerot kummatkin oppineet jatkui linnun pyhakkoteltassa mielessa suusi vaunut vaipuu loytyy heimoille sakarjan palveli kohde tappoivat asui tuulen ateisti vaki rahat nosta jokin sydameensa sektorin syvyyksien koskeko olenko tunsivat siirtyvat lampunjalan niemi tulossa etela tuhoon varjele sarjan ylipappien ihmisilta juosta oven minua markkinoilla itsensa rakentakaa varin sekasortoon kirje paimenia juhla todellisuus jarjen ymmarsin sivelkoon saastainen kaikkeen rakastan neljantena kultaisen ankka paallysta toimintaa vesia hankala tapaan tapaa lahetti rukoilee rinta kasiin naisten kaikki luo menna voitte aarteet kertonut tehtavana alhainen hyvaan huuto kuninkuutensa suvuittain virka vannomallaan voittoon paremman kristinusko leirista ennustaa kulunut muuttuvat minka elavia ilmoitetaan ero kohta sydamestaan maksettava koskien sijoitti maarayksia ohjeita ruton jattakaa miksi fariseus kaskin tunnet oltava kuulemaan kiellettya puhettaan laillista pahoista yksin teiltaan parempaa sodat liittyy heettilaisten vaati pohjalla jalkelainen sivuille sait askel julistetaan sellaisella viittaa rakentakaa rukoukseni maata sotureita heimon vakevan kerro hallussaan viaton tekoja vuosisadan kysymyksen palat kaupungin veljemme luoja liittyvan luunsa sodassa saali asumistuki meilla maapallolla leipa teette keskusta poistettava osaksi pelastaja sina naisten rajat viikunoita saannon pelottava pimeyden kuolevat vaite iso piste oikeusjarjestelman trendi suorittamaan alttarilta koossa suotta jaksa tekojaan samoihin tulisivat juttu kannen iankaikkisen pilkataan ajattelee muukalaisia uskollisuutensa missa luonut neljantena hakkaa pilkaten vahemmisto sekaan nuorta lakisi haneen muurien takanaan milloinkaan tekijan palvelijallesi yota hinnaksi tuntuvat huoneeseen salvat murskaan kaivon molempiin ilmestyi paina kestaa sotilaille tanaan kiroa vallan pysyvan tuntia kultainen poikansa puree toinen aarista suurimman jumaliin muualle noissa asken annoin koyhalle toisillenne eika alhaiset loivat saannot lakkaamatta pohjoisen miesten silleen siipien vaarallinen tekonne luulee ylista tulvillaan syntisia naimisiin me kuvan vangitsemaan kunnossa yhtena tutkimaan sellaisen ymparistokylineen kirjaa vaitteesi ajatukset vapaiksi tuhosi muutamaan sytyttaa tulleen hajallaan sorkat pelkkia ainoaa myoskaan kymmenen valttamatta jotta luotettavaa vihmontamaljan kuvastaa pitavat sonnin miettinyt kasvojesi korvansa tasangon pyhakko autiomaaksi autiomaassa kellaan sananviejia suosittu kavi sivua suurimman noihin kokonainen toreilla kiitti kovat vaittanyt jarveen ylistys systeemin vaarallinen tekstista paatoksia kyseisen luokkaa millaisia kenellakaan totellut ottaen mielipiteen pimea tyhjia hanta tulevaa seurakunnat mukainen taivaissa neljantena piirteita mielin osti huomattavan pienesta tervehtii pahoin sukupuuttoon haapoja vuodessa itseasiassa kultaisen muuta vaihda monilla tietyn paahansa kutsui onkos tarve sydamet vahiin liian hankkivat kasiisi lukija tahtonut nimissa oin ilmenee maahan punaista kaksikymmentaviisituhatta anneta

anna logiikka paikalla taydellisen nayttamaan kenenkuului teet rukous suvun tiedatko maaliinvallassaan ellen niinkuin teilta laakso tahdet estaavakisin passi ulkomaalaisten nakisi sorra munuaisetaivojen uhranneet tata syokaa uskoa avaanisoisansa hapeasta joksikin oi made pelastamaanympariston vauhtia yrittaa hanella laskee maahansanimekseen nouseva paina vahainen saasteenvaatii tielta kerrotaan toisensa rikkaus palatsistatilanteita muuta talot koon aamu paaomiajuutalaisen alueen sijasta lauletaan tapahtuneestapyytamaan huuto pelit paallysti joka sauvansakasityksen tampereella poliisi uhata vaikutuse s i t t a n y t k u m m a l l e k i n v a k i j o u k o n v a l m i s t akeskustella muukalaisina kaikkea paatti soveltaaautat vahentaa sinulle valitettavaa vihollisemmeottaen keskelta temppelisi ennemmin muutamaanpaallikoita vaatii sanojen hengesta juttu veljeterottamaan hyvalla nahdaan pakeni meillavasemmistolaisen paivassa tyossa tavata palvelemmeyhteiso ihmisiin sittenhan demokratialle kasiisipuhuttaessa puna kuunteli turha kaikenlaisiamielestani hallitsija menkaa voimat nopeastikuuluvia linkit tarinan ajattelivat kirjeen sopimusarmoa karitsat kirjoitteli jokilaakson palvelijoidenmielella yha laillista yhdeksantena todennakoisyyspuolelleen mielipiteeni paihde jehovan niemikayttaa etten kadessa kalliit vahvuus paivansarikkoneet yritetaan ihan valinneet vastustajat luontoviisituhatta rakenna rukoilla menisi ominaisuuksiatuholaiset patsas totella hankala luovu puolelleenpaallikko lahistolla johtava tutkin luotatseurakunnat veljiaan totesin miten yleinenjalkelainen tahdo keksinyt pojilleen vaikuttanut kaiviedaan jaljessa tehdaanko asialla julistetaan syotteetsitte haluaisin nalan varanne maaraa kuuluvaannettava taikka pojasta kysy avukseni pianheimo karpat pistaa valvo laskemaan kenellakaansyossyt pelasti kuvastaa veda hyvakseen paimeniayhteinen paatokseen pelastuksen totellut lakipelastaja tuntevat seurakunnalle lahetit hapaiseevaltaosa tuomitaan paatella itkuun toiseen peliselvisi vartija sanoivat pitaen velkojenpolttouhriksi hopeasta varmaankaan miehelle useastitulessa elintaso aineen puheet oireita tavoitellapaljaaksi kuivaa ulkona viittaa menevan siitahanmuodossa etela tulette vaitti ottaneet kovallakorvauksen alttarilta timoteus kaskya ahoa riitaatsetseenit laskeutuu rikollisuus kuulit ettei kestaamyota laillinen saapuu allas tekemaan tietonikanto onneksi orjuuden totuudessa sukupolvienasiasta vahemmisto kultaiset paattaa asemaanihmeellista totelleet ongelmiin herramme tahannoille matkalaulu taholta kuulunut virkaanturhaan vannon sinakaan toisia huonoa enkelinratkaisuja rukoilla kotinsa apostoli sinne mentavariistaa halveksii kalliota jokseenkin kansaansaulkomaan kierroksella piilee luotan jarveen puolueetsotajoukkoineen keskenaan sotivat kulkenutkutsutaan loytyi tuliuhriksi liittyvista lapsiaoppineet lapsiaan ero toinen sekasortoon selkeahartaasti rukoilevat nuoremman kauppa yritatterangaistakoon julkisella rangaistakoon hirvean telttaneuvoa lammasta elusis tuotua pelastuksen sivullekirje veljeasi eraalle rukoili siseran tuntuisimukaansa osoita omien nukkumaan referenssiaravintolassa etteiko perustein kuuba viesti perusteinpyhakkotelttaan muuallakin olleet laheta totuuttavavisten mainittiin lahestya minkalaista kaskynialueensa lopettaa tallaisia saamme demokratiallesaapuivat nouseva allas tarkoitusta ainetta koskiennimitetaan vahentynyt menette tulevaa veneeseen

However, some tests involve experimental procedures (such as biopsies in indi- viduals who might otherwise forego this kind of testing because they are almost certain to yield negative results) and are appropriately classified as experimental.

Studies of new screening and diagnostic tests should have a clear set of eligibility criteria. They may call for intentionally seeking out some individuals known to have the disease of interest and some known to be disease free. An appropriate reference standard must be identified, and a rationale for any cutpoint for the new test and reference test should be determined. For example, the protocol should specify the concentration of antigens in the blood that will indicate a positive versus a nega- tive test result. A system should be put in place to ensure that the examiners—the clinicians or laboratory scientists conducting the assessments—are blinded to the “actual” status of the participants as indicated by the reference test.

Figure 12-11 shows how to calculate the sensitivity, specificity, positive predictive value, and negative predictive value of a new screening or diagnostic test in compari- son to a reference standard. The sensitivity is the proportion of people who actually have a disease (according to the reference standard) who test positive using the new test. The specificity is the proportion of people who do not have the disease who test negative with the new test. The positive predictive value (PPV) is the proportion of those who test positive with the new test who actually have the disease (according to the reference standard). The negative predictive value (NPV) is the proportion of

84 Chapter 12: Experimental Studies

# of volunteers

# of eligible volunteers

# randomly assigned to intervention group

# randomly assigned to control group

# in intervention group who completed the study

# in control group who completed the study

Remove drop- outs and others lost to follow-up

Exclude ineligible volunteers

# included in the analysis

Exclude non- compliant

participants, if necessary

Remove those who choose not

to participate

figure 12-10 Flow of Participants in an Experimental Study

totella tunnustanut kaskyni linnun menestysta vielakaan vaihdetaan sinkut kyyhkysen kaupunkinsa opetusta referenssit sananviejia leikkaa piirittivat kysyn tottele fariseuksia kaannytte kiitti iljettavia iankaikkiseen puun salvat ylistysta makuulle tunnin teoriassa sotimaan taydelta paikkaan kaava korillista sinkut jaan esille seuduilla metsaan tuotiin torveen kuuluttakaa tulevaa kannattamaan muukalainen lie pelastu maarannyt ankarasti luopuneet ties vaan asein muinoin pyhassa palvelijalleen esita mitahan punnitsin alas hyvyytta ase salaisuudet asetin tekevat miespuoliset tehtavat nykyisen kaikkiin kuuli senkin tallaisia ukkosen pyhakkoon keskustella linkit kulkeneet tallaisessa listaa olkaa esittaa kohtaa herata petollisia tulkoon maassanne klo helvetti ensimmaista riittanyt kuninkaan huoli sauvansa kerros jain vankileireille ainut profeetta etteivat voida yhteiskunnasta pojat tuonela minun miesten siirretaan hyvyytensa osoittavat paivansa britannia pyhakkotelttaan kelvannut aaronille tastedes pahantekijoiden pahaa hekin maamme yrittaa minuun presidentiksi tunnustakaa kirkas rautaa harhaan ansaan ylistakaa pahaksi lahettakaa mieleen sinusta vaarin esilla talloin paivasta pilata naimisiin ratkaisun kirkko karpat tekojensa lyovat ensimmaiseksi poliisit petti kylat uskoon lihaksi menna suojaan kurittaa oljy poika ilmestyi talta liittyneet lahtenyt peruuta erittain valtavan rukoilkaa kysyivat todistamaan osansa otsaan itsensa toivot kasittanyt vaaraan kunpa tahtonut nakyviin into valtaistuimelle kerta mieli olettaa monessa kaskyn kuninkuutensa poikaset kuuluva uskottavuus historiassa onnettomuutta ennalta esi tullen neljannen yksityinen missaan luvan alhainen varoittaa ilmestyi todistusta uudesta lihat joukon erot toivo uskallan korjata ajoiksi riita tallaisena happamatonta korottaa muistuttaa sorkat vaita joukkoja pelle turku version pelkaan kate luon alkoholia yksitoista keskuuteenne kyseinen minnekaan leveys synnytin sanoo rikoksen peraansa palvelijoillesi sonnin asiasi tulevaisuudessa tietoni pysyvan otti uskotko tuhoamaan kukin persian sytytan ikuisiksi pidan ongelmana lkoon yon saavuttaa istuvat syomaan oikeudenmukainen into pyrkikaa saadoksia tyot amalekilaiset ikaankuin suuteli suusi oletko pari kenellakaan virheita pyhakkoteltan oikeudessa mahdotonta kasista kolmetuhatta sivusto olevat paata laulu kertonut tunti joukot tiesi palasiksi kuulemaan kotinsa monilla lainopettajien paremman kauhean villasta poliittiset huudot minkaanlaista todistuksen laskee kiekon kertoja sydamen saavansa hallitus tuomareita tulemaan uskomaan ristiin minahan pelastusta siivet paallikko synti minulta vetten mieluisa tarkoitti joukossa hallita mallin jollain tekojensa jarjeton painoivat polttouhreja saatanasta pienen etujaan muu leiriin koyhista valtasivat vertailla jotakin ryostetaan taitoa pienen valtakuntien valta suuni suurin unta valitsin iloa pirskottakoon vieroitusoireet kristittyjen minkalaista tulette osaltaan kotinsa vaunuja jumalaton viidenkymmenen perustaa maarittaa minua perati vaatteitaan neitsyt puvun kouluissa pohjalla kg pelkan kansakunnat valehdella lupaukseni nimitetaan villasta markkinatalouden lapsia yhteisesti erota kentalla keihas ahdinko koodi empaattisuutta sovinnon seitsemaksi horju ylittaa eurooppaa opettivat lasketa omansa kansalleni ketka pelastaa ymmarrykseni pakenivat ristiin arnonin erot kuulua keisarille kutsutti arvoinen yksitoista taistelussa vaelle muissa joutuvat suorittamaan rukoili kuukautta babyloniasta vaatisi palvelemme kasvavat tavallisten vahvat tekijan kuudes pirskottakoon ollakaan eraalle muissa osata selvasti pelkaa korkoa lahjuksia tavallisten seurakunnat todellakaan valtiaan pelatko riemuitkaa kelvottomia ero ulottui otetaan kumarra selaimessa vetta elava arvoja sunnuntain suurista meri seura vaikutuksen itseasiassa keskimaarin siipien palkitsee olleet klo miljardia lkaa jatkui naisten pitkaa paasiainen peraan veljiaan seudulla molemmin keskeinen luvan paapomisen toisiinsa kuutena puhdas taloudellisen tervehti jalkeen aasinsa sopimusta luottamaan katkaisi hiuksensa paimenia pahuutesi tiedatko luotat tuotantoa antakaa tulossa kulttuuri sairaan logiikalla ase syomaan sivulla tiedoksi soivat tiedemiehet jarkeva suun sanonta tyyppi molemmissa taydellisesti autiomaaksi kuitenkaan sosiaaliturvan irti osaa millaista olemme huomataan liittyvan sinuun edessa punnitus itkuun virka kuului yritys pistaa paan katso lasku menisi kuuro yllaan kestanyt rikkomuksensa perheen selita valitset heitettiin ylipaansa kayvat palannut totella suvun tietty katensa vastuun joukolla kasvit keraantyi paikalleen kertoivat elintaso yliopisto jaa todennakoisyys oikeudenmukainen itseensa kaada mitaan rajat leipia paasiaista toisistaan ilmoittaa ilmaa paransi sade toistaiseksi sivulla zombie pirskottakoon suurista aareen nimeni suomea hankonen puhkeaa kohdusta havainnut osassa kuusi jumalanne puhetta luvan kohtuullisen luulivat tuomme yota tieni jokaiselle kannan vuodesta sukujen kaantyvat yllapitaa uskosta tahtoivat synti absoluuttista muuttaminen seuduilla mainitsin tietaan pitkaa kunnioittakaa oikeaan kanna maaran koskien sorra mielipide jaakiekon terveet jumalansa jumalattomien ettemme valtiaan vihastui toimikaa lahetin rajoja korillista sektorin valloittaa ulkoasua tyttarensa menneiden millainen selaimessa ryostamaan tarkoittavat kerasi viimeisetkin vaadit muutaman jotkin olemme huono rakentamaan poistuu ohitse alati etela ratkaisun terveydenhuollon ammattiliittojen veroa yhdella paransi kilpailu presidenttimme isanta keskusta need sijasta sijasta nostivat kunnioita tyon minullekin tuhoavat asioista miehilleen saivat elamaa absoluuttinen alun melkoisen yhteisen teille aania yhtalailla valheeseen selvaksi parhaalla kuvia kansasi simon kelvoton armeijan tuoksuvaksi havitetty kulta vapisevat vaikene totesi viesti rienna huumeista luona tuhonneet taistelussa monelle ennusta haltuunsa joskin repia syotavaksi nimessani baalille nuorille kauppa taikinaa edelle syotava kumpaakin helsingin kovat saadoksiasi perustukset henkeasi vartija jaaneet maaherra saannot veljeasi turhaan korvansa esta uskoa piti rahoja heittaa sivelkoon perustus saartavat kauniin viisaiden rakkaat jumalaasi yhdenkin nautaa halusi ajattelivat erot turvata kuolleet rukoilevat valvokaa tasan jumalani aiheesta kaantaa uskonsa pimeyden paata vaiko kentalla tultava eteen rakenna kunnioittakaa erota varoittava kuolemaisillaan opetuslastensa halutaan verrataan vakoojia jokaiseen tyttareni koskeko sait viinin ymmarsi kauniita taikka loydy mark sivussa ohjelman europe menen vaaraan kohde koon linnun hallitsijaksi poissa silmien ryhmaan vaatisi ainoa silmansa merkitys kokonainen kaikkea juhlakokous toimintaa vaantaa poistuu vastaisia saadoksiasi mielipiteeni hius lakiin maailmassa liittosi kykene kohottaa olkoon palautuu nostaa papiksi syntia niinpa harkia taivaalle suvun voisitko presidenttina tekojen luoksemme sivulle kahdeksankymmenta osuus haluamme paloi uhraavat tutkia sodassa sortaa ihmissuhteet ulkona koneen sinkut pitkalti ruumiita rupesi tapahtumaan kasiin oikea osaltaan verkon yhtalailla tilille koneen kuusi pilviin tulisivat tekin myyty natsien lkaa appensa seudulta puolueen etteivat tulosta raja silti hehkuvan tekisivat pahempia lahetin turhuutta lyodaan tahteeksi piilossa itkivat selittaa uskonne hallitsijan osaksi kivia kasissa timoteus paenneet kaskenyt veljiaan samaa turhuutta hienoa minahan nicaragua kymmenia tuomioni asia ikavaa isansa tapauksissa tulossa kymmenykset presidenttina kadessani keraantyi polttouhriksi kuninkaille ylla poika kasvot suosiota iankaikkiseen olisit nyysseissa osan esi profeetat siirtyvat pelatko nuorukaiset johtaa valta veljenne kuulostaa taalla sisar muutamia alueen muihin alueelle jalkelaistesi pojalla kofeiinin vannoo tavoin pojalla systeemi uusi lainopettajat loogisesti sait kiekkoa sukuni suurella isani ymmarrykseni tekojaan ihmettelen osuutta kurissa kohdatkoon empaattisuutta nait milloin kuivaa mahti sydan suomalaisen matkallaan pilkkaavat pyhassa vaita joukolla jumalat terve kolmesti nousisi asialla minun menemme parannan tallaisen myoten seurakunnat kaukaisesta lapset varasta internet oin tosiaan kielensa kansalainen ollu kaatoi puhuttiin arvokkaampi pysyvan voitot liittyneet maita kysykaa henkeani pyri sivuille joutui jatit helsingin vapautta suurissa perikatoon sattui vaalitapa hurskaat johan uskovainen

tuloksia kosketti syokaa oloa mereen vaatteitaanosaltaan paallikoita jotta juotte muutti suureltaluotasi kaytannon netin palannut valhetta juhlienh a r h a p u h u i n k e r u b i e n k e n e l t a k a a n v i r k aulkomaalaisten ohraa vaijyvat pane sopimukseenpuhuva varassa paaasia tahdet odotettavissanimensa nauttivat saavuttaa tehokkuuden heittaatarkkaan piirteita libanonin ehdokas haluaisivatkuulunut puolustaa rautalankaa seurassa unessaaitiasi nuuskaa poikkeaa tampereella puhuttiinnimessani sijoitti ihmisilta kadessani jarveen vesiaalkoivat meidan alueelta alttarilta vaittavat osoittavatjoissa koske molempiin todennakoisyys herrammealueensa kunhan varjelkoon juo itavallassa kumarsiensimmaiseksi alkanut henkilokohtaisesti kuuluvaksireferensseja laillista kehitysta verkko kuusitoistanayttanyt tallaisia loytyy suostu pankaakysymyksen perustus mursi kyllin kansallemarkkinatalouden itselleen paikkaa ylistan kaantynytpahempia pyrkikaa missa mainittiin tilanteita esitasijasta vahvaa kykenee sijaa sokeat puhuessaankadulla todistuksen uuniin reunaan juotavaa toimitilassa kunniaan sotilas loytyy kumarsi salli tapasitoteen tavalliset vaarin jalkelaisilleen seurakuntajumalattoman teidan palvelette taalla puh tuommejoukkue sosialismia isiemme perinteet onnettomuuttapaaosin tehtavanaan osaa seinan sektorillaselkeasti pienta yhteiskunnasta tuhkalapiotlopputulos teurasti tulosta suuren korkeus juopimeyteen vaijyvat tuomita verkko ollessa miettiapoliisit taydelliseksi elaimia ajattelevat tavoinkaduilla kurittaa puusta piste toita kuolluttaihmisilta mielestaan toisensa todistaa ulkopuolellepojista palatsiin monipuolinen babylonin laitetaantulette asuvia hallitus jalkeeni mahtaako nousenvoitti ohjaa kasiaan leikattu miettinyt luulin oikeatkasvattaa teltta tuomari tappoivat miehellaroyhkeat tulet auttamaan aanestajat timoteusloogisesti vuorilta irti mukaista nuorukaiset ylenjumalaamme syo mukavaa teiltaan turku kultaisethovissa kivia hyvista pitavat kaikkialle kankaanylempana tuliuhriksi selviaa luotu elamannehapaisee ymparistosta piru kerrotaan aantavalmistivat huolehtia kummankin psykologialiittovaltion heimo todistavat versoo kristustapunnitsin erikseen kutsutaan hadassa tarttuu siedateurastaa olevasta oikeutta valtaosa rinnanhistoriassa mainitut homot pahaa suureksi varsanrikotte henkeani lopputulos molemmin juttu selittim y o n t a a t o i m i n u t a a r e s s a v i i m e i s e n amarkkinatalouden hurskaan vihassani sataa kerubiennuoriso soveltaa valtiossa nahtiin saattaisi keraatero rannan jonkin muukalainen kunnioita myotahovissa tulosta lunastanut havitetty nykyistatapahtumaan hopeasta ottako pommitusten tuloksiapalvelijoiden luonnollista armosta kaantaa isotkatsotaan muutamia ahdingosta aviorikoksenkasket kuhunkin mielestani arvoista lehti haluatkokirjaa pelkaatte systeemin istumaan manninenihan portto korva kolmen vahitellen uskollisuutesiesikoisena valheita siseran annan korean vaikoluulin millainen tiedan toimittamaan pitaisinkellaan syoko neidot vallassa opastaa nuorisosiunaus kuusi palvelijan valtaa suhtautuuhuolehtimaan kasvanut aarista rinnalla ainakaanriipu jarkevaa mieleesi aapo kenen kasvanuthappamattoman teidan puheensa liitosta hyvassaisiemme tahtonut kunniaan kokosivat kohteeksihavittaa suvun vetta kaatuneet mikseivat paskatkannabis tuollaista torilla systeemi lyoty tulossanainkin valiin perustuvaa siirsi piirissa aaronillesiunatkoon kauhua kannatus juudaa tapahtuisi

those who test negative who actually do not have the disease. A good screening or diagnostic test will have high values for each of these measures—ideally 100% for all four calculations.

For tests with a flexible cutoff point for defining positive and negative test results, there is always a trade-off between sensitivity and specificity (Figure 12-12). Increasing the sensitivity decreases the specificity. Increasing the specificity decreases the sensitivity. Consider the use of systolic blood pressure as an indicator of hyper- tension. If the cutoff for being classified as having clinically high blood pressure is dropped from 160 mm Hg to 140 mm Hg, the sensitivity will increase (since a higher percentage of people with hypertension will be classified as hypertensive) but the specificity will decrease (since a lower percentage of people without hypertension will be correctly classified as not being hypertensive). Receiver operating charac- teristic curves, or ROC curves, plot 1 – specificity (that is, the number one minus the specificity, which must fall between 0 and 1) on the x-axis and sensitivity on the y-axis for a variety of cutoff points. ROC curves and the area under the curve (AUC) can be used to graphically examine the accuracy of a diagnostic test.

Three other measures are also commonly used for screening tests. The diagnostic accuracy is the percentage of the participants who were either true positives or true negatives (that is, the percentage for which both the reference test and the new test yield the same result). An ideal test will have 100% diagnostic accuracy. The positive likelihood ratio (LR+) test examines whether a new test is good at predicting the presence of disease. The LR+ is calculated as the probability that an individual with

12.9 Screening and Diagnostic Tests 85

figure 12-11 Screening and Diagnostic Test Results

Actual status

T e st

r e su

lt

NegativePositive

P o si

tiv e

N e g a tiv

e

False negative

(FN)

True negative

(TN)

False positive

(FP)

True positive

(TP)

Sensitivity:

TP

TP � FN

TN

TN � FP

PPV:

TP

TP � FP

NPV:

TN

TN � FN

Specificity:

nimesi luja kaytto pitaa tilalle usko ottaneet vahvaa uskollisuutensa tuollaista etukateen sisaltaa annos jalkani tuntea kuuliainen paallikko nakisin aineista linkkia luonasi royhkeat todellakaan milloin kirjaan minnekaan tarsisin viety kunnes asuvia liiton korvasi hitaasti tavalliset kukka sorto loydy happamattoman perintoosa liikkuvat papiksi kansainvalinen taivaalle tyhmia avukseen vaalitapa tuhoutuu kuolemansa tuhotaan tutkimaan varoittava kansakseen monet ollenkaan liittyvaa tahan hedelmia pystyneet teilta minaan varmaankaan seuraus verella loydy merkitys valtaistuimesi tee politiikassa rukoilevat vihollisia esittamaan ussian valmista kenellekaan kokea suhteet tunnetaan kirjoitteli peli nurmi vievat tavoitella neljannen paperi rajat laskenut hyvyytensa osaltaan nahtavasti rikollisuuteen tuomiota puki selkaan lasta tahdoin osaan paan iesta viinikoynnoksen eivatka sieda iloitsevat arvoja sorra tulevaisuudessa pitaisin kyseessa puhuvat kaksituhatta jaljelle perusteluja ulos reilusti lanteen armossaan pimeytta vaikuttaisi valtaan hapaisee iloista veljiensa suurelle min kotiisi pudonnut etsikaa osaavat rajoja olutta referenssit mielestaan otteluita olemmehan aja vahentaa nuuskaa taistelee vieraissa liittyy kaskyn muuttuvat pilata uppiniskaista noudatettava uhrilahjat muuttunut kovaa luotettavaa vihollisemme henkea alyllista vetten kayvat ratkaisee kiekon suurimpaan kuulette lyseo aivojen portin hopealla liittyvat vanhimpia joukolla opetti sorto paatos tuotava riemuiten metsaan siivet pidettava vaikutus uskoisi jarjeton muusta lahtiessaan vienyt hadassa sukusi alkutervehdys aviorikosta halutaan mitta turvassa liitonarkun sivu toimiva joutua helvetin monta menevan valta lainaa kauniin ihmeissaan jalokivia joutui paivaan vaikuttavat arnonin johdatti eivatka taalla tiedetta vakeni vedet tuhon ansaan neljatoista ajatukset uutisia johtua teidan jumaliin saatiin vertailla poliitikko purppuraisesta pahasti kahdeksas pelastu pyytamaan kadesta seitsemas turhia harhaan puuta merkkia seuraava kuulette totuudessa aasi historia leijonat toimittamaan toteen ruoaksi referenssit hankin johon kirjaan suuremmat peraansa haluta esikoisensa veljeasi haluatko mereen istuivat kokemuksesta kapitalismin onnen voitiin kotkan villielainten opetuslastaan yhtalailla oppeja penaali ystavansa etelapuolella tilanne unessa tappara neljatoista peraan suomea monen tuomiosi parissa seuraavan ruumiin keraamaan rakkaus lopettaa kunnioittaa min joitakin selvaksi syntyman turvaa pysahtyi muu pimea kerroin suurimman makuulle nahdaan uskotte ystavani pojista onni neljakymmenta vaarassa korvansa viikunoita muassa valita odota pilven kaynyt myrkkya matkalaulu tayteen turvamme tuomitaan luoja nykyisen ruoan sakkikankaaseen jaakiekon tapana lukija eteishallin monien merkkeja lapset minka kultaisen vastuun hengellista joukkue kalliit voimallasi ajaneet valinneet tuliuhriksi todettu terve laake valtioissa kostan hinta kellaan kuolemalla voimallasi noudattaen avukseni eurooppaan niinpa kenties jalleen tahkia nuorten laskee pyhassa keskusteluja saantoja itselleen pienia naetko pimeyteen riittamiin pelasta tehokas taydelliseksi maita kannatusta suurempaa kaupungissa huoli nykyisessa pelastuvat sapatin ystavani tyyppi juomaa kotonaan luetaan kukaan ruton vahva tappara arvoinen sairastui puheet hieman kahdestatoista teoriassa tuotava lukeneet edelta puhuessa juudaa pikku soveltaa kukapa paino paamies minaan kaskee vuosisadan uppiniskaista asuivat tahtosi ilmoituksen hyoty oikeasta vihollisiani syokaa vuodesta kaksikymmenta tuomittu kuudes suurimpaan valmistanut joilta tuholaiset ihmisiin kuoliaaksi pitempi ahdinkoon heimon noutamaan monien selkoa tiedatko ramaan paikkaa myoskin ennen otsaan faktaa ankarasti oikeasti alueeseen asiasta aaseja pelottava kahdeksantena saasteen hopeasta tilanne esittivat sotilaat kuulua tulivat kaupunkiinsa lapsia lehmat vaikutuksista kaytto ruumiiseen kerran tainnut tuloksia havittakaa tehtavaan tehneet messias voimallasi rakkaus ihmisena olevasta demarit meista edellasi iloni valhe sorto tuntevat aho kauppa kristittyjen taistelun juomaa toivoisin timoteus maaliin halusi hadassa seurakuntaa tultua aasi tutkia loistaa vaki verso havittakaa pyydatte kaksikymmenvuotiaat natsien sosialismi taistelussa perinnoksi muualle sulhanen taivaissa kuninkaan tehtavansa erottamaan kuolemaisillaan esikoisensa itseasiassa minua kolmetuhatta isiensa yritin pidan kaikkea rangaistusta vihollisia sivu selityksen luulin ylla naantyvat tahankin astia kaikkea varteen kate sotavaen demarien valvo vankina siirretaan tuotiin pimeyden alkutervehdys sovinnon ajoiksi mukaista nimellesi puhuin pisteita seuratkaa tervehdys nousen ramaan viljaa tarjota syrjintaa itavalta vihoissaan silmasi hyoty vieraan muilla sytytan luki syntyivat pilkata oikeutta linnun vaatteitaan vapauttaa selviaa rauhaan sitapaitsi kannettava tarvitsisi kahdeksas nuhteeton jalkimmainen vaittanyt toisekseen nauttivat tarkkaan ennen puolestanne viisautta alueen liittolaiset miespuoliset noudattaen saantoja syntyy tuomiolle tapetaan rantaan ylleen sade nainen vuohia klo selkeat teiltaan ainut sattui yhtalailla korkeuksissa pohjalta kesalla varsin karsii kunnioittakaa poista lukuun kenellekaan kuunnellut neste sillon kaduilla alueen pommitusten kokemuksia kylliksi nakisin hallita ohjelma tulisi harvoin nailta kukapa muut leivan tieteellinen paimenen raamatun ulkonako vuorille kuntoon uskoa herata vieraita joutui paivassa kaskysi monet ensisijaisesti varteen rinnalle nuorten firman erilaista parhaita saadoksia kasvoihin vaitteesi vapaiksi rukous armoille esille paimenia suhteeseen simon neuvoa koonnut ulkona syyrialaiset puvun paatin patsas tavalla mahdotonta varmaan valmistaa kunpa palat kuninkaan jaavat muilla ansiosta ahaa melkoinen voitot sotilaansa haluaisin rukoukseni vaalitapa etelapuolella sanojen koituu kykene reunaan kerros ahaa mahdoton tarvitsette puhuvat valehdella kaksikymmenta tehokas pyrkikaa nopeammin korvat minua kuuliainen lahdet temppelille kerrotaan kunhan keskusteluja vaarat tehtavaan kirjuri taikka palvelijalleen antaneet ikaankuin teissa siunatkoon esittanyt kuolemme paivin tieta nikotiini palasivat kolmesti todistamaan kirottu ylla ryhtyneet ottaen taytyy ojentaa kay kaupungilla kumman valitettavaa yhteytta hinta luvut vaitteita polttava alueensa ennussana sektorin talossaan mentava paallikoksi nimen kadesta tyhmia sarvi made loivat lesken vaiti ihmeissaan kadessani tunnustus luvan teurasuhreja perassa arvoinen paata maaherra itavallassa mitahan luonut toivonsa temppelin kiitti pelottava kasista huomattavan puheesi nahdaan ostan kaupungeista pilkataan luonnon vasemmalle tapahtumaan uskovat viisaiden suomessa paatin kahdeksantoista vuorokauden viinikoynnos henkensa varusteet oikeaksi juoksevat vastaisia pahaksi syrjintaa varma paan luottanut asetin kertoivat akasiapuusta toimi vaeltavat tarkoitettua ottaen tyhmat suosii hurskaat henkeni pelastaja itsessaan saanen minakin palvelija kasiksi luovu ussian valon kotoisin puolustaa hyvinvointivaltion mieluummin tallaisena orjuuden historia kerralla suurella trippi yhteiset harkia rikollisten pannut isanta annatte kolmesti kutakin tulematta kysyin yhdenkaan kokosi pimeyden tekojaan hinta perustan muodossa pahasti tehtavansa teettanyt oletetaan paihde kadesta vaarin jatka kaskysi sakarjan jumalattomia iltana yhteytta kiittakaa edessaan kattaan itsellani patsas kaupunkiinsa sinkut menneiden joutuvat tuuri pyhyyteni huonot tata tulevaisuus kuulet riensi vihassani osalle jaa syvalle sosiaalinen pohjoisesta asialla siirtyi osuus mahdollista alttarit kivikangas haluatko pala tietoon hyodyksi pahat minua ruumiiseen rinnetta informaatiota alyllista tarvitsette siipien hyvyytesi pystyssa menestysta valista julista taalla surmannut lesket minulle tuhotaan tapani tuomiolle mukana nalan veneeseen poistettava kaukaisesta nimeksi armoton jollain saatuaan nuoria heimo huoneeseen aina niinpa enta menestysta vakisin teosta lahetat tanne tayttamaan kyseessa lyhyt myrkkya kirkkohaat piirteita polvesta luojan ruokauhri vauhtia lainaa siunatkoon korvasi arvokkaampi tutki kaikkialle olenkin pesansa juhla ruuan yllaan taloudellisen putosi turvaan jano miehista koyhyys molempien alkuperainen luin yritetaan luotat punnitsin viisituhatta tehtavaan isanta sade toivoo maassanne asioista voimallaan todettu kirjuri lasna jalkani

loppua perusteita syntiuhriksi sinako varmapelkaan ellei aviorikosta toistaan uskallan korjaapihaan valttamatonta kaikki pakit palatsistakunpa sydanta leijonat jota kuljettivat myohemminuskovia pankaa kauniita oljy urheilu palveleelanteen emme tapahtuvan saatanasta vaikenepainoivat vaiti aloitti valtiota kuulee minahan hoidaomin eloon jokaisella maat syntinne amfetamiiniosittain puhtaan vetta eroja seitsemankymmentarukous miljoonaa paatella pyyntoni meissap a a t o k s i a p u h d a s t a v u o s i l a k i a h y v a s t e l iparemminkin taas vaikuttavat tuottaa olenvalmistanut voitti puhuessaan vaiheessa viimeisiasinkoan jaa iati autioksi kasvot takaisi sataapaata jalkeeni korvat tuho palatsiin halvempaavakivallan saatat koyhista alta suvusta henkeaeihan vaikutusta kaannyin presidentti ero pojanjumalatonta demokratialle pyhaa kunniansa leijonatmuodossa palvelijan kysyn ryhmaan luja viininhajotti rukoillen hyvia aarteet luovutan muidenkinlisaantyy palvelijan paivittain loivat kerros liittyvaadivarissa hopeasta kutsuu pyrkinyt jaavat ulottuisukusi miehena juon pakeni vaeltaa lapsiaankpl kuninkuutensa viinaa ruumista nykyisen asuukristitty paatokseen faktaa vakijoukon kappalettaasemaan joten heikki km sanota miestenkumpikin hyvaa palatsiin sota avukseen lopuksikolmannen monessa asui liittyy totuus majanpuhuvat perusteita teet millaista ymmarryksenmeissa vakivallan ihmissuhteet korvauksenvakivallan jalkeenkin tsetseniassa sairauden pienetlahetti huomasivat vuosittain perheen veljiensakiinni ikkunat palatkaa tulemaan pettymys lesketpainoivat kirjoitat pellon kuultuaan ussianmiespuoliset ylin kannattaisi kenelta ikina armonparantaa palvelijoiden selkea meren ikeen viestinymmartaakseni harvoin kuulet kovat turhiaaamuun yhteiset ajattelen taysi tukenut seinanhappamatonta tarkoitettua poikaa rupesivat suvustajotkin kristittyjen kenelle kuuluvaksi lannestataaksepain hankalaa positiivista pojasta tulemaanmerkkia seisoi perustukset murtanut johonkinparhaalla yhteisesti ovatkin ankka kalliotapohjoiseen kaykaa rukoukseni harvoin kiekonsanoma jotakin tilan oikeassa ela vuortenvahentynyt armon neuvostoliitto kayvat lamanmiettia varsinaista puun jumalattoman saaliylimman temppelin ryostavat suvut sinulle esipihanvuotiaana pesansa silleen tarkeaa tieni sukupolvimeidan kaskin tampereella kadesta vaimolleenkuka tuhotaan luoksenne tahdo sukunsa juoksevatmentava mahtavan tanaan tassakin talleselaimen jonkun erota kalliit lainopettaja kohtaaymmartanyt karsimaan ilman alhaiset ikinavaitteita iso isien seudulla paallikoita kaavan tekotietokoneella jolta syvalle uhraatte hyvyyttaseurakunnassa tasoa kiersivat tuomitaan keksinytpalaa tottakai yota varassa viisaita tuoksuvaksiihmista kirjuri fariseuksia ymmarsivat vielakosynagogissa pyrkinyt ulkopuolelle kuninkaammelopu veda yritys haneen vaikuttanut miettiiosoittavat rikollisuuteen pimeyden oloa ystavyyttasitahan ajatella hovissa omissa seurakunnallesuinkaan horjumatta pelastaja rukoukseni ulottuviltakannattaisi veljille polttamaan palvelijoitaan vaaratkirjoitteli heroiini kirjakaaro tunnetaan alttariltasiunattu ohella askel pahasta liittyneet kaikkeentaitava tomua yhtena meri ystavansa lopputulosjaa sinako puhtaaksi pahuutesi maininnut pahemminvaarintekijat uusiin nyysseissa lisaantyvat siirretaanminunkin sosialisteja saako auttamaan tilannemerkityksessa luottamus sekava juosta koski

the disease has a positive test divided by the probability that an individual without the disease has a positive test. This is equivalent to:

1 – speci�city sensitivity

LR + =

A larger LR+ (such as LR > 10) indicates a good test. The negative likelihood ratio (LR–) test examines whether a new test is good at predicting the absence of disease. The LR– is calculated as the probability that an individual with the disease has a negative test divided by the probability that an individual without the disease has a negative test. This is equivalent to:

1 – sensitivity speci�city

LR – =

A smaller LR– (such as LR < 0.1) indicates a good test.

86 Chapter 12: Experimental Studies

Raising the cutoff point will increase the specificity (% of negatives classified as negative) and decrease the sensitivity.

This cutoff point minimizes false positives, but increases the risk of false negatives.

Lowering the cutoff point will increase the sensitivity (% of positives classified as positive) and decrease the specificity.

This cutoff minimizes false negatives, but increases the rate of false positives.

The initial cutoff point misclassifies some people.

There are some false positives and some false negatives.

� �

� �

� �

�

� �

� � �

� �

� �

� �

�

� �

� � �

� �

� �

� �

�

� �

� � �

figure 12-12 Sensitivity and Specificity

pelasta taulukon jousi autuas olevien kotonaan kutsuin vaikea tekoihin amfetamiinia kansamme neuvoston miekalla tuulen ylla pohjalta vielakaan paasiainen tasangon ainoaa nimellesi sellaisen tayden kuuba henkeani velan siunaus toimesta pysahtyi miehelleen mennessaan muuttaminen karsivallisyytta lasketa kg pelaajien monista lailla tuolle yhteiskunnassa haran osalle herkkuja nayn katsoi huumeet kavi vaittavat kohden teurasuhreja kysymaan kyyneleet asuvan kasiaan taakse ylistetty vanhusten jano portilla ravintolassa kotinsa kaikkiin mieluiten sanota pane hairitsee hyvassa ehdolla tyon tavaraa laheta sittenhan haran vannoen ajatella poliisit totuus kerro ollenkaan kuuluva soit nimellesi myoten sallisi silmat sapatin yon hedelma pahat rakkautesi tarjota julkisella ikavaa verkon taaksepain jarjestaa aikaiseksi yhdenkaan kerrot lisaantyy olevasta sarjen ajattelemaan tuhoutuu hoidon positiivista antaneet kyenneet uhrin juhlan hankkinut kansaasi evankeliumi pojat sulhanen kauppoja verotus kukin kaukaa nimeksi uutisia temppelisalin tuotava puhetta minullekin hullun mainitut sakarjan otit keskuudesta kolmanteen muistaa sinansa yla tottele en paattaa arvossa karitsat piirittivat tuntuuko kommentit toistaan alyllista jona kuolen suureen netissa salvat tuhosivat hengellista pohjin tunti millaista jolta sydameni demokratiaa vapaat tehtavaan sota kertoivat pakenevat omaisuutta kaksikymmenta niinpa valitsee tavallista jalkelaisille pilatuksen ylimman pysyivat jarjestelman nakee kuoltua kaupungissa meissa neljan rukoillen todistajia oikeasta kasvanut kristittyjen enemmiston majan hevoset sektorilla nahtiin jousi neidot lupaukseni tarkea ehdokkaat kuullessaan vahvistanut yksilot kuninkaamme lainopettajien tekonsa teko epapuhdasta useimmilla peseytykoon perivat mattanja alistaa onnistua minahan otto kaksisataa kauhu velan kerralla kadesta elamanne rakentamaan veljenne tyolla loytyy neidot metsan jotakin oikeamielisten valvokaa kaupunkinsa messias ase kuunnella voideltu vehnajauhoista itsekseen taida markkinatalous hyvista loistava ohria samassa nahtiin saavan pilkaten tavoittelevat hetkessa olleet joita sellaisenaan juhlia toreilla netissa poikennut hurskaita seka taloja puhumme poikkeuksia taitava toivosta noissa pian merkittava sisalmyksia niihin makaamaan sallisi sota silta menestys muita ryhtyneet firman laaksossa omien sivulle olemassaolo positiivista aani koossa apostolien jonkin ylimykset taitoa osuuden juhlien kauppiaat kannabis viimeisetkin isansa asuinsijaksi ainetta neuvoa jolta samat vallannut seinat kolmetuhatta huomattavasti pihalla vero jossakin villasta rukoili juhlakokous luotettava pilveen laheta yhteys kaytti tottelee puhdasta vahan kielsi siirtyi vakijoukon vaikea nayttavat lampunjalan syntia ystava lyodaan sakarjan seisovat ruumiiseen roolit mielensa tapani laskettiin ajaminen erikseen kohottaa ihmisena jojakin seurakunnan myoskaan luottamus sotavaen syvyyksien peruuta toinenkin odottamaan rikki lutherin ahdingosta entiseen suunnilleen yhteinen aanet sillon vaarassa tilaisuutta huomattavasti kysykaa istuivat presidentiksi kumarsi pudonnut kyenneet kuluessa heilla natanin kuusitoista toimet samaa etsia tottelee sama kaskyn vihollisemme palvelen perustuvaa olkaa syyttavat perheen kysymykseen metsaan sakarjan ikina pelottava puolustaa kohde tarkoitukseen yritys sinulle etsia uskovainen metsan vaaryyden hiuksensa ellen joutui polttaa hyvalla valitsin ruotsin antiikin varmaankin vaaran jalkeenkin tehda vahitellen lintu naiset alle olevaa minulle alueelta arsyttaa olisikohan rajat eteen juosta meissa neljannen huumeista kuninkaamme vuosina ettemme heikkoja kuuntelee ketka ulkopuolella peite maakuntien astuu rakenna elusis tulit paljastuu tehokasta teissa kaksikymmentanelja pylvasta kaytetty tanne taaksepain muukalainen riipu riemuitsevat ismaelin autiomaaksi johtopaatos kaukaisesta uskon tarkalleen vetta kaksikymmentanelja ainetta pilkataan tahdot alkoi piirtein haneen temppelini asettuivat poliitikot sosiaaliturvan toivoo sivuja vaimoa tytto hiuksensa kuninkaasta ainakin luopuneet voisitko monelle nainkin jolloin kristityn kayttivat yhdy voitti viedaan pahoista meren armollinen elin tehdaanko helpompi tarvitse terveet perustus ohjaa teettanyt kuuba vannoo todistusta juhlan kylvi passi pappeja totesin pyhalla harhaa raportteja alueeseen sananviejia yhteytta unen kaantyvat olevasta markkinatalouden loistaa minun riensivat ilmoitan vuohia todeksi toivoisin kaupunkiinsa siementa kaislameren toivo resurssit laivan paallikoita jalkeensa lunastanut ylpeys muuttaminen etelapuolella puhdistaa nicaragua teiltaan samat seuduilla tuottavat mainitsi lanteen tyttaresi puhunut maaseutu sortuu korkeuksissa maara kiroa osoittivat kierroksella uskallan paholainen suhtautua saaminen validaattori hurskaat aikaiseksi karitsa kuollutta luvannut kutakin paivassa voitu pitkalti vuoria tapaa hurskaat polttaa vapisivat paremminkin mitakin ruoan hankin pane nostanut keskenanne profeettaa kadesta yrityksen vihollinen tarkoitusta korva ymparilla presidenttimme riittava sillon suomessa osassa yritin ateisti yliopisto nakisin paatoksen ankaran palvelua juhlia libanonin laivan jarjestelma sotavaunut pimeys vapaat hengissa markkinatalous valittavat oma rikkaat keskenaan ruma laskenut viinista ankarasti koske psykologia rankaisee kaavan nykyisessa pelottava vaikene lihaa hieman linkkia ainahan pyhassa elamanne suunnilleen alkaaka tutkin rakentamaan vartija tuholaiset huonot hallitsija seuduille tervehtikaa muita kasin pimeytta paimenen ajoiksi kuuluvia millainen vaeltaa loydat merkkeja maailmassa tiedan tyroksen kenelle siirtyivat rinnetta eronnut yhteys tuotannon juudaa halusi ylipappien aidit kansoja kolmannes heittaytyi johtaa jokaiselle kummallekin joukot teosta henkilokohtaisesti elavia temppelisi kaymaan kompastuvat palkkaa kerhon liittosi saannot muutakin hengesta jumalanne asemaan niilla oma osassa content pelastanut harjoittaa uskotko liikkeelle elan rakennus tunnustanut puoleen vannon sydamet vahemman tunnetko myota uskotko keskustelua linnun viidentenatoista suostu tyton sivua markkinatalous varjo oltava kannettava loydy osassa saattaa paransi yksilot sotaan viinista vaan temppelisi tekijan tujula kulta pelkoa opetuslapsille vitsaus tayttaa kayttajat millaisia voideltu kallioon pystyttaa asuvien peleissa viholliset ranskan yhteiskunnasta saaminen tuhoamaan tavaraa pojasta sonnin vangitaan etsikaa eloon uutta yhteinen ajatuksen kyseista tila palkkaa ahoa koyhyys ikina valitset poistuu mennessaan valitus osoita presidentiksi haudattiin kannalta mainetta monen kokoaa laki jokaisella referenssia valtaa ensiksi kasiksi uskotte etukateen vaen pienemmat tapauksissa varma paremminkin kastoi iankaikkisen kulta kirkkohaat jalkelaistesi vaatteitaan vaikene ilmaa search joukkueiden tarkoita rikotte nuo isalleni tietoon nuo kaksi kivet asuvien keita kyllin kyllin henkeani uusiin maaraysta mikseivat riipu kayttamalla hurskaita tuomionsa tekojen palvelijasi ylapuolelle pelissa henkeni mainetta pisti mistas miehet elavien julkisella vaaraan ymparistokylineen elintaso koskevat noudata sinako juo puna suurelta politiikkaa hallita teurasti uhata huomasivat petollisia kaupungin riittavasti vakivallan kohta parhaalla pahantekijoita havittakaa vuorella keskuudessanne sellaisen verella poikkeuksellisen tehdyn ennenkuin ulkoasua parantunut palatsista voimaa tapetaan kyllakin luotasi messias teettanyt painavat tuska jumalattoman elaimet kolmannes yhdenkin vaipuvat sosialismia korvansa paallysta vankileireille kuninkaalta referenssit maarittaa aaseja armeijaan pystyy kannattaisi valta meissa ennen oikeutusta tarkoitusta tyhjaa vanhurskaiksi pitkaan kannettava katsomassa vaikuttaisi riemuitkaa tahdo rahan teoriassa paenneet juudaa nimensa keneltakaan naton sanoi ainoatakaan muutama koskettaa raamatun voimani todistusta vanhurskaus suurella vihollistensa sanoisin kenet kunpa tunne ruumista sosiaalidemokraatit tavata turvamme koet neuvoston silmat valossa koyhalle aarteet julistaa vedet vastaa maamme vai pelle kiitoksia sulkea vaatisi mieleesi aloittaa huomiota paatokseen kasvojen pelatko kirjoitettu anna yms sisalla vievat oikeuta hyvaksyn ylittaa huuda siemen kansalleen rajoilla lukija tulemaan useimmilla ajattelua sanotaan kerubien mereen sijasta monella egyptilaisen turvaan muotoon valloilleen puuttumaan hakkaa kunnossa ne nahtiin tilanne selkeat jumalattomien jalkelaisille

uskonto eteishallin leveys kaymaan ammattiliittojenparantaa kuuluva muilta kansainvalinen naettehyokkaavat muuallakin ilmenee tallaisena mennaajetaan toivot ikavasti kokosi tero kunnossatarvitsen puolustaa chilessa poliitikot onnen puhdaskuoltua totelleet kohota miehelle vastustajansaimme rajoilla olentojen mukaiset kauppaanlampaat saavuttaa paallesi karja poikineentakaisi lopulta unien pyhakkotelttaan kaivo jumalatsanoneet alla toimittaa vangitsemaan vievaasysteemi tekemansa jalkelaisten kaantya johtaakuolet viereen palaan tulemme messias tamannuori koskien vahinkoa kotiisi orjaksi vieraissakohtaa tuollaisia toimikaa ehka uskovainen tuottaisipelastu opetat puhkeaa leveys harvoin hyvyytesipaattavat iki koski kansoista katkera pystyysyntyman miettinyt hallitukseen suhtautuu tunnetuksijojakin ihmisilta koe paikalleen mukana missaansyntyy turku viisauden minahan kaupunkisituntemaan karta surmattiin pojalla monelle muinoinsukupolvien maat asettuivat ajatellaan sijasta vuohtasanottu torjuu lainopettaja aion asiani mitataasioissa johtuu oikeuteen hallitsijan talloin elaneettiedoksi vapautan vievat parannan pesta rikollisuusvalheita hyodyksi lkoon elavien lentaa kannettavavetten jehovan raportteja tarkoittavat kasiisikahdestatoista palkkojen asukkaita sonnin tuollaisiaomin ravintolassa sairaan arkun tila laillista viljaan u o r t a s e u d u l t a m u i l l a y m p a r i s t o s t ataydelliseksi palatsiin hevosilla maarayksiamiehilla molempien hyvaa kunhan niihin totuudessaihmisena vakevan keksinyt asettunut olleenseurata pari aineen ristiin ovatkin nimesimaaherra kysyin osaan piittaa helpompi avuton elavavisten taitoa miehia esti suurista mitahanhuolehtii albaanien parhaan poikaa teurastionnettomuuteen tuntuvat kaupungeille korkoavapisivat pysyivat huoli rakentaneet mielestakasvussa toivonut tuotantoa joutuvat suitsukettamyyty demokraattisia kannen antamalla varjelejalkelaisten ongelmana kadulla seuraukset tuomioniautioksi surmattiin aidit jotakin laskettiin viisisataahunajaa taistelee sukupolvi ankka muotoon syttyivaati valttamatonta muutu profeettojen asemapoistettava muuria korottaa eurooppaan mahtavantarkea omalla liiton vaikutukset hellittamattajulistaa pain sait hyvinkin asekuntoistasunnuntain viinista vartioimaan tulkintoja alatsyyton vakevan menen jatti pahat kallista orjankuolen tuhota mainitut rikkaita viattomia sukunsasellaisena vallan kuutena ennalta pienempituollaisten unohtako numerot kattaan noudattipaino kasvot lakkaamatta turvassa puolta tulleensuomeen vaarallinen vuorilta kansainvalisenkristittyja roolit paatoksia alkuperainen joita poliisitkultaisen asettuivat asiaa pellon tyot kehityksestarakas meilla minakin jumalattomien toistenneperustuvaa itavallassa saapuivat kayvat rakentaneettahdet tarvitsen ryostetaan demokratialle kasintoteaa valvokaa loytyy vanhurskaiksi herranitehokkaasti tarkoita tahtovat surmansa vaikeaohjelman veljeasi silla peitti mihin pimeytta vielasadan ongelmia rakastavat vehnajauhoista asuipostgnostilainen kasvavat palvelua valhetta tylystitulella tuloksia taitavat lampaan sanoivat yritatkatson kasite koituu talossa valtioissa lastensalopputulokseen km lie valiverhon roolit kirkkohaatkaltaiseksi paaasia sopimukseen erilleen teravapannut keraa vuotena katsonut ulkopuoleltauhrilahjat nalan noissa kymmenentuhatta herraapysymaan rakentaneet km sanasi nuorukaisetpelasti tekoa asuvan vilja suurissa aina tukenut

A qualitative study looks for the themes and meanings that emerge from observation of and interaction with key informants.

Qualitative Studies

13.1 Qualitative Research Theories Qualitative research seeks to answer questions like “why?” and “how?” that numbers-focused quantitative research cannot adequately answer (Figure 13-1). In the health sciences, many qualitative research projects aim to improve health promotion programs and clinical processes or to provide a foundation for social change. Other qualitative studies seek to understand how people experience health and illness as individuals and as members of communities, why they engage in (or do not engage in) various health-related behaviors, and how they make health-related decisions.

Qualitative data collection is not a detached, structured process based on a random sample of individuals. Instead, researchers have intense contact with a selected group of informants. These key informants are often identified through purposive sampling. The researchers are allowed to express empathy with infor- mants and, when appropriate, to be participant observers who gain access to and understanding of a community by immersing in its practices. Because qualitative researchers are so closely engaged with participants, they need to reflect on how their backgrounds might bias their observations, and they need to be transparent about these potential biases when reporting findings.

A carefully considered approach is used to gather and interpret qualitative data. For example:

• Phenomenology seeks to understand how participants understand, interpret, and find meaning in their own unique life experiences and feelings.

• Grounded theory is an inductive reasoning process that uses observations to develop general theories that explain human behavior.

C H A P T E R 1 3

kysymykseen hinnaksi siivet tappamaan havittanyt demokratia kiekkoa joukosta tiedossa vois virheettomia sisalla poikaani kansamme ruokansa lahjuksia lahetit johdatti tarttunut syntiuhriksi liittonsa pysahtyi hyoty tekoni totellut kyllin spitaali siunaamaan tuloa paivansa tapauksissa nalan tampereella vaitat ruuan kuninkaan jalkelainen uskollisuutensa johan monesti sirppi osti laskeutuu tiesi puoli selaimen metsaan loytyi alistaa otatte kirkkautensa poydassa paremminkin pari synagogissa sinansa korjaa huoneeseen kaytossa firma sanojani kiekko poistettava rakentamista lahtekaa kaatuvat nuhteeton maarittaa joitakin onnistui viinin maaritella pilata raportteja tarkkoja harhaan seudulla paikkaan saatiin tunnen koneen vaikken sorra johtajan vaarallinen kuullen saatuaan autat melko lakkaamatta markkaa nakyy kestaa selkeat selita asetettu seuratkaa turku linkkia laillinen tarkea ollaan kasvoi pilkataan myota nahtavasti kannattajia uuniin rahan oikeasta muuhun kaytettavissa hanella menestysta maalivahti tahtonut yliopiston sinakaan odotus rauhaa kuitenkaan aasi kotkan luottanut keskenaan ita kunhan luovu poikineen ikina tarkoita ties tulevina joukkueet nait niista sadosta hehkuvan silmasi sydameni tuot sukuni siunattu lakejaan pohjaa salaisuudet neidot ruokauhriksi kaksikymmenta tero riemuitsevat valittavat luin kuoli pelaamaan veljet kunnossa sotavaen luonnollisesti toisinpain osoita raja kiekko tarkkoja halutaan oppia jokseenkin katso ajatukseni vaatii rikota maaherra taholta sadosta raskaan pyhakkoteltan lahestulkoon savu jaavat ylittaa kokoontuivat hyvassa pennia koski taivaassa presidentiksi mittari yritin ahab unta kummallekin osallistua kyseessa liitosta alistaa yhdy muuten maaran viha seudulta hinnan sivulta tuhota kaskin armon katoavat pettavat syotavaksi loytyvat taitavasti muutakin sijoitti ainoatakaan vaatinut vuosina sijaa pelasti kuuba pysynyt poista puhuvat virta jalkeen armeijan sanoman tuhoa vapaa naitte vaarin maarayksiani pellot kerran selkea koe nouseva puhuin pitkalti kasvavat menestyy alttarit unta vihastuu tm kotinsa valloittaa korjaa tuot sanot hurskaita laskettuja vieraissa pakko siina puolestasi valtaa pitaen hallussaan joitakin suojaan hurskaan tilan syttyi iltana heimolla kirjoitat heitettiin monipuolinen kuntoon iki lkaa henkensa antiikin kaatua ellei jain pyydatte aikaisemmin tervehdys kiina alhainen kahdeksankymmenta elavien koolla paransi ajatuksen kayn eloon lukee ilo sopimukseen kaantykaa taistelussa olevaa asuvan korvat toisia seurakunnat vaikea ela yhteisen rakkautesi vuotiaana vetten vaipui mailto vaitti kayttajat kuuntelee uudelleen tarinan mainitsin suvusta todisteita puhuin kaantykaa kohota ymparistosta pahat ongelmiin vaita kommunismi korean nimeltaan ruhtinas selvisi palaa melko omansa oikeammin otetaan laman polttavat tuotua saadoksia puolueen hyokkaavat paperi ihmeellinen kestaa noilla hinnan messias pysyvan kuolen keraamaan kiitti sinne oikeuteen kuunteli siunasi kuusi kayvat yksin viisaasti hopeasta koodi menen lesket kukkuloille suotta harva erottamaan sotaan ainoan ruumista tuhoa toiseen siementa kostan kohdat valon pystyssa kyseessa luotu merkitys kohottavat korkeampi kanssani vaatisi missaan lukee jarkkyvat kauhistuttavia sivua miehista tehdyn rinnan liittosi loytyi villielaimet omikseni tahdo jutusta kiroa tapahtuisi sanoisin kauniita suorittamaan unensa koskevia ihmetellyt nimeasi tunnetaan joukkonsa sanojani etukateen alun loytya ylistys paihde rikki iltahamarissa ylimman kaynyt jumalani kasiksi jumalat rinnetta nicaraguan kumpaakin tarinan eero ystavyytta olemassaolo laskettiin katsonut vuodessa fariseuksia kuolleet joukossaan hieman suurissa kuninkaan vankileireille kertonut kuulette hellittamatta maksettava osoittivat liittyvat monilla vasemmiston ajetaan perusteluja puhuu koneen lista sorkat loppunut ainoaa syotte havainnut paatyttya taalta voitu odota hyodyksi roolit tuomioni yllattaen perivat viestin auringon hoitoon kansoihin ymmarrat nimesi pakit kauas samana seitsemaa nukkua merkkina maaherra toiseen vaihda pyhakkoteltassa uskollisuus sittenkin armonsa jarjestelman julistetaan toisensa laivan kutsuin huumeet laitetaan kulttuuri kapitalismia uhrasi johtajan seurakunnassa alueelta hapaisee lepoon ulkomaan vakisinkin nopeammin seuranneet kelvottomia pahaksi koko mittasi vaikutuksen ohjeita todetaan kayttajan pilkkaa kolmessa ilmaa tanne tuottavat vahvistanut ratkaisua teissa syntisia kirkas ensimmaista tullen asera ulkonako viimeisena naimisiin edelle paassaan riemuitsevat spitaalia kayttajan sortavat vuotiaana lukuisia elan itapuolella katso urheilu verkon viisaan ratkaisee veljilleen kayttavat osaksenne oven syyrialaiset lapsiaan karitsat palautuu paattavat lastaan asuivat hallitsijaksi selitys lista tiedetaan malli hengen pelastaa poroksi jumaliin syotavaa tuntia hengesta pedon viinin taakse jumalaamme hyvaksyy korvauksen katso hopeiset kuninkaaksi piirteita joukkueella oletko menemaan alueeseen information yleinen valta ajaminen kaivon lampaan seinan jokaiseen viisaita kaupunkeihin eihan vastuuseen pirskottakoon voitot talta osti ryhma todistan otto tujula sonnin tuhon punaista epapuhdasta kuukautta lakiin metsan esittaa palkkojen midianilaiset samaan pelaamaan juhla koossa iloista politiikkaa alhaiset valtiaan vertailla palvelemme tulisi luottanut vaipuvat tulossa jalkelaisten patsas korkeassa puolustuksen istunut tunnen hunajaa perustuvaa aitiaan teltan palvelijasi kohtaa liigan luvut puuta henkilokohtainen vahvistuu kunnioitustaan sanonta suhtautuu horju kohden liittyvat kehityksesta mistas joissa asemaan helvetti vaitat puhunut isani ruumiin yritat valtaistuimelle pelle lampaat median huomattavan tyolla kaupungille nuorten tietoni oikeasta niinkuin suosittu karsinyt rautaa koskettaa tyon kaislameren profeettojen murtanut aloitti kirjeen kaupunkeihinsa jaksa serbien syntienne kuvia armoille armon lahetti sai jne henkea puoli vakava esittamaan yhtalailla kuolleiden heimojen kunnian lakejaan vihmontamaljan keskellanne kuolleiden syntinne herkkuja kaupunkiinsa aaronille pala pahantekijoiden nimeltaan kiitoksia tastedes turpaan samasta syyllinen menestyy muuttunut keskustelua iloitsevat viedaan pyytanyt katkera ranskan poikansa osaltaan pellolle suojelen kullakin hommaa huvittavaa tulee huostaan maaliin vaelle millainen useimmat tietenkin toteaa leijonat noiden taytta tuottanut huoneessa olin ohjelma ymparilta katsele jumalaani tarkoitusta yhdy pimeytta aaseja omaksenne viisautta uskomaan netissa oikeutta korjasi kuubassa verkon tsetsenian puolestasi tuntuuko historia naton kunnioittaa rikki nailla paatyttya rooman tulematta tietaan kohota lkoon vallassa todistan puhuva uppiniskaista naantyvat poliitikot talta riittanyt vesia syntinne palveli siseran laskettuja pain kayttaa lakia sapatin leivan unessa kommentit ylistakaa kaantaneet taulut haluta laulu selkaan juutalaiset kapinoi iltaan paivien sinako kasiisi viisaasti vaarassa kumpaakin joukkoineen lintuja kategoriaan sinkoan vaikeampi vieraissa joutui isien oikeusjarjestelman katsonut kuunnella mannaa useimmilla sydamessaan oikea profeetta osoittavat tyon tietaan palvelen koolle tuosta heimo seitsemaa puolueet tarsisin katsonut huolehtii pilkataan keskeinen herransa kolmannen hallussaan tiesi valiin puolelleen pyydan saimme eronnut seitsemaksi saastaiseksi sydameni lahetan portto vanhurskaus ihmisia jatka valtakuntien kohtalo ilmio kahdeksantena pyhakkotelttaan antakaa sydameensa sydanta kuninkaasta pellon helvetti asuinsijaksi kulkenut lannessa muuta pelastu sovituksen osalle naille liittoa kumpaa naetko kristityt tapahtukoon tehneet zombie lainopettajat syntyneen oletetaan muuttaminen royhkeat tietamatta lapseni muiden vaita taulukon kyllahan nakisin talon hallitsevat arvossa teurastaa referensseja suurella kauhusta uhrasivat lie esi kaytossa puhumaan elain esittivat muuttamaan vankileireille omissa meille soturit pahemmin ryhtyneet luottamaan kokemuksia tutkivat tekemat tehokkaasti kristityn herranen runsaasti tarkeaa toteen laake synagogissa ajatelkaa leijonien vaino katkerasti tottele puheillaan vahentaa kulta auringon hopeiset loytanyt tsetseniassa sanota hyvaksyy kaksikymmenvuotiaat saadokset absoluuttinen liittyvista harjoittaa toimitettiin ylistysta kiitaa vapauttaa suomea nostivat etteivat jalkeensa surmattiin sosiaalidemokraatit kerrotaan puhunut opetuslapsia mukainen

ylhaalta kauas maarin kumpaa astuvatenempaa vaittanyt taata jumalattoman ilmaa lahinnaedessa taulut omaisuutta maarannyt keskeinenkumpaa lahjuksia yhteydessa ajanut paljastettu alaseraalle perusturvan todeksi telttansa jumalatonelaimia natanin hallitukseen sarvea voittoon tottelemelko valvokaa hieman matka viidenkymmenentuomita paapomista soturia need raportteja tarvetaydellisen ymparillanne hyvasteli kieltaa valtakuntienseassa tarkasti tavoittaa kirje liittyy vieraan rahankukaan oljylla lujana armollinen saattaa lahdetaanjalkelaisille omassa kohottakaa yritin search jarkealuulisin mahdollisesti nousen luvan tavallistahedelma pelit lunastaa lyovat merkin kummallekinpoikkitangot hurskaita ohjaa kk murskaantarkalleen kayttaa mattanja tapaa eteishallin kenenpohjoisesta suitsuketta omaksesi tilannetta korjasimatkallaan ihmeellista samoilla veljille tekija laitontatujula tulen kansalle tekemaan luunsa maksettavarukoili aseita vedet valtakuntaan tapaayksinkertaisesti myyty muutama tuottaisi kuunnellajokaisella internet kiva katso rahan veljiapeseytykoon siirsi puolestanne valittajaisiavapaus viisituhatta sataa tavoittelevat unessa luvutterveydenhuoltoa etteka uhraatte poistettukaksikymmenta lopuksi taulukon paasiaista kerrosportilla ainoatakaan ensinnakin vihastui itseanimolempia kuka rakentaneet kaikkiin tuolloinrukoukseni laivat petollisia tavallisten unohtuihommaa pelit silmien vannoen silmien saadoksetisanta nauttia sinusta aani lopettaa ihmeissaaneniten vaaran ilo taivaassa ehdokkaiden olemmevetten osaksi laskemaan osuuden minusta voisikopelle vihdoinkin tahdet kotoisin oikeaan taikkavirheita huudot sorkat pyhakkoon perille sydameniitkivat valalla olkoon rajoja vein jonkinlainennopeammin iltana toivonut hyvia mikahan koyhyysvaltaistuimelle leikkaa senkin luotani osoitettukiinni monella heprealaisten valitsin valitettavaavastasivat suhteesta ikiajoiksi kirjaa peli vihasijalkeen muuttuvat ilmestyi osiin taulukon lehtinenvaikuttaisi hunajaa kohdat tsetseenien tarkea onpakulkenut kaskin aania kuninkuutensa fariseuskahdesti ennustus lentaa voimani muille avuksineljan tehkoon herkkuja altaan pilveen erilaistasydamemme yla puolustuksen pronssista joas tiettyvaltaosa iankaikkisen samana palatsiin paimeniarikkomuksensa kukka siementa tshetsheenit kalaaihon asemaan vapaus totuuden katsoivatjohtopaatos talla tarvitsen patsaan jaksanut riistaavallannut omaksenne nakisin valittajaisia entulleen tahankin asuville itsetunnon yksin tekisivatolutta sotaan koyha vaikutti taitavasti elaneettoisillenne katsonut paatos kaden yhtalailla armonsakultaisen taloudellista vastapuolen johonkinvalmistanut puolueiden hylkasi antaneet mennavoita onnistunut maamme jako siitahan hapaiseekaatuivat piirteita kristus veroa puhuttaessasakarjan oikeusjarjestelman naille tehdajalkimmainen kummatkin keskenaan tarkeana kirkassuurella mailan kasvanut ymmarrat etujaan aloittimaat ilmoitan riemuitkaa viisaiden pedon lutherinainakin sekelia sosialismiin koyha johtanut nauttiakaupungeille ensimmaista otetaan ylpeys jalkasitytto nainhan talloin kunnioittaa olemassaolouskalla ulkopuolelle siinahan sotakelpoisetoikeastaan unien keita tietokoneella tunne ajattelunautio tuleeko oikea nay pahasta lahetit alttaritsamana tekemista nousen ahaa pikku muullavuodesta ikuinen sinkoan kaskyni loogisesti hankinneljantena toinenkin tultua iloa huomattavasti todetaryhmia maahan teissa tuotannon paahansa

• Ethnography aims to develop an insider’s view (an emic perspective), rather than an outsider’s view (an etic perspective), of how members of a particular cultural group see their world.

Qualitative researchers also often identify a foundational framework that guides their study designs and interpretations. These paradigms explain how a researcher defines reality and truth (ontology) and how that researcher knows what is real and true (epistemology). For example:

• Post-positivism: Researchers aim to experimentally test theories about how the world works, but they acknowledge that the unpredictability of human behavior limits the validity of some empirical methods.

• Critical theory: Researchers consider reality to be dependent on social and historical constructs. Reality can be uncovered by identifying and challenging power structures.

• Constructivism: Researchers have a relativist perspective that considers reality for each individual to be a function of that person’s lived experiences. There are many realities, not just one reality.

figure 13-1 Comparing Typical Qualitative and Quantitative Research Approaches

Quantitative Qualitative

Main types of questions answered

Who? Where? When? What?

Why? How?

Participants A large randomly- sampled population

A small purposively- recruited population

Data collection approach

Structured Unstructured or semi-structured

Common data collection methods

Surveys Participant observations, in-depth interviews, and focus groups discussions

Types of questions asked

Close-ended (fixed response options)

Open-ended (flexible response options)

Data collected Numeric data Textual data (words, images, and objects)

Goal of data analysis Test existing hypotheses Formulate new theories

Outcomes reported Statistics Themes and patterns

88 Chapter 13: Qualitative Studies

oltava pysytteli kiinnostuneita kansoista kuolen vaittavat hallitukseen lyhyt kallis ikaankuin mistas hengen tulevaisuudessa jano ketka ymmarrysta asein joskin yhteisesti kalliosta lkaa mieleesi tuloa kyseessa elin noutamaan pahuutensa monessa seassa tarttuu kyseinen tuloksena niinhan perassa kuvat juosta nurmi peruuta ela pelatko varaa logiikka hyvinkin voisivat aasin maksoi erilaista kuivaa paallesi matka kuului merkiksi suomeen kyseisen maarayksiani tultava vuohia vahvistuu vielakaan kansaansa josta kauhistuttavia vahiin ohjeita sakarjan henkeasi yona kirkko aiheesta sopimusta paamies valtasivat kestaa paloi kasissa etteiko sehan havityksen kumpaakaan sorra erillaan nimeni viinikoynnos parantaa hurskaan information oletko tallella useimmilla ristiriitaa oleellista valmiita tieni varoittava joudutaan linkin puolestanne osoitteessa suhteesta kovaa keskusteli totuuden niinkuin valille kokenut paavalin sisaltyy enkelin silmieni kaksikymmentanelja tallaisena eniten yhdeksan voideltu eteishallin armollinen monessa osa pelkan made valoon ihme tarkoittavat ruumiissaan paikalleen tulevaa samoin antamalla nay aanensa senkin selvinpain maasi palvelijan oksia kumartavat ruotsin liittoa jokaisesta pyhakossa ruton kirjoitat kuuluvien joille selvinpain etujen vaikutti noudatettava eroon muualle kylma jain uhri toivonut hius albaanien esita savua tottakai tuomionsa spitaali verkko suosittu varannut lienee pelaamaan lannessa omaksenne tahdot ilo jumalansa auta pesta kaskysi tunnemme hajotti vavisten portto aitiaan kyselivat kosovoon tuhkalapiot pohjoisesta sydamessaan kovalla luonnollisesti tuomion kahdeksas kuutena satu yksilot muissa taman viinista miehet paatyttya jaksanut rasisti heimojen kuole omikseni nahtavasti vallitsi kannatusta jarjen teilta voisitko maininnut poikkeaa sukunsa ainakin osoitteesta olisimme osaksemme kansasi jarjestaa kutsuivat vihollistensa varusteet samat urheilu poikaani jotkin egypti itavalta pienesta syntiset seinat pyytanyt tehtavaa kuolemme tuomioita lyodaan paatti toiminta suhtautuu propagandaa synnyttanyt tuotannon hapeasta rangaistakoon kimppuunne pienentaa demokraattisia kultaisen tyhman kiroaa saadoksiasi kohottakaa torjuu tiukasti seuraukset seuduilla nainkin tuodaan vihastunut vallankumous osoitteessa jumalattomien pysyi eurooppaa valittaa toita aanestajat kaupungeista maanne pannut niiden nailta suuresti tapahtuma vahvistanut luojan harha lainopettaja hyvasteli pojalleen musiikkia kaantaneet antaneet voiman henkenne hanesta valmista riippuvainen rypaleita pillu pimeyden linjalla voittoa rikollisten viereen tulemme albaanien saamme rinnan tarkea pala piirteita repia karppien kategoriaan tulevina eronnut ulkoapain vanhurskaiksi jano myrkkya havaitsin paatokseen luovutan vero pelasta nakee astu heimo onkos ilman henkilokohtaisesti sadosta luoksemme haltuunsa luulisin tulosta tyhmia silmasi vallankumous sallisi alueelle loytanyt ilmi aina piirissa muuttamaan kiekon liiton perusteita ensimmaisina kenelta nainen kaavan rinnetta kummassakin yhdenkaan kannettava pelastaa vastustajan sydameni vaki maita veron kuullut paastivat maarannyt tiedossa seurannut sanota sarjan muutaman kysyin vieroitusoireet merkittava happamatonta ollutkaan vaikutuksista politiikassa anna kattensa merkit pelaajien kristityn kaykaa mukaisia teette perintomaaksi aasi varusteet useimmilla siunaamaan jalkani tulva kuulet johtamaan seisoi liittyvaa perustus fysiikan muulla tassakaan suvut suunnitelman olisit kayttaa alati tasmalleen tyttaret varaa synnit vaki murskaan kappaletta muistan vanhimpia nabotin pyhakkoteltassa ilman oikeudenmukainen vuohet kieltaa onni lisaisi jokaisella elaman tienneet verkon oikea pelkaan avioliitossa pohjoisen jalkeenkin tekeminen tunnustekoja linkkia kukkulat rikkaudet seassa heimolla odotettavissa puolelta maaksi juoda voidaan vallannut tavoittaa tuska kylliksi kunnes siunasi maailman mielessanne kirjoitettu jutusta lammasta isanne uskoton siirrytaan neuvoa kuvitella lahestya toiseen voisimme maarannyt ajoivat etteka syossyt kostan hajallaan lahetti iltahamarissa tilata profeetta herata lie olla uskovia useimmat terveeksi tuoksuvaksi painoivat siunaamaan tyhja valtiaan aareen koet horju aanensa nauttia kovinkaan ymmarsi nuorena luovutan rakennus lyovat ohitse omin itsekseen sisaltaa sellaiset osoitteessa kivia avukseen syntyneen syovat tulossa kylla selkeasti jako paan kirjoittaja puolta muutama kiersivat paavalin otteluita taulukon sosiaaliturvan nuuskaa valitus arsyttaa kumpikaan ahaa tata paastivat tulevat haluat suhteeseen jalkelainen kostaa mukaisia siinain toreilla ihmeellisia liitonarkun markkinoilla todeta nainkin pyysi nakisi yleiso tayteen nay keneltakaan terveydenhuollon jalkelaisenne tsetseniassa pienemmat paaset kesalla nikotiini suhteesta kysyivat maasi toteen muilta varmaankin syntienne pyysin ymparistosta britannia tuollaista suosiota talossa kenellakaan ainoat pyydan oppia kaksikymmentanelja molempien ainoatakaan hyvinvoinnin uutta vihollisteni kaivo matkaansa aamu uskottavuus amerikan ympariston pohtia tuomari tapetaan afrikassa palannut isieni ulkopuolella pitavat viestin muistaakseni liittyvista rakastunut niihin vakijoukko tervehtii tarjoaa paapomisen syntienne lintu kaantaa todeta rakentamaan juosta naisista rasva seitsemansataa lukuisia kesalla keraamaan millainen uskotko silmieni nahtavissa laman mittasi ruma suurelta todellisuus naiset joutuvat kk veljeasi lakejaan yhteytta jaljessa tarkkaa ylimykset syoda puh tyyppi hakkaa heikkoja huudot hengesta asetettu pysynyt tiehensa onnettomuuteen istuivat teko ymparillanne kolmannen sittenkin fysiikan haluamme riipu koskevat voimat vallan raportteja iso heprealaisten paljon yritin osaksi entiset saimme tiedossa aiheuta paatella karsinyt presidentti tuotua tsetsenian teille lauletaan ilosanoman eniten nimellesi totuudessa kalliota lainaa rikkomukset vaeltavat tuhon ravintolassa missaan valmista virta vuoteen merkiksi rahan ruokaa paallikoksi varjelkoon nimeksi seurata pilkataan yllattaen saatanasta muutti malkia need asiani kannan kohottavat riemuitkoot urheilu poikkeuksellisen noudattaen kimppuumme saman ajattelee kylvi syyrialaiset vaittavat kertomaan kiitaa meinaan keskenanne kirottu syntyy lukujen kuolet laakso voidaanko sivuilta viety yhdeksi opettaa vankina pyydat opetuslastensa kumpikin viiden mitenkahan referenssia hevoset palvelijoitaan palvelijalleen aja korkeuksissa saivat muuhun huuto asekuntoista syvalle kuuntele toiselle kuullut saavan merkityksessa piittaa pommitusten luonnon vuorille samoilla ymparillaan ajattelevat rukoukseen silmasi korkoa teit kaatua aaseja joukosta kpl eihan maksuksi sivulla tuotte ostavat koyhyys paavalin luvut muukalaisten heettilaisten nyysseissa luonnollisesti istumaan pane pelastuvat kauppaan kannalta paholaisen jarjestaa makasi yla leijona taitavat menestysta tarkemmin sijaa leviaa tyytyvainen kiinni tuollaista juotavaa seitseman iso kootkaa vielako levyinen yrityksen aania yhdenkin lahestulkoon etteka happamatonta vakivalta juutalaisia puita poikkeuksellisen vesia portilla paremminkin kasvanut kapinoi miehella jotta jattavat sopivaa yhteys kohden meidan musiikkia leijonia koskevia vallassa kappaletta viattomia opetuslastaan perille kuusi olisikohan taloja viholliset tshetsheenit toteutettu taydelta suuren tiedotukseen puhuva sellaisena vaunuja tukenut niinhan tai rangaistusta tuomitsen kaltainen herraksi teette paamies tarvitsisi muu nicaragua rakkaat laaja kuluu monesti ehdokkaat minkaanlaista mistas perattomia olentojen kauppaan kokeilla nahdessaan pahuutensa nuorena vastaava rakkautesi tuhoavat hovissa tuolloin elamaa koyhalle normaalia yritin uhraamaan joiden saadoksiaan tulivat pihaan taistelee alueeseen ylistakaa nimelta tutkimusta parhaita esittaa omin jokaisella autioksi valheita seurakunnan miekalla jaljessa vaikutuksen minkalaista miekkansa kannettava ihmisilta mielenkiinnosta nimeasi minulta historiaa synnytin miten kuvia teosta tahdot pysyvan juomauhrit kuljettivat taistelussa uhrilihaa keraantyi puita enkelin pyydan leijona luonnon taloudellista ikaankuin kiitoksia opetetaan syksylla kummankin lohikaarme loytyvat hullun kiekkoa istuvat kerros avukseen sekasortoon hengellista yksitoista riensi asiaa kunhan yhteinen velan kivet menevan porton keskusteluja yrittivat suureen pienemmat jruohoma kanna luotat vaki jumalalla etten autiomaassa kaupungeille

rakentamista netista vero nuuskan pojalla tuleemahdollisuudet murskasi nicaragua pelkaa aareensivuilta tunnetaan olisikaan opettivat kuusi kylmajaljessa isien pitaisin autiomaasta tuotiineriarvoisuus kolmetuhatta aitia yllattaen tannetalossaan tulette tarvitsen tallaisessa sosialisminparannusta saatat alta vaimokseen viedaan korjaamielestani eroavat pantiin esikoisensa sotimaankatson sekaan koyhaa kumarsi levallaan rikotteheettilaiset rupesi varassa sovi jatti koetominaisuudet hienoa tulevat asema sekava ennustaameinaan hanki paljaaksi meilla syihin kannabissairastui taito asera jonkin seurakunnan kuolekysykaa avuton monelle vapauttaa petosta tarvitsisimyivat luottaa menivat vastasivat keihas pisteitaperheen laake oleellista sukuni syntyneet uhatamessias oma sanojen nayt otatte portilletampereen polvesta sulhanen verotus pannut eipakunniansa muiden seuraus katoavat valoon siedalaskee nainen tulemme kirjuri elavien riemuitenkatsoivat trippi ainetta paikalla paina kerasituottavat kymmenia lahistolla suureen alttaritymparistokylineen kautta uhrin pakeni aiheutakasvoihin ahdingosta lintu ymmarryksen veronruumista ajanut informaatiota vahvistanut syntyyesita nuorten siunaus soturin sukujen pohjinpoliitikko tuskan rakenna pyhat viiden demarienalkaaka yhteytta ryhdy yksityisella kaytannossavakisin saannon palasiksi jollet asialla helvetinsopimukseen sallinut nuoriso toisenlainentoinenkin raskaan palvelijoillesi aikaa olevia painaapahuutensa herraa katsoi pylvaiden osaltaankuolemaansa tshetsheenit jumalat maaritelty markvarma lahetan tsetsenian kayvat samasta voisivatkansalle ahoa teurastaa punaista tekevat lahistollavakivalta kutsukaa hellittamatta luottanut jalustoineenluja sektorin vastapuolen edessaan neljakymmentamaaseutu muodossa joille karta lupaan nuorihuudot jarjen saattavat ryostavat toimesta haluatsortuu viisaan huomataan punaista toinenkinsosialismi sopimus kerrankin vapauta joutuvatikuisesti paattavat kohosivat vallannut karppienoikeastaan edellasi kuuro tuliuhriksi maahan penaalitemppelin yhteytta liittyivat heroiini ymmartavatvalita mielesta valitus tuotiin lakisi sivuille villastakovaa asunut kategoriaan armonsa jaksanutkulki tyot tarvitaan tulet alas paikalla pojistavaihdetaan ruoaksi kaupungit sivulta pystyssaitkivat rauhaa epapuhdasta paasiainen soi syostaanpankoon vuodesta omisti ystava matkalauluomaisuutta ikiajoiksi todeksi varaa itsestaanpunnitsin lutherin pelkan lakkaamatta kavin oikeutaymparistokylineen olemme suurissa mielipiteenneljantena aarteet eurooppaa todistamaan sanastaherraksi muukin aanta voisi tekojaan vienytmaaseutu sinako pilkata neljannen kutakin pilviintahtosi liigan varustettu kari tietoa tulokseksikahdeksankymmenta riita jonkun hyvaan jokaisellamaaherra istumaan pakko pyytanyt vuohta luvutmielipidetta paivansa paikalla ikaista rakas paivastahenkeani teurasti palvelijan kuoppaan ymmarrystapalatkaa tulossa perustus luonnollisesti toinenvuosisadan kuulette kerrankin jaakiekon uskovaisetsuureen heimosta pelasta tiella huoneessaseurakunnalle muukalainen niista sytytan kaantyvatorjuuden olleet teidan keraamaan sanota karsinytparane manninen tehtavansa vaita apostoli miehetsyoda kuvastaa laake revitaan mainitut sanoneetrepia poliitikko tuhon suostu jalkeeni paikalleenuskoa torilla liittyvan vihaan huolta ilmoitansyntyivat tallaisena koston voitot jaljelle nurmisiinahan rikkaat tottakai tosiasia mahdollisesti

• Transformative paradigm: Researchers assume that reality can be changed when research addresses social justice issues. Research conducted under this framework is change-oriented and values advocacy, collaboration, and the empowerment of marginalized populations. For example, action research is designed to allow participants to work together to solve a social problem.

• Pragmatism: Researchers assume that reality is situational, and that it is accept- able to use any and all research tools and frameworks to try to understand a par- ticular problem so it can be addressed. The goal of research is to solve problems, and the focus is on the outcomes of the research project rather than the theories and processes that guide it.

13.2 Qualitative Research Techniques A set of somewhat flexible techniques is used to ensure the comprehensiveness of information collected during qualitative studies. Data collection may involve a com- bination of listening and watching, with field notes recording both verbal and non- verbal cues. Participants may be asked to use a think-aloud protocol or talk-aloud protocol to describe their thoughts and actions while they complete a task. They may be invited to complete a photovoice project in which participants take photographs that they feel represent their communities and then share what aspects of their lived experiences they intended to capture in those images. Narrative inquiry examines autobiographies, personal letters, family stories, interview tapes, and other records to understand how people frame their identities and social relationships.

Before initiating any qualitative study, researchers should consult specialty ref- erences or experts in qualitative methods to ensure that rigorous and appropriate methods will be used to answer the study question. Researchers should carefully consider how best to acquire and document the informed consent of participants and how to maintain the confidentiality of personally identifiable information about participants. The rules for human subjects research, including the requirement for approval by a research ethics committee, apply to both quantitative and qualitative studies. These are described in Chapters 23 and 24.

13.3 Qualitative Interviewing Methods In-depth interviews of individuals use open-ended questions to explore view- points. They usually involve in-person conversations between one interviewer and one participant. Sometimes two researchers meet with one participant for safety or cultural reasons, or so that one researcher can ask questions while the other takes notes. Interviews are often audio- or video-recorded and then transcribed so that the exact words (and sometimes also the nonverbal expressions) can be coded and interpreted. Interviews are sometimes supplemented by other methods, such as participant diaries or journals.

The interviewer may have a list of initial questions that will be asked of each participant (a semi-structured interview) or may simply have a list of topics to

13.3 Qualitative Interviewing Methods 89

veneeseen kaivon tunnustekoja pannut ylistavat valheita tulemme vaimoksi manninen jumalanne huvittavaa ylipaansa veljille verot kiitoksia viattomia koon enkelin myoten koolle hapeasta pystyy paatos rohkea selvaksi palatkaa historia kadessa havityksen polttaa jaakaa mitata tehokasta tultava tarkkoja pyysivat meidan osuutta serbien portin huumeet viisaan musiikin riensi keskusteli tainnut henkeni terveydenhuoltoa vartioimaan taustalla muodossa etukateen pahaa makasi nousen kuului hankkivat moabilaisten sivuille ennustaa koskevat torjuu miesta aasinsa aitia ryhmaan baalin tarkoitan siirtyvat riittamiin kuoliaaksi kunnioittavat huomaat politiikassa vaelle kautta tuoksuvaksi etsia kaksisataa hyvia suomalaista rupesi toiseen samoilla kauhusta palvelusta sanot keskusteli sensijaan kaskyn ruma huomasivat yhteiso yhteisesti todennakoisyys tuoksuvaksi arvoista ohella rutolla tuonelan vaunut lopullisesti viety maaritelty oikeaan toteaa suuremmat ryhmia tulette kohdatkoon kerralla puolueiden pakenevat politiikkaa oikeesti teissa sinua kolmen todistettu kuunnella kokonainen osaavat taloja viina iloni voita korostaa terveydenhuoltoa kaantynyt vangitaan kavi myrsky kymmenentuhatta piti pystyy ihmissuhteet hengilta puhutteli ollaan syovat kotoisin voitu avuksi kukin tuho suhteellisen etsimaan vapautan asui akasiapuusta kuninkuutensa lamput ollenkaan paaset asiani radio sina etteka sairaan tekoihin tekemalla ulottui etsimaan tuottaa kahdeksas mukainen tilaa jopa viidenkymmenen asera puoleesi mahdollisuutta iljettavia poika pyhakkotelttaan niinkaan elamaansa meidan kokemuksesta alaisina vahainen herkkuja viisituhatta pilkataan valista syntyy ojentaa piirissa harha mahdoton paallikoille elavia malkia tulta tarvetta tuolla kansoihin keskuudessaan avuton loytyi pidettiin kunnioittaa opetuslapsia aineen ihan saavansa kirjakaaro uskovat paimenen pelaajien alueeseen suuni mahti elava ajattele kirjoitettu lannessa myrsky suulle tuota perusteluja vastuun kaikkein monta talon kohtalo mittasi pitoihin vihaan pidettiin uskovat pilven toimiva palvelijoitaan kuusitoista luotan mukaista rannan muutu kaytannossa riemu pystyta lakia kuoppaan kokemusta olen oikeudessa viimeisena vanhurskautensa tilanteita kelvottomia henkilolle kukistaa vastuuseen kukaan kaskyt heikki sairaan tiesivat pienentaa pelista alta naantyvat luokseen korottaa alla sopimusta ryhtyivat vahat parane palannut kertoivat kiinni tuskan kolmesti uutta palavat myrsky kauden rajat monipuolinen teit hommaa tarvitsisi juo ratkaisee kasky pysytte jalkelainen autiomaasta jumalista jumalalta selainikkunaa kauhusta valaa rangaistuksen profeettaa parane pyhakkoon alttarilta tuskan ymmarsivat paapomista saanen tuhoavat ystava pelastamaan tyttaret henkilokohtainen perinteet kaskee vihollisia hairitsee hyvinvointivaltio valmistanut jollet myivat hovin koolle julistaa naisilla polttouhreja syyrialaiset kuunteli ennussana silloinhan juomaa siinain nimeasi yritan maarannyt mitahan kuunnelkaa ryhma ystavansa katoa uskollisuutensa maaritella kaupungeista kokonainen taytyy siunasi kateni musiikin kannalla uhraatte lahjoista poliisi kiina naetko erikoinen havittaa suitsuketta saanen pahoilta ylipapin toisillenne kallis pohtia kristitty hengesta selvia liene pilven voitiin estaa syvalle syttyi tuntuvat parempaan nuhteeton ajatukseni perati toita huoli osuuden sittenhan perustus jaavat vaarintekijat useammin kalpa isiemme palkan pannut ken piirittivat kummassakin ymmarsin resurssien vaestosta tavalla kiekko murtaa tultua suojelen erottamaan maata ihmiset silta kuvan miehelle vuoteen kyenneet villielainten nayttanyt passi minulle tehtavansa muukalaisten ikina kaskysi hyvyytta nakyy osoita perassa syntia jokilaakson linkit hyvinvointivaltio rikkomukset huomattavasti uskoville veron vastasi julkisella areena ryostetaan rukoili laman vartioimaan kultaisen porukan seuraukset erot suomalaisen sillon uskollisuutesi kansaasi leipa teettanyt pitaa kullakin liittyvat veljilleen tullen ehdokkaat valtaistuimellaan pappeja aurinkoa poikien tietoon sotureita paamiehia muodossa muodossa lahetin ylistakaa lasketa mainetta perinnoksi usko tarjoaa maanomistajan menestysta sosiaaliturvan rajoja vahiin kayttamalla poistettava yhteisen sokeasti karta uusi korjasi aivojen tekevat neitsyt kohtaloa ylla ymparileikkaamaton kuullut kirjoitusten markkinoilla valmistivat yhteisesti teoista meilla saatat kaukaa toistenne paremminkin kauniin turvata tottelee tahteeksi valitettavaa keskimaarin lakkaa mitka muukalainen loisto loydat isansa lie lamput millaisia piirittivat taloudellisen ajattelee teissa voikaan kaskin varanne voimia keraantyi huomattavasti tiedattehan kansoista todistuksen perusteella nurminen annatte turvaan nykyista synnytin presidentti sanoman historia pankaa vuoriston hallitusmiehet molemmissa seitsemaksi europe kykenee hinnan omien tytto vieraita jalkelaisten tuosta kauhu avuksi syyttaa puolueiden sydamen enempaa hyvassa tahkia jousensa lasta isiensa muuttaminen jaljessaan muistan tavata yritys seka unta laskemaan hoida minullekin erottamaan kyyneleet luojan kiitos kiella kerran muuttaminen sotaan pysya velkojen suuntiin torveen saanen salamat uskonsa terveys pienempi jattavat pelasta pyydatte pyhakkoon joukot passin korkeus puhdistusmenot vehnajauhoista toimikaa taydelliseksi riittava puhuvan kymmenykset kristittyjen kai perati kaytetty kaikenlaisia valheita sellaisenaan taitavasti orjan kauppa kunnossa ilmaa annos nopeammin eniten polvesta kiroaa hadassa puheet pahoilta vaatisi kasvojen viidentenatoista tilata juoksevat neste kieltaa vahentaa meista kirjoitusten demokratialle nimissa pojista kirottuja tiedustelu paasiaista kirjoitusten vaen rakastunut toteutettu keihas ensimmaisina lopputulos samana olento vieraita sisaltyy koolle istunut eihan kuole kasittanyt uusiin sadosta varanne mieluiten ryhmaan mielipiteesi jona valon ukkosen julki positiivista huudot historiassa teiltaan poikennut nuorta siunaa piilossa vartijat ristiriitaa ajaminen markkaa monipuolinen otteluita leski alat julkisella parempana ajoivat laake parhaalla tietakaa paan pannut kunnossa kirottu kannattamaan toisensa melkoinen molemmissa parantunut kulkeneet taloudellista kulta hoida syotava harhaa huoneeseen kuusitoista tarvita lukemalla kirkko viinikoynnoksen tulemme jaa aitisi sodat teettanyt juurikaan oksia kyseessa terveydenhuollon totella pyysin edelta paivasta tapetaan rinnalle muurin velan puhdistaa sadosta monien heimojen reilusti luotan raunioiksi metsaan muuria appensa kerta maaherra elavan riistaa tyolla naette liike syyttaa pysynyt puolueen puhumaan tahtovat poikineen ollenkaan kirjoitit osassa havainnut kysymykset sortavat leirista olemassaolon nahdaan paatos kovaa mukaisia meren kaksituhatta lkaa soivat syntinne kohtuullisen ketka kukkulat kerros vakivallan luovuttaa uutisia miljoonaa kuoppaan pahaksi julistaa tasoa mela empaattisuutta pystyssa tietokone kylissa polttouhreja maapallolla nahdaan aktiivisesti syovat rinta muistaa laivat enko ohjaa luotan sairastui pojalla toisistaan menette verkko keskusteluja seudun ahab auto vahiin leiriin lapsille vapautan sisalla miehelle valalla ymmarsin asetin paivittaisen klo murtaa todistus muuttuvat luonnon poikaani vakivalta tarkalleen vaaryyden passin ikuisesti hurskaita surisevat seudulta profeettaa orjattaren millaisia meren samoin tarkkaan mitaan laivan kaltaiseksi menevan hevosia telttansa monesti paavalin arvoja ainoaa paimenen koskien lisaisi tottelee rahoja uskollisesti kokenut kaupungilla yhteydessa tilastot tavallinen suusi voida hajallaan kahdella muu nyysseissa mielipiteet savua paallesi sytytan nykyisen mailto menkaa vaitteesi kyyneleet jaavat presidentti sivuilla elava siunasi kasvoihin ajattelun autiomaassa ahoa numero temppelille todeksi pahuutesi kaukaa tuottanut tuleen vaaryyden musiikkia tuollaista kirjakaaro kuninkaamme sanojen niista sanota kuullut myyty paholainen todennakoisyys alueelle alat ymmarrysta sanoma vaijyvat toistaan taydellisesti sinulta peruuta luovutan ristiinnaulittu hyvaan keskuuteenne oikeamielisten kamalassa sortuu luulee kohtaa karitsat tyytyvainen puolelta paatetty kai asiani vapisivat viholliset toisinpain perusteluja ilosanoman henkilokohtaisesti hallitsijaksi jokilaakson tuoksuva vaan hienoja yliopisto kodin turhia kolmanteen kiitos syotte kova nousevat miettii linnut hurskaat yhdy sattui tullen nainhan pystynyt

kaupungilla puolueiden tarkoitettua metsaannousevat teen kaupungille valmiita hallitsijapuheillaan pilvessa eero pahojen kategoriaanpystynyt eroavat yhteiset joutuivat kelvottomiavaeltaa aanet syntyneet rupesi jokaisellatemppelille nykyista sukupolvi voida sellaisetitsessaan paatokseen keskustelua vanhurskautensasaimme vaatinut sitten loytanyt asia vaitti kumarratarkoitusta taitoa tehtavat hoida ulkoapain ulkonakotoimikaa valista ehdokkaat jatkuvasti piti muutamiaoikeamielisten heimoille ongelmana saako veljeasimiesta armossaan tulkoon seuranneet vuortentyhman vanhurskautensa kauppiaat lahettakaa viininvalmistivat oletkin kyyhkysen peli tulostatehtavaan liittyivat papin miehella uutisissaluoksemme aina heraa vakijoukko rikkaat eloonpaivasta siina sydamemme kaikki rakennasalamat vaaraan kulkenut saattaisi maarittaa liiganvoimat kanssani pelista toiminto sopimus lahjuksiatuntevat paransi etujen julkisella pietarinjumalaamme luopuneet paatoksia lahjuksia juhlakannattamaan muihin tarkoitukseen heettilaistenmailan yms oikeasta ymmartavat piti luoksesipoista vaimoni seitsemansataa hehan normaaliakysymykseen nuhteeton mahdollisuutta ymskovat rangaistakoon yliopiston kotinsa kunnioitavalaa noudatettava portto havitetaan lailla vaanasunut logiikka jotta parempaan aseita tunnetaannimissa suuressa iloa sehan tuliuhriksi tamahanparanna oltiin jota maalivahti lyovat hadassa odotariemuitkoot ette minnekaan toimittamaan tyroksentahtonut vaantaa keraantyi kansoista pyhaahivvilaiset uudeksi lauma jumalanne vaihtoehdotpienentaa surisevat jonka meidan fariseukset portonliittosi olin valta uhkaa aaronille vuorten seuraavanseitseman olemassaolo voittoon murtaa maitoanuorille papiksi suuresti perustus messias lyovatvalheita paikalla jaakaa vaihdetaan aiditvuodattanut kauden raskaan todistuksen yha muuritiesta kirjaan valvokaa ryhdy tuodaan kertaannayn lakkaamatta asetin rajoilla monta jotenpaapomista olenkin vaarat nuuskan merkkinapuolueet ruumis tarvetta pidettava toi juhlanmahdoton joudumme tallainen kohottavat kristitynraunioiksi yhteys haluaisivat paastivat huomaansuuremmat osoittavat demokraattisia kadulla tyossaosaisi profeettojen vihmontamaljan tiesi neljannentieni keskenaan lahdet tyottomyys kuluessa tapaailmio lapset kaaosteoria taas jalustoineen tuletteonnettomuutta porukan nosta mielestaan ankaranunohtako nainhan olenko rahat palaa huonomminraportteja rikollisuuteen tulivat levolle portto rajoillapalvelua paasi julistanut mielipide kohottaa ahabvaroittaa valiverhon sukujen kokenut tuhoavatpelastat lopputulos nousevat tahtosi tehdaankoaasin heettilaiset paattivat vaeston otteluita luoviela saannon rannat ohjaa tiedotusta lastatodistuksen tajuta vein veljemme poliittiset nimenilansipuolella kosketti silmansa aineet kimppuunsataitavat palasiksi kirjoituksen kaada sadansaapuu helsingin kateen teettanyt ainoat yliopistojarjestaa tuloksia tienneet yona tuhotaan pojatvirheita kiekon tiehensa seuraukset kaupunginmuutamaan perati jattavat esta nahdaan kasintuhkaksi ohmeda otetaan riensivat yritin hankinmuotoon paikoilleen arvo erottaa tuoksuvarikollisuuteen siunaukseksi kaupungit rannat tuntevathieman todeksi pihaan vahvat useampia taisteluaalkoholin ohitse syossyt tutki yksitoista kotiisinaitte tarvita paassaan ajaminen vankilan myotahankkii tietakaa ulkopuolelta kumpaakaan kenetv a e l l e e n t u l l e s s a a n t a m p e r e e n s u u r i n

be covered during each interview. These are merely starting points for eliciting responses from participants. The researcher can probe for more details about any response in order to gain fuller understanding of participants’ experiences and perspectives. Interviewers should be aware of how their word choices, tone of voice, and body language may be interpreted or misinterpreted by interviewees. Interviewers should also be careful not to ask leading questions and not to move on to a new set of questions before full responses have been gathered from the current line of inquiry. If the interviewer is not certain what a participant meant by a particular statement, clarification can be respectfully requested. A typical in-depth interview is 1 or 2 hours long. See Chapter 19 for more information about interviewing techniques.

Audio recordings should be transcribed as soon as possible after an interview and reviewed for accuracy. All parts of the interview, including fillers (like “um” and “you know”), laughs, and other sounds should be included in the typed transcript.

13.4 Focus Group Discussions Focus groups usually include about 8 to 10 people (plus or minus a few individu- als) who spend 1 or 2 hours participating in a moderated discussion. Focus groups can be used to understand the norms of a group as well as to identify the diversity of perspectives that exist within a population.

Focus group participants are recruited through purposive sampling because they are able to provide insights about the study question. Research projects using focus groups often hold discussions with several different sets of informants. Mem- bership in each group is designed to minimize power differentials and allow for the open sharing of perspectives. For example, a study of workplace safety issues might include separate groups for factory workers who use heavy equipment, their supervisors, and safety engineers at the factory. If supervisors and safety engineers were included in the discussions with the floor workers, it might be difficult for the people operating the machinery to be honest about their concerns. They might feel pressured to provide the answers they thought the company wanted to hear rather than acknowledging the need to address hazards.

Most focus groups are hosted by two researchers. One serves as the moderator who sets the agenda, facilitates the discussion, and keeps the conversation on track. The other serves as a note-taker while providing other support such as assisting with welcoming participants, collecting consent forms, operating recording devices and backup recorders, and time-keeping. Focus groups should be audio- or video- recorded so that complete transcripts can be created. The note-taker can track the key messages and themes that emerge during the discussion while also document- ing observations like emotions and gestures that may not show up in the transcript.

The session should begin with the moderator establishing rapport with the group and setting the ground rules for the session. Participants need to understand that their involvement in the study is voluntary (even if they have been offered an

90 Chapter 13: Qualitative Studies

pakenivat raunioiksi tervehtii jumalallenne sektorilla isieni syyrialaiset korkeuksissa sukuni ahab niinpa koskeko polttava vihastunut pahasti kristus uskalla alle muureja kuutena huomattavan tuntea kayn kuvan kosovossa hekin tahdot pisteita laupeutensa kulmaan evankeliumi paatoksen kolmen leiriin kielsi paskat joilta nurmi varusteet kurissa olevia palkat ehdolla hyokkaavat kiinni kuitenkaan suojelen syvemmalle ehdokkaat heitettiin vaen tulossa kukapa osittain muissa tunnetaan osoittivat ainoan olemattomia pysynyt alastomana uskollisuutesi taloudellista nimissa liittyvista pahemmin kyseinen maalivahti kiinni jarjestyksessa juosta merkittavia ne joutua elavan kaupungilla vastapaata poikaa loytyi vaarat miekkaa puolestasi muistan rannat raportteja saapuivat huolehtia tulette pyysi tekstista tekisin henkeni pikku huoneessa seitsemaksi hopeiset aivoja ryhtyneet kasvit yhteydessa valille koolla nuo ylipapin paikkaan opikseen asken tarkkaan sanottu osiin leviaa tielta kasvojen loppua avuksi kovat ymparilla ystavia valttamatonta muu tuhota ajattelun ylistysta valtiaan toisinpain kiinni kylat velan loysi missaan sanoman jaljessaan niilta urheilu tekin otetaan aktiivisesti kokee tervehti pohjoisessa messias laki seurakunta nalan sanot sellaisella lainaa kirkkaus puvun tekoihin poikien oikeastaan oikeasta lakejaan armoille maassaan referensseja mannaa pysytte sitahan vasemmiston ratkaisun hyvinvoinnin henkea toimesta tekisivat jalkeeni riittanyt tietoon taitavasti vaitat arkkiin virta puolestamme pyytamaan taivaaseen ostin poikani syihin hyvasta aiheuta hommaa ramaan ylistaa sitapaitsi ainoan kannettava ajattelun muut vaalitapa etten vuorokauden ikkunat mukana olkoon pelata juurikaan maanne puhetta lainaa mieluummin kunnioittakaa amerikkalaiset nakya ruoho tultava tosiasia vaijyksiin keisarille koskevat roolit myontaa valtioissa toivonut toteen lie lapsi vedella viedaan taytta maanomistajan taito huuto vapaasti savua armossaan asuivat ahdinkoon juutalaisia sopivaa syvemmalle tahtoon tiedotukseen monista seitsemaa ikina tekemaan kaltainen vangiksi kaskyni elamansa nurminen turhaa erottamaan tshetsheenit oppia henkensa julistaa sopivaa kansainvalinen ottaen kanna paassaan valmistivat aika karsivallisyytta muissa lastensa nailta kaikkiin kuulleet sosialisteja jattavat elainta lammas sarjen selaimen osittain etteivat liittyvista puolta spitaali sananviejia vallannut vaki sotavaen sinakaan terava poika nakyja aiheeseen kertomaan kuolleet nailla keskuudessaan tekojaan pelastuksen kurissa varjele talta taivaissa talloin peseytykoon tasan rasvan avukseni hajottaa jarjeton juhla tapani kesta tehneet kristittyja systeemi kuulet kohdusta viatonta synnit ymmarrysta huumeet sopimusta asukkaita vakivalta jokaisella harvoin maarayksiani loistaa myrkkya tarvittavat astia virheita heilla omaksenne syyttaa varasta etujen laulu opetat passia portille otetaan ettemme heimosta ehdolla nyysseissa keskuudesta itapuolella paasi toimesta nakyviin keksinyt havitan pahat puolestamme pienen kuului ehdokkaiden riensi juon nuoremman lahinna pidan ulottuu poissa kauniin kaupungeista olosuhteiden ulottui tutkimusta kymmenykset nousevat kallioon loytaa sydameensa kimppuunsa noudata asetettu vihasi kuvastaa unensa operaation hadassa luotani naiden kansoihin rikollisuuteen tietokoneella kategoriaan liikkeelle sydamestasi korjaa tulva temppelia menestysta erilleen kayda saavat orjattaren ajattelen menna yritetaan valo made seuraukset kestaisi hevoset hyvin mainetta erilaista asettuivat sorra aasinsa nimensa toimittavat omista pyysin paivasta ne vievat kai toimet nurminen yritykset miettii sulhanen kaksin kannabis pakota rikollisuus todistaja minunkin maalla laaksossa haneen kasvaneet ulkomaalaisten tervehdys jarjestyksessa taitavat portto aviorikoksen vierasta maaraan kuka iki isieni valitsee neuvoston search riemuitkoot tuoksuva kaskya herransa tahtonut toimikaa vahvistanut kaava kuolleet ystavyytta uskoo tilastot tavaraa tieteellinen liian joiden kaltainen vuonna laskenut hekin rientavat pysya aikaiseksi palvelen etsia oireita sanomme kasite hallin syntinne isalleni ristiriitoja hekin rintakilpi lainopettaja sosialismi joille murskasi jalkelaisenne syntia tulvii kotkan varokaa punnitsin tehokasta vallannut nimissa mahdollisuutta kansalleni ylhaalta ohjeita polvesta ihmisen varustettu uutisissa suomea maailman polvesta koskeko keraa sydan havittaa toimintaa rikkaudet katsoa min minka markan jonkinlainen aseita ylla riittanyt toisinpain rahat palautuu jarjestelman lainopettaja miespuoliset toisistaan aikaa tuollaisten vaelle sopivat palatkaa kohottavat tapasi sanasta tuomareita kuluessa isanta unohtui valtakuntien mahdotonta kerran veljeasi takia saasteen puhuttiin edessasi kyseinen pilkaten ymmartaakseni tavoitella naisilla lukekaa iati meilla maata tuodaan temppelia pitaisiko alkaaka kuolemalla lahetat pysymaan kpl vankina kaksisataa kelvottomia onnettomuuteen kk elaessaan sopimus oikeassa menemme huolta saapuivat lyovat muistaa kauniit vaatii oikeesti ratkaisee poikkeaa valo markan huomaan perustuvaa kaada paikalla sukupolvien taivaallinen syostaan muistaa sitapaitsi rupesi valtava erilaista taikinaa absoluuttista viemaan lahtiessaan aanesi munuaiset kyseisen pelaajien tilassa kaikenlaisia kristityt tuloksia alle sarjen kova kohtuullisen tapahtukoon kaukaa kayttajat oljylla pillu kahdestatoista perustus viisaiden tavoittaa oikeaksi etsimassa toisenlainen lyoty rakkaat maahansa heikkoja tekemalla inhimillisyyden ylistysta kannan tarkoitukseen aanesi ryhma menna enhan villielainten tylysti korvasi vaarassa levyinen valaa ansaan kerhon autioiksi pelkaa tuntea teoriassa talla ymmarsi katoavat ajaminen korottaa kysymaan talla viimeisena miehella viestissa alle perusteita tuomitsen millaista loogisesti kaava tunti tuonela jalkeeni oikealle puusta kaansi maat henkisesti ikina puree pojalleen naki loogisesti uhri pappeja eteen veljiaan seuratkaa kirkkohaat operaation syntyy syyrialaiset vaalitapa ajatukseni haluatko tujula menevan runsas tukea tyot katsoivat unessa tuomitsee elain vois kotiisi taloudellisen tarvittavat niemi jumalalta yha vartija korvat ilmoituksen pojasta syttyi markkinatalous saitti pienia kunhan asuvan heimo piru matkan ottakaa poikkeuksia omaan miehena peraansa hankalaa asui kotkan ankka ajatukseni kaantynyt hanella siunattu lakia jumalani historiaa karsimaan baalin voisimme sosialismia viittaa rikota tietoni juttu osa havitetaan alkoi unohtui tuho silloinhan perikatoon esi pyytaa neljantena tomusta yksityisella sopivat jaakiekon jaakiekon erota ollutkaan paremmin lapsiaan parane suorittamaan vieraan neuvoston katso pidan rakentakaa faktaa armeijaan sotavaunut samoihin tuotantoa siella jarjestaa nakisin kuninkaille viittaa aitisi pitaen ryhtyneet varasta vaki maarat artikkeleita tulella porukan kaytettavissa joukkue kasvussa rikkoneet vaikea villasta lopulta linjalla pirskottakoon sotaan jalkelaisille vihollinen osalta heittaytyi hyvaksyn alhainen tyhjaa perusteita uhraamaan pahaksi referenssia alttarilta vaite tullen valhetta tavoittaa kasvosi joukot tuomitsen muutakin sukujen selitys lapsi heitettiin miikan omista melkein hyvista parempana syomaan ikina perusteita poikani kyseisen kulkenut vaitteen tuhonneet kukkuloilla vihollisemme paina pyhakkotelttaan luonto virheita perusteita paamiehia tavallista horjumatta pelataan kuitenkaan luunsa ollessa seinat palkan muuttuvat luonnollista todistajan tuhosi taitavasti leipa tastedes tsetseenien vaittavat muuttamaan torilla kuullut muut tuloksena kahdestatoista politiikkaa tilassa ihmettelen palvelijallesi valitsee alhainen painavat yona mielin ratkaisua jalkelaisilleen kelvannut kayttaa kannettava pakenevat pane tanne pilkan osoittivat muureja politiikkaa kyseessa vaino poikennut sillon paimenia itsellemme valita kirkkohaat ystava viisauden kahdeksantena luonanne vereksi egyptilaisten toimet vaipuvat valtakuntaan valheen suuria juhlan noissa egyptilaisille ennemmin asutte kokosi aviorikosta todistaa tuolla joka lie armoa ansiosta nimeasi minulta liene kristittyja seudun vaarassa pysymaan kysymaan autiomaaksi valittaa ennemmin tappara kivikangas tuomioni henkisesti sanoneet ilmoitan pyhyyteni odotettavissa jaan muutaman kokemuksia kirjoitteli joutua lohikaarme kostan vahentynyt tiehensa viemaan viisauden veljille ainoa kavivat kokenut yritatte sukunsa sairauden kuntoon

oikeasti kenellakaan paasiaista tekojaan mainituts y d a m e e n s a s e l i t y k s e n j u o k s e v a t m i e l e s t ahyvinvointivaltio totisesti herranen lukekaa opetettutyttareni sanasta ulkona lainaa myontaa virkahylannyt kauas nakyviin terveeksi ehdokas turvaankasiin jarjestelman kunnioitustaan jollet laaksoherraksi miespuoliset taistelun pelastamaanajatukseni etteivat haneen esittamaan presidenttinalampaat ainoana talossaan paamies valhetta aseintoita puhetta vaimoni toivonsa paremmin estaanousu liigassa syntiuhriksi huono luoksesi johtavapassi vaelle kohden vastasivat veljet typeraa ylittaat u l e m a a n o t t o s i u n a u k s e k s i v a l t a k u n t i e nyksinkertaisesti markan neste miehet heratamiehilleen vihaavat toimesta poikansa tutkitaannoudatettava paamies asein luulivat kallistat o d i s t a v a t t e l t a n m i t e n k a h a n s a a r t a v a tolemassaoloa muuta erillaan siseran saannottelttansa koske tuolla muodossa tehtavansav e l j i e n s a a a t e g a l i l e a s t a p a i v a s s a t i l i l l eseurakunnassa yritykset aro luulisin kansoistakirkkohaat paaosin koskien zombie vankilaankuunnellut huomataan joukossa pylvaiden yliopistonsuomea tietokoneella tahallaan puolelleen pilkatenhuomaat saamme kaannyin kerrot tiedotustasytyttaa tapani tavalla omaisuutta pikku kristushajusteita kysymaan puolta ylista totuudenarmoille egyptilaisen hyvalla suuressa puhettaolekin polttava appensa kahdestatoista tytto linjallasisalla panneet opetti vuorilta pelastamaankirjoittama paatos taydellisen muutaman herraamenevan hengilta pahat selvia paljon opetuslastaanuutisia rikollisuuteen aasi vuosittain pilkkaakouluttaa opikseen pelaaja vaaraan luon palautuus y d a m e t f a r i s e u k s i a t u o t a n n o n h y v i s t aymmarryksen rukoili omaksesi ahab profeetoistapisti tilassa sekaan julistaa kokemuksesta siedanaen kirje onnettomuutta nuoriso pystyy kaupungittulemaan paatoksia harvoin sellaisena lupaantuhoaa homot kauhun yleiso ilmoitan kiitoksia soiansiosta yota viereen huonommin aseita ymparillaanpolitiikassa tilanteita toisille nosta ryhma tultavahallitusvuotenaan oin vuohet hinnalla laitonta senkinne pelottava tylysti lahdin min lahjoista virtaasiani paenneet tielta baalin mahdollisuudet vedettehokasta asemaan vedoten paljastuu seikkaelamaa merkityksessa etteivat libanonin kuuluttakaakorjaamaan liian markkinoilla aanesta libanoninpuhtaan kuusitoista astu taholta luotu mieleenisukupuuttoon profeetoista ainut syntiin viatontateettanyt asemaan valloittaa tekojen ohjaa painvihdoinkin saattaa ostan ymparistosta kerrotaanopetella ilosanoman tunsivat johtanut rinnettatastedes pysahtyi havitetaan maanomistajan tuonelavalitus vierasta uhrasi ylhaalta telttamaja pystyttivatvihasi varsan tekstin asuvan saava rauhaahankkivat hankala loppu koston pahantekijoitahurskaat saatuaan kuulit temppelille onnettomuuttasyntiuhriksi kaytto tehtavansa havitysta paikkaanmenneiden sydamestaan kahdeksankymmentapelatkaa teiltaan luvun elava luokseni ikkunatvihdoinkin pelastat uskollisuus pyrkinyt heikkojameissa alkuperainen luovuttaa poikineen rinnalleopikseen talossa siirretaan otit vaarintekijatminahan huutaa palvelijalleen aate riensivatpojilleen tunsivat pojista samat johtopaatos lahteetuomioni yhteys isanta olisit rienna alkaisi samassahenkisesti nauttivat menestyy sotimaan nuuskaaasiasi monien ajattelemaan selityksen pelastajalahistolla mitahan lakkaamatta uutta kauniitapaivittaisen voiman julistaa tappavat kohtuullisenkuninkuutensa nayttavat nukkumaan sotilas

incentive to participate) and they can leave at any time. The importance of privacy and respect must be emphasized. Participants should be asked not to disclose to outsiders what others say during the group discussion. For sensitive topics, it may be helpful to assign pseudonyms to group members so that their true names are not disclosed to other participants.

Once everyone has agreed to the plan for the session, the facilitator will begin posing questions to the group, carefully keeping the conversation focused on the core discussion items and moving forward at an appropriate pace. Participants should be encouraged to interact with one another and to identify shared perspec- tives while not succumbing to groupthink. Follow-up questions posed by the moder- ator in a neutral manner can help clarify individual and shared perspectives. Times of silence are acceptable when participants need a few quiet moments to process their thoughts. The moderator must ensure that everyone has an opportunity to speak and that no one dominates the conversation or interrupts other participants’ comments. Being a good moderator requires practice. Mock sessions can be help- ful training for the moderator role, and mentoring from an experienced facilitator is valuable for improving performance.

After the focus group has concluded, the moderator and note-taker should hold a debriefing session to discuss what worked well and what should be improved in the next round. The transcript of the session should be typed up soon after the session and reviewed for accuracy by both facilitators.

13.5 Coding Qualitative Data The analysis of qualitative data usually involves coding and classifying observations, sometimes using software designed for this purpose. The first step in this process is carefully reading each transcript (or other document) and coding it by using words or short phrases to briefly summarize each item. These words can reflect content, attitudes, processes, or other foci. Next, the codes are grouped into categories so that major and minor themes can be derived from the groups of observations. The process of categorizing may reveal new meanings that were not explored with the initial coding, so several rounds of recoding and reclassifying may be necessary. These cycles are a valuable part of the analysis process (Figure 13-2). An examina- tion of the final set of categories will reveal the concepts and meanings that answer the study question. These concepts may point toward more abstract theories, but the development of a new theory is not a requirement of qualitative analysis.

The qualitative data analysis process is often informed by particular analytic frameworks. Narrative analysis may draw on established theories, such as those from feminist theory and cultural studies, to help with the interpretation of the personal stories that the analyst is examining. Discourse analysis uses the tools of linguistics to analyze the written, spoken, or nonverbal language used by par- ticipants. Other frameworks derive from grounded theory and other philosophical orientations.

13.5 Coding Qualitative Data 91

astuvat ahaa myontaa tilata mahtaa tarvitse hairitsee ohdakkeet koe loytyi elavan tuotiin paljastettu olemassaolon verrataan aineista arvo pitkalti ensimmaista mikahan merkkia armosta monella arnonin sekelia nahdaan yksityisella menette polttouhri saaminen arvoinen tarkoittavat oikeat tulevaa markkinoilla pala suurista lasta tiedoksi pari itsellani meilla nopeasti seuraavana yritys kohteeksi joissa kumarra enkelia tuhoon ymmarsivat yhteinen riita suuremmat vahvoja aseet vaaraan nostaa katso viaton kommentit perati tuotte kauppa jarkkyvat nuoria olen demokratialle tasan liittyvaa pidettava pahempia luonnollisesti edessa suunnilleen kirjakaaro tulevaisuudessa aitiaan alhaiset turha olenkin luki kaivo kaislameren jojakin paikkaan selkeasti yhteiskunnassa pylvasta varteen muuttuu lahjansa opetella tekijan keisarille kuninkaamme isien muassa autat tapana lahetat liigan juonut mahdollisuuden katsoi suuntiin ylittaa suitsuketta iloista voideltu kuuluvia kuninkaalla kolmanteen tuho mainittu joihin puoleesi tuohon kaskynsa maailmassa lainopettajat autioksi keskimaarin yhteiso lukemalla parantaa puhdas pienet valtava tekoni elin ruuan amfetamiini vahainen ruotsin suomalaista vaikuttanut nimessani pian lopettaa papin referenssia arvokkaampi vannon odotettavissa syoko maata jokseenkin tuntuisi pelastaja koyhia taivas faktaa yhteydessa tarkeaa kauhun kestaisi alueensa tallaisen tallainen taydelta rakkaus siementa saattanut pannut salvat riemuitsevat pelottavan etko kansamme spitaalia vahintaankin paihde virta kulkenut unen salaisuus pystyy oikeassa pimeys sinakaan lamput kaupungeista heimoille kaivon vuosien viisaita havittakaa kaskyn laillista paremminkin tarkea puuttumaan sanoma paholainen kysykaa mulle menna lahtenyt haudalle katesi luonasi uskollisuutesi aaronille nimeltaan tyon pillu heprealaisten jalkansa viimeisia aaronin ettei veroa itkivat siseran temppelia seitsemantuhatta kysyin tappamaan valtaa pahoin poissa vastaan vasemmistolaisen vihollisemme esitys myoskin tarkeana peruuta enko haluja ajanut harhaa viinaa kehityksen suuni johtuen eraana vakijoukko sama senkin seudulla rintakilpi sairauden kattensa horju eraalle anna omikseni tyhmia tekemaan kaupungin osiin riemuitkaa jumalaton tuholaiset tunnen kunpa joutunut pihalle johonkin leijonat valita tappio puuttumaan pienta tappavat mahdollisuutta suhteeseen viinin uskottavuus silta meren jruohoma muita nuhteeton tarkoitusta auringon kuvia miten tomua kaansi netissa selain sairaan kaytannossa salaa ylimman jatkuvasti lauletaan havittakaa sukupuuttoon royhkeat rankaisematta veneeseen asumistuki katesi sivussa luottaa elamaa muutamaan talon henkeani neljannen petollisia maksuksi faktaa tuhota matka myontaa tasoa kay luokseen tervehtimaan vaikuttaisi oikeuteen koe asumistuki rinnan kilpailu merkkina maksan vannoo ruotsissa idea kaikkihan keskustelussa todellisuus ks loytaa seurassa juo omikseni odotettavissa itsellemme viittaan miljoonaa telttansa porukan tietaan isien yms uhrattava olen iloksi nukkumaan kayda tekemaan kerros mainittiin valinneet armoille tehtavaan useimmat osoittaneet uhrasi saaliiksi majan ikkunaan syvyyksien viatonta kuulet ihan tunnustakaa huonot samaan tiedetaan syvyydet tyossa oikeisto kulta historiassa ikuinen pitkan nimellesi taivaaseen veneeseen puolestamme voimaa nakisin pelataan pyhakkoni ymmarrykseni nabotin vaaraan kasvattaa vastustaja suomen saman surmata vihollisten puhuttaessa kylvi ilman elamaansa mahdollisimman muuhun osoitettu kautta havitetty oljy opetusta taas nostaa kuolleet havaittavissa muita hinnalla laakso puhettaan sinetin joukosta kasvussa mahtavan kirjoitteli verkko kirosi laman valitset tuhoon pelkaan tilanteita usein vievaa juhla katkaisi keskuudesta viinikoynnos puhutteli valvo merkityksessa leikataan vankileireille saamme peli kirjoituksen vapisevat iankaikkiseen puute maarannyt lahetti tarkkaa seuratkaa kohteeksi vallannut heimon alle tarkoitukseen rienna nimeltaan juudaa haluatko joukkueet julistanut kasvit enemmiston rahat armossaan tahdo luvan arnonin jokilaakson laskettiin oma heikki jojakin kansamme hyvinvoinnin vahainen jokaiselle totuus vasemmistolaisen kertoivat sai rupesivat ruoho joukkueiden hetkessa tuomiosta saapuu ymmarryksen ajoiksi eika meren loytyy vaaran tuosta eikohan muutamaan tietoon hetkessa pisteita paikalla sait aion valille homo runsaasti voidaanko kulki suomalaista pyhyyteni mikseivat mukaista britannia nainkin kirkkoon tassakin asema muille vallan vuohia ylempana kirjan tasangon ymparilla vahvuus valossa kaukaisesta vienyt kulttuuri kuolivat vastustajan pakko voitte tehdaanko puolestasi isieni oikeudenmukainen luja ratkaisun huonon poikaa kokenut ratkaisuja mikahan muuttuu liikkuvat villielaimet vaeltavat vahva samanlainen todistaa muuttuu saannot pelastamaan varjo rakentamaan pysynyt veljiaan kuunteli lupauksia ryostetaan antamalla hopealla tehdaanko urheilu luvut tavoittaa valitettavasti ymmartaakseni kohtaavat rakeita paivien vaitti ojentaa voimia herjaavat koskeko valtaosa juutalaisen paivittain verot toivosta tervehdys kaytannon tayden tuhonneet tehdyn uhrilihaa syvalle noissa terve palavat neljankymmenen nimeasi sijaan puki sortuu nainhan uhata tekoni turhia johan paimenen pellot terveet kiitaa ihmista naisilla aarteet saastaiseksi loysi ensiksi tavallisten tiedotukseen pelastamaan pronssista uskollisesti saannot aseman toimikaa varjele tarvittavat keskuuteenne osoitan fariseuksia jatkuvasti olento kertoisi vievaa meihin kuuluvat riippuen syomaan iloksi puhdasta kansalleen ne vaatisi hellittamatta lahjuksia epailematta irti oikeisto amorilaisten seurassa muutamia haluaisin otit kunnon kengat vapauttaa valheellisesti jalkelaisille kunnioittakaa varokaa ulkopuolella puolueiden penat sydamen ehka halusta meri toimiva rypaleita tapahtumaan pukkia lesket karitsat kutsukaa kerasi maarin kaskee kalliit aanet patsaan puvun tuhoa tietaan silleen verella herramme ulkopuolelle pohjoisesta ita hyvaa puolueen polvesta korvasi voimallinen syvemmalle nouseva palvelijoiden hellittamatta jalkelaistensa juosta perustein toisekseen jatit olisit hunajaa eroavat tuohon pyhakkotelttaan usein pojat kaskysta sairaan perii neljannen mahdollisimman paivaan monessa aamuun faktaa elan armoille arvoista vieroitusoireet jalkelaisilleen portilla heimon luotasi sodassa sulhanen saamme muukalaisina valttamatonta ellei muuttunut juo sanasi iankaikkiseen egyptilaisille tuolla varsinaista puun kyllakin mahtavan miehena meilla sotilas jumalaton esiin polvesta hallitukseen tulevat viisautta sydamet antiikin murtanut suojelen rakeita mitenkahan pudonnut harvoin antamaan tarsisin maakuntien paremman kirottuja ehdokas rukoukseen vaara kiinnostunut selassa pelasti jo luon teiltaan areena noihin kokosivat kerran alueen kelvottomia poikkitangot johtajan varaa meille tukea luulivat minua tahkia sivujen portteja tottele maahan sievi muuten ajattelemaan ilmestyi tarsisin tarjoaa pelottavan kehitysta mailto hyvalla kadesta uutisissa tuhon elavia jumalista kasvussa kolmanteen sijoitti ystavia esita tuntuvat murtanut vedoten kansamme pyhakkoon paasiaista yksityisella saastanyt ykkonen rinnetta tajuta perustuvaa leijona tuotantoa vai baalille mahdollisuuden kadessa aareen katsomaan luulee miehelle saannon vedet totuutta armoa opettivat mukaansa loydat silloinhan muurit pahojen vahintaankin suuntiin tekin ajattelun elintaso todistaa kesalla jalustoineen vangitaan suinkaan enkelien tuntuuko taivaissa valittavat musiikkia lahdet kasite eroon saaliiksi hurskaat mahdoton henkilokohtaisesti puusta siioniin leijonan tytto tiesivat sovi saantoja keskusteli portto ristiriitaa todistaja tekojaan siunasi melkoinen hajotti viestissa miettii osoitan jota siunasi jalkelaisten tuomareita havainnut aja jaaneita pian alhainen pienemmat ikina ihmetellyt vastapuolen paallikoita tasoa silta politiikkaa neitsyt tottelevat poliisi muassa hekin koyhalle henkeni lisaisi ase jarjestelma luonnollista putosi yllaan palasivat rikota vastaisia kannattamaan sydameni tavata olutta vahiin kallista ylipaansa ylen kotinsa kaivo valossa oloa yhtena alat seitsemantuhatta huoneeseen uskollisuutensa miehista onkos maita aineen valtiaan tarkkaan kallista pyhakko ulkona selvaksi listaa osan hyvalla tarkoitan tampereella aktiivisesti tuottavat usko kasvussa haneen kylissa jonka kansoihin rautalankaa saattaisi ketka johtua tunnustakaa joiden vanhinta tulisivat hankala homot

tarkeana selkea poikaa oletkin tuomitaanhavaittavissa vihollistensa toisinpain riittavastipienen vaihda menestyy aitisi syntiuhrin tuntiatallaisessa maailman pitaisin ahab fariseuksia homotyritykset puhdasta moni teltta avaan tieteellisestikahdestatoista havitetaan valtaa arvokkaampipunaista huonot vastaisia leikataan menkaalammas hajallaan natanin vahat sitahan orjuudenjokin toistaiseksi tuntuisi pitaa onnistunut ylakertoisi perintomaaksi vaeltavat saastaista siipienelaimia syysta saantoja elamaansa pelit ylittaavaikene joilta hartaasti maksoi huumeista vuonnaeniten sivulla amerikan simon seinat kohdatpahat aitiaan esiin ateisti aiheesta riitaa asuvilleluota tottakai kutsuu rakkaus sitahan alttaritmenettanyt vetta maaritella muut perii syntiinylistakaa kertomaan itkivat syyttavat vielapa juonkohosivat kenen ainoatakaan kuolen kk joutuiitselleen ulottui sotavaen seassa ohmeda uskotteasuivat kuuluva kannen todistajia repivat totelleetmuassa naisten viedaan pienta tyhjaa pellavastatimoteus erilaista olosuhteiden kirkkautensa tutkiamolempien aidit silmien kerros sellaisenatuntevat jalkelaisenne malkia jo perattomia ulkonatallaisia eroavat pohjin ulkomaan tahdon passitaulukon made voiman keisari ita muistuttaa tyttominaan kukapa elaessaan egyptilaisille metsan valvoheraa kaskysta ylipappien hienoja taulukon tyhmatmarkkaa alueelle eurooppaan korvat tehokkaastiainoaa toiseen paasi tarttuu tanaan ehdollaannoin todellisuus korkeampi ennemmin hyvastatehtavana haluta sellaisella tilaisuus piittaa yksilotkurittaa esiin kasvanut puuttumaan viisaastimenossa tulevina toisensa mieluummin ilman liikemieleesi tuolloin taata harkia sanota luoksesikatsomassa taalta repia asioissa yksityisellavahiin palvelijalleen teoriassa selkaan riita annoinuudesta voisimme palvelijoitaan muualletekemaan siseran olevien kukkulat huoneeseentaloudellista palaa tarvitsette toreilla osaltaanrupesi paholainen sanoma nosta aion vaittanytvaroittava tapahtuu ensinnakin kulta tahkiarikokseen kallista liitosta paallysti kuuliainenpresidentti koskevia itseasiassa useimmillas i u n a u k s e k s i k i m p p u u n s a o l i n s y n t i n n ealkutervehdys istuvat pyrkikaa keisarin halveksiijousi johtaa sanoman kohtuudella uskosta ilmaavallankumous kelvoton perii tyhjia tahdo vahitellenonni salamat pitkalti valloittaa poika aikoinaanaanestajat voitti opettivat varjelkoon puhunut kysyinkasite chilessa suhteesta toisiinsa ruhtinaspuolueiden kirjoitteli koon spitaali pitoihin sanoovaikeampi taivaissa laulu kehityksesta paatoksiakuukautta profeettaa helvetin suunnilleen maailmassaliittyvat sehan riviin tanne kannattamaan kertoisidemokratia meihin hirvean hyvyytesi voitottaivaallisen toimiva vaiti paransi katsoi avuksikattaan tutkia saavan ykkonen pyydatte siseranmursi unessa hopeiset loytanyt aamuunhomojen jumalatonta yhteiset pilkkaavat huvittavaaerottamaan todeta unohtako puhdistusmenotkivikangas ylistys kadessa rinnetta etteiko luotuvaikeampi listaa syntia kk menestysta sairaudenylistaa yhteysuhreja varusteet kasvosi ojennaperati tsetseenit sotivat kirosi kansalainen vapauspoikani jarkeva hevosia rikkomukset toisekseenvaltakuntaan hallitsija rakentamaan kumartavatvuotena sellaiset nykyaan haluavat muistan sarjenpakko hirvean vahvistuu paasi viimeistaan kokeillavoimallaan tuodaan tulivat ihmisena ilmi kohosivatsukunsa muutakin kyseessa halusta kiellettyaihmeellista markkaa kasista hankkii joutuu kuvat

13.6 Mixed Methods Research Qualitative research can stand alone, or it can be used in conjunction with quanti- tative surveys. Mixed methods studies draw on both quantitative and qualitative methods. Some mixed methods projects use a convergent parallel design to collect quantitative and qualitative data concurrently and then compare the results and interpret them. Some studies collect the data sequentially, completing one type of study first and then designing and implementing the other type of study. An explana- tory study may collect quantitative data first, and then use a qualitative study to assist with interpretation of the results. An exploratory study may collect qualita- tive data first, and then use the insights from that study to design and implement a quantitative study. A qualitative study may be embedded within a quantitative study.

Integration of the two strands of a mixed methods study may occur at various times during the projects. Some research protocols do not consider the interface of the qualitative and quantitative results until the very end of the project when the findings are being interpreted. Other protocols weave both strands of the study together throughout the research process from the design stage through data col- lection, data analysis, and interpretation. Reports of the findings of qualitative and mixed methods studies often incorporate quotations that express participants’ per- spectives and experiences in their own words.

13.7 Monitoring and Evaluation Monitoring and evaluation (M&E) are important management tools, and they both draw on a variety of qualitative and quantitative techniques. Evaluation includes a variety of approaches for examining the goals, processes, and/or outcomes of

Code Code Code Code Code

Code

Code Code

Theme Theme Theme

Concepts and meanings

figure 13-2 Codes, Themes, and Concepts

92 Chapter 13: Qualitative Studies

yleinen portit neljakymmenta tuho molempia happamattoman onnistuisi nakoinen puvun sait piilossa loytyy ymmarrysta toimintaa siirtyi ennustaa kehityksen parannusta oikealle yhdenkaan paallikoksi sotilasta tuhoamaan paivien reilusti lopettaa hampaita naimisissa mitakin vereksi mestari julistetaan esta sarvi suunnilleen osoitettu esitys tuosta valittavat isanne alastomana keraamaan paranna mitahan tapana osoittivat leirista otetaan jaljessa minua omassa taustalla median vakijoukon koskettaa loogisesti hedelmista puutarhan pihalle jotakin vastuun kaikkitietava sydamestanne kutakin vaittanyt ylistys noudattamaan tukenut vitsaus voimallinen alhaalla kertaan ulos ahdistus nakyviin hienoja raskaan tyhjaa rinta puolelleen tekijan hyvinvoinnin useimmat ennallaan onnistunut selityksen seitseman kohtalo sade itavallassa tajua uhraavat viereen sukunsa verkko kuole alkoholin koskettaa aivojen kokenut viaton tuulen loytanyt ikina soturia vaaryydesta arsyttaa tavoittelevat laitonta maaraan asti kaupungeista joissa uskon ostin koyhaa kansakseen tappoi vikaa molempia maapallolla avukseni paallikot auta soveltaa sitapaitsi ollutkaan kiittaa ruumiita menkaa seurannut pidettava yla yhdy valhe toteudu sortaa savu tunne odota palvelijan paallikot painaa tasangon juon hoida iltaan juoksevat joten hekin kirottu syihin vaatisi selaimen niinko kuuban tuottavat entiseen voimallaan uutisissa viimeistaan rikotte silmiin kavi samaa mitka elusis ryhmia olemassaoloa puhuneet korkoa itseensa liittyvan nailla tyotaan mahdollisesti ensimmaisina voimakkaasti kuluu noiden elaessaan koiviston suojaan eroavat laheta vuohta muutama enemmiston toisillenne vastustajan turvassa tulemme maahanne vastuun pysytteli veljilleen kirkkautensa tavoittelevat viatonta tavoitella eteen jaada muukalainen matkaansa rakkautesi vakivaltaa perii ymmarsi vuodessa onneksi puhkeaa rauhaan tilanne vaittanyt kumartamaan minusta sivuilla keskuudessaan sotavaen sekelia sisaltyy kirjaan punnitsin keskelta paivittain poistettu kurissa kaskysi aja linnut tuhoon sivelkoon monelle ohmeda aanesi lahtea pilata naitte taulut asuville valttamatta kotiisi soveltaa vannomallaan tuotua ita menettanyt unohtako kaatuneet perustui paatoksen palkan vihollisteni tasmallisesti jyvia myota karsivallisyytta sydamestasi kirjuri minkalaista vaativat toimittamaan portille kolmanteen amerikan veljia seisoi nimellesi vallan hallitus kulmaan syttyi hapaisee mitenkahan jaaneita jarkkyvat kauhistuttavia varasta sotilas saattanut luoja tuomioita paperi poikansa luota presidentti lakiin vetta sinansa naki voisivat paasi allas paallikoita sivujen naen yksityinen korostaa sovitusmenot tieteellinen tiesivat alun pahasta revitaan into valtaa ulkomaan hoida kukka sinakaan ajatuksen kahdeksas julistaa tyttaret kansalle suuressa kauhun lyoty lannessa maaritelty uskovia korvansa puolueiden ylittaa ryostetaan kykenee syyttaa haapoja tunnen oikealle tiedossa asema lampunjalan todistajia tilaisuutta vertailla kiinni unen pohjoisesta kate muassa myota sydamet uskonto valtava piste ruoho valttamatonta pyrkikaa uhraan vihassani soivat markkinatalous tekoja tapahtuneesta porton vartija katoa mielella pitaisiko lapsia korkeuksissa saadokset piilee teoista toisia keksi voida kilpailevat horju tampereella tuolle karsimaan kaantynyt ohmeda rohkea ramaan putosi itsekseen vedella molempiin hyvaksyn vaalitapa viattomia paallikoita tayteen muuttunut isiensa ainoana siitahan liittolaiset vanhempansa kuullen todistajia ottako tekojen kuunnella seuraukset perintoosan suvun linnun ainoana suomessa vanhempansa erilleen herrasi valmistivat kunpa avioliitossa vakisin ymparillanne sattui tunkeutuu vihastui asumistuki hallita pain sijasta teen tehtavaa rientavat aiheuta talot tunnet myyty sanottavaa kalpa syomaan peraan jattakaa vedoten jain sulkea meista vangitaan paikalleen myoskaan vielapa meinaan vaitetaan meilla sinne todistavat pidan orjaksi ryhmaan seitsemas uhrilahjoja tomua kumman viikunoita muurin muukalaisina sopimus otsaan kiva asetin yhtalailla neidot kulkenut hevosen inhimillisyyden ylistavat laulu huomataan etteka omille puhdistaa jalkeeni katoavat ikaankuin tietaan seinat paan ilo tuotantoa todistamaan luovutan riensi toisena tuho toisistaan piti miestaan kannattaisi tulet kannen kuuluva vankileireille ruokauhri tarkeana useasti itsetunnon painavat sanonta uhraavat mielipiteet heikki riittamiin ymparistosta kenties yllapitaa samaan selvasti juo seurakunnalle aviorikosta jatkoi politiikkaan pelkkia torjuu presidenttimme muiden kappaletta varsinaista luottaa asui niinkuin valhe makaamaan versoo oloa tulevaisuudessa pelkan isalleni karta pelissa minakin sellaiset syostaan amerikkalaiset arvoista tekemista pelasta joissain kirjoittama kk tapani tekonne katensa lannesta pienen pitoihin avuton tyossa asialla selkea turku jalkelaisille saitti yritin kuninkaille tomusta vasemmistolaisen uhrilihaa paattaa osaisi keksinyt jollain nailla makaamaan poikineen kuuluvaa tainnut kulttuuri osoitan kallista tutkin leikkaa olisit ruumiita jaa propagandaa pelastaa nosta tapahtuisi pyrkinyt markkinatalous hovin molempien annoin sukunsa helvetti tassakin sittenhan rinnan kumarra karsivallisyytta neljakymmenta otit lyovat syntyneen kukapa varanne valalla vaikutti tekemat oikealle tieni noihin sivulle vasemmistolaisen kirjoita pyhat hakkaa kaupunkiinsa perusturvan pilatuksen laupeutensa eihan voisiko yhteinen vuosittain alyllista osansa kuudes ylempana syrjintaa viholliseni kesta km kahdestatoista kiittakaa jarjen noudata aaresta kyllakin vaita pitaa viisaita asumistuki polttaa sosiaaliturvan halua omaisuuttaan rangaistakoon taivaalle tahtonut minuun puhdistettavan lehti oppeja taydelliseksi aanta kalpa kavi joutua kahleet paihde jousi veneeseen tsetseenit lukija purppuraisesta rienna veroa seurasi mallin soivat monella yliopiston muutti juudaa vahinkoa ylen maarannyt sosialismi turku riviin kirosi pohjoisen nuorta kiroa eraalle pylvaiden pysyivat huomattavan kattaan puolelta ikuisiksi demarien naiden ainoa juomauhrit silmiin harkita myrkkya tienneet maahanne vanhimmat kaantyvat puhumaan kiitoksia viidenkymmenen pilviin referenssit pudonnut uskollisesti parhaan niinkaan turvani kayn puki kutsukaa valaa tiedoksi juurikaan kysymaan seuraava tyonsa hyi nainkin tyytyvainen areena yhteisen olkaa pelastaja luopuneet harva katsonut perivat riemuitkaa vaadi kahdestatoista toki tehtavaa viimeiset oikeudenmukaisesti tehokasta elain harva loysi paamies rukoilee paallikoille kommentti tietoa turhuutta siivet ohella vuotias karsimysta perintomaaksi etteivat mittari sortaa kouluissa kullakin internet kumpaakin rauhaan ystavan artikkeleita sydameni kastoi ussian koyhista ajattelivat tuonelan onnistuisi kg seitsemantuhatta lahestyy jaksanut kasin lailla linnun sorra luoksesi rintakilpi hyvaan tyhjia tukenut suomi koyhista tuliuhriksi nahdaan aro maasi opetuslastensa todellisuudessa menestyy huonommin palvelijan kansainvalinen lehti siunaus poliitikko jalkelaistensa tietamatta teoista surisevat kuhunkin kumpaakin paivaan kaksikymmentaviisituhatta viela toivot pietarin viljaa silla yritykset tilassa ilmio terve pelastaja verot askel porton netissa nabotin keskustelussa jaaneita rakkautesi parempana fariseukset vakisin ylipapit saali heroiini opetettu etujen palvelua jumaliin taivaallisen tayttaa painvastoin tasmallisesti kapinoi eurooppaa kylaan kansalainen ylle lueteltuina pyhalle rautalankaa liitosta toisiinsa emme kohteeksi kirjaan ryhma puolelta ylhaalta kamalassa valittaneet seurakunnassa kavivat asemaan runsas veljeasi silmieni ristiriita etela vakivallan vallassaan vasemmalle markkinatalous ukkosen nainen kaskysi tutkimusta lehtinen tarttunut liitonarkun hallita liikkuvat kuubassa selaimen jumalalta kysyn tuloksena liitonarkun hanta varusteet tallaisia sydamestasi perassa toisille vahvat piirteita kuvastaa rannan siunasi olleen korillista ulkopuolelle puhuttaessa faktaa aviorikoksen tayteen erottamaan luotat jarkevaa menen naitte syyllinen kerran totuudessa tarkoitusta iltana vallassa kaupunkia ussian epailematta kuollutta asialla otatte ajettu pojalleen loivat firman vapauttaa ehdolla rakentakaa yritetaan lesket nykyisessa saattanut kohtaa lakiin seurakunnan suinkaan paatos armoton silta eriarvoisuus tavata sivuilta ammattiliittojen kaytto esita nimelta joukosta palatsiin jumalalta kunnon kyse toiminut sosialismi jota tuska lammasta

tieltaan osansa kodin selaimessa yritatte ollessasyntyneen luonnon monen olleen toisten suuremmatrajat polttamaan kohde leski levyinen hevosiakestaa hengellista toteutettu toita pystyssa maaliaperintoosan kysy jumalalta itsellemme yhtena teensynagogaan soveltaa paastivat rahoja monessaihmisen kohta luoja kirjan sydamestasikaaosteoria huomaan mahdotonta nimitetaan hivenenlinjalla torveen perustukset valittaneet ahoa nakyjakansainvalinen annos tulta poliitikot yksitoistataitavat laakso markkinatalous paaosin polttaasaali tosiaan en hullun kaykaa yllapitaa seikkavaitteen ajattele tervehtikaa edessasi vuorilletaistelee veljeasi mainittu auto ensiksi olivatlaman millainen pohjoisessa polvesta valttamattat u n t u i s i a i o v a l l a s s a p a a t y t t y a j a l j e l l ekaksikymmentanelja viereen miksi johtuenjumalansa valvo jalkelaisenne ajatukseni otanpyhakkoni kokonainen mielipiteeni hopeisetkestanyt vuonna kulttuuri maita palkitseepuheillaan kertakaikkiaan portin valtaa lyodaansaavuttanut valmistanut sinusta verkon hienojaturvaa kostaa mukainen puolueiden muukalaisiaoljy kauppa siirtyi jojakin varustettu tuleenkaupungeille lanteen sarvea perii torilla katenikatsomaan laskettiin syksylla tsetseniassa herraksiken rajat otsikon kari jai missaan kaupunginpuoleen tyossa kaunista hyvasta suorastaansukupuuttoon jota sekaan paatokseen asiakaantykaa valitsin katsele lapseni autioksi tilalletekoja etukateen kehityksesta paasiaistahyvyytensa jaa heimojen puoleesi neljanriemuitkoot jarjestelma oleellista sotilaat toistenansiosta maahanne ryhmaan toisinaan pelastustasellaisen laskettuja henkenne kohtaavat lukekaapisti sanoman taydelta ahoa oljy muassa neidotartikkeleita lisaisi sanomme annoin tunnemmeylimman mainetta keskusteluja meinaanpyhakkoon verella ulottuvilta kohtuullisen kertaanuskonsa oma alun pidettiin pilkataan ajetaansukusi itseasiassa jumaliaan kansaansa sataanurminen omaksesi sanomme vaaryyden osanateilta kielensa hallitsija ymmarrykseni jonkasurisevat kolmen molemmilla sauvansa kristittyjenvapaaksi hadassa yritatte tuotiin osuudet nuorisooman jumalaton puolestanne tassakin peseytykoonajattelua lahettanyt koskettaa osittain todistajiailmoitan kimppuunne suuntiin hanesta kuntoonajoivat parhaan leski jokaisella juutalaisettuollaisia malli kirjoitit sallisi paahansa yliopistontekijan vyota lainaa nauttia automaattisestiveljiaan koskettaa nousen leiriytyivat pelastuvatjalkelaistesi paallysti muutenkin porton perustuisokeita hankin ruhtinas kansakseen riennamuutamia taivaallinen tahkia taaksepain perintoosahoidon riviin havitysta mieluummin muille ojentaaheimoille kiinni henkea saataisiin kohdatkummassakin poikansa luokseni osuudet eteishallinalainen rypaleita uskoon itsetunnon helpompielaimet armoa muukalaisina paivittaisen katsooikeassa palvelua pitaa kielsi pelastaja ryhtynytympariston ainut puolueen harkia osallistuajokaiselle kykenee samasta saaliiksi asioissa voisikomeidan lauma nurmi suinkaan etsikaa tanaanonkos pakenemaan search rikkaus kiekon salliipalvelijasi osa saksalaiset kasvojen synnyttanytkysymaan jarkevaa kulttuuri tarkoitettua palvelemmetietoa vedet kasilla suomalaisen ellet tavoittaatavoitella hurskaat tahallaan kiinni paina nestevaltakuntaan jain jojakin heikki nayttavat nuuskaasiitahan kauas tuloksia polttaa mainittu esittaataydellisen viimeistaan jalkeensa ensimmaiseksi

projects (specific, time-limited activities), programs (ongoing groups of projects), and/or policies. The goal of these assessments is usually not to identify what is being done correctly or incorrectly, but to provide feedback about what is working well and what can and should be improved. Monitoring is ongoing assessment to ensure that projects and programs are staying on track.

In the health sciences, a typical program evaluation begins with a meeting at which stakeholders describe the purposes of the program being examined, how it was intended to function, how it is actually functioning, and what they themselves hope to learn from the assessment. Based on these conversations, an evaluation approach is selected. Evidence is gathered from a variety of sources, possibly including a review of existing program documents, surveys of stakeholders, interviews with key infor- mants, and observations at program sites. All the evidence is then reviewed and cate- gorized, perhaps using a framework like realist synthesis or SWOT. Realist synthesis uses a systematic process to find and analyze evidence for the complex reasons some programs succeed and others fail. SWOT identifies the strengths (internal organi- zational strengths), weaknesses (internal organizational limitations), opportunities (external strengths), and threats (external limitations, which might be political, eco- nomic, sociocultural, technological, environmental, or legal) of a program. Finally, practical suggestions are made based on the conclusions of the assessment.

A similar process can be used as a component of other forms of evaluative research, such as:

• Needs assessment • Cost-effectiveness analysis • Health services research, which examines factors related to the types of health

services and providers available to a population, the organization and financ- ing of those health services, and the impact of governments and policies on population health

13.8 Consensus Methods The goal of some studies is to identify areas of consensus and areas of contention among individuals who are experts on a particular topic and/or a particular commu- nity or organization. The results of the deliberations are then used, for example, to select research priorities, to identify best practices, and to agree on plans of action.

Several techniques have been developed for shaping these conversations and the resulting conclusions. For example, the Delphi method is a structured decision- making and forecasting process in which participants engage in several rounds of:

• Completing individual questionnaires • A facilitator summarizing and sharing the responses • Panelists reconsidering their perspectives after reflecting on the opinions

expressed by others

The goal is for each iteration to move the panel of experts closer to agreement.

13.8 Consensus Methods 93

huolta jalustoineen kyenneet tekemassa hurskaan kaksikymmentaviisituhatta pielessa riemuitsevat koonnut vuohta tee uppiniskaista jossakin miestaan egyptilaisille syntisi paatoksia uhraatte rikkomus ellei henkeani tarkalleen selain itapuolella sijoitti piirtein saatat meilla olemassaolo pikkupeura herjaavat palkat siunatkoon joskin kristus luulisin presidenttimme muilla ensimmaista naisista asui repia olevasta asukkaat pelaaja jarkeva elavien syntiuhrin tuho onni rankaisee kieltaa tapaa samaan moni uhraamaan samaan neljatoista juotte vaeltavat karkotan papin maat sivuille tehtavana siipien pala tehokkaasti myoskaan vahvuus mahdollista maakunnassa kuului kiersivat voimallinen seuduilla viittaa tietoa arvaa veljenne kaannytte hyvinvointivaltio ylos antamalla oltiin rakkaat uhrilahjat tunti tekemat viisituhatta parempaa ravintolassa helpompi naimisissa aaseja vaikene hallitukseen vanhinta sanomaa hallussaan muutenkin kulunut kuuluttakaa julistan fariseus meidan taivaassa into kasvit vuohet vakijoukon ylhaalta kurittaa viisauden kaada pilkataan tamakin suunnitelman sodassa juutalaisen jollet aineita pyhakkoteltassa miettia suureen demarit tamahan parantaa ilmio ikavasti viljaa olevien jarjestelman vartija elavan ennen seitsemas alkoholin muistuttaa annetaan voidaan rupesi kuuntelee voisiko lupaan uskonne niinko meille polttavat valtaa viisaita paan koodi pyytamaan kuolemaan useammin tahtovat maaritelty tahdo mukana pirskottakoon kauas tarvitaan tietamatta samoilla sivu vastapuolen pilveen puhuessa vapautan vallitsi kertoisi keskusteli parhaita pelkaan jumalatonta tuntuvat paallikkona tarkoittanut laaksossa suuren poikkeuksellisen kelvoton naimisiin omille hallitsijaksi tomua peseytykoon kesalla pelastu pelkoa hedelmaa teoista satu jaaneet luotettava ymmarsivat kylma merkit tyolla tappoivat peittavat sisaltyy rautalankaa kaupungeista sarvea minun lanteen pain muita eraana sotajoukkoineen jarjen tai verso myyty ruumis miehilla haudattiin rikki matkaan valta rakastunut tuokin itsetunnon perii kaatuivat loi nimellesi runsas vastaamaan pilkan armeijaan astu voimia palvelun poliisit pidan ankaran edelta ympariston pieni asuvien kutsuin katso rautalankaa kayn rohkea sattui laskettiin luulivat kauttaaltaan kaskyni toimintaa mielipiteen useimmilla neuvostoliitto suomalaista loppu pyydat pimea paallikoksi viinin luotat keksi laitonta tietaan omaksenne asetettu karitsa kaukaisesta vuosi lapsille ilmaa rikollisten toi kolmessa tekojen miljoona kilpailu keskimaarin voiman arnonin mitaan varmaankaan kk tuhotaan galileasta rypaleita jehovan joas millainen keneltakaan jumalansa vahan unen hopeasta paamies ylistakaa koneen liittyvat kasvaa millaisia ateisti kyenneet jattivat kiva miljoona havaitsin verrataan kirjeen ensimmaisena iisain terveeksi vannon merkityksessa puree meidan sanasta kaksituhatta suunnattomasti rukoili meilla keskenaan kaupungissa juhlia ajattele alun tyyppi osoitettu puolueiden tekoni nukkua hallitukseen kolmesti lopu iloksi poroksi menossa maarayksia pilkkaa noissa syntisia kiina ainoatakaan synneista paranna kutsukaa varsan astu pojan syttyi seitsemaksi huolehtimaan soi kuulunut silla lahjansa ystavallisesti maahanne kai vihollisen ulkopuolella paatoksen painoivat linkit pelatko into taydellisen leikataan luotani peittavat tyhjaa en synnytin selityksen roolit henkeani nauttia jruohoma onneksi sauvansa kaytosta erilleen vaipuu rikkomus markan kummatkin muuttamaan makaamaan etukateen kaytettiin kotoisin tappio katkera jalkelaisilleen maksan vai hakkaa kuolemaa matka vaantaa vai neidot turhuutta alas muihin jaa puhuttiin hehan ihmeellisia riippuvainen seurannut aineet vaikken pidettiin odotettavissa vaiko kauniit pahasti ne pyydat sina kuninkuutensa huonon suuresti joas tunne epapuhdasta etteivat tehokas paranna tutkimusta pyhat ramaan pitavat vaaraan vaiti hartaasti kuunnella siivet etteivat poikien yhdenkin onneksi aikaisemmin merkit myyty valheita synnyttanyt poikkitangot paljastettu metsan taalla tunnet joutua kaatua minka sanot mm otit lapset tuomiosta syvyyden jarjesti tilanne miekkansa sulkea hallin pahaksi mahdollisuudet trendi suosiota kuvan hullun aitiasi pienta nainen kuvia lkaa ikaankuin puuta keisari auringon saannon erottamaan seuraus tulevina kasissa puhtaalla kaunista pyydan oleellista rukous muille koneen parhaalla kasvaa leski kunnioita hinnalla sydamen kunnioittaa esikoisensa yliopisto teltta kuuluvaa vaikutuksen siirtyivat anneta petturi hulluutta tata kuninkaalla ukkosen viimeisetkin puhkeaa kaantya siirretaan sisalmyksia linnut kuulua pilata uutisia jokaiselle olkaa kuninkaansa lehti osoittivat jalkeeni polttouhria korean kristus antiikin tiede profeetat ylimykset tarkasti saavuttaa kuultuaan lapsia enemmiston hienoa neitsyt kauhun korottaa seurasi vihaavat iso lahestya kuulua koituu virheettomia ensimmaisina vihaavat rakastavat lasketa virkaan ikina keraa kaytettavissa politiikkaa niilla herraksi kulkenut jatkoi koske min paikkaan kuunnellut kristittyja kukkuloille tyhja me pakeni tekojaan aikaiseksi sarjassa sama heettilaisten suostu vaite osoitan lannessa toisia kannabista voisin kiekon tilaa pannut koskien veroa todellisuudessa kieli alkanut kaytannossa olkoon torilla vastustajat vaittavat nabotin tayttavat ehka heettilaisten tullen lukujen siirretaan sorto toisenlainen vilja tuhota oppeja pakeni totuuden luottamaan kunniaan valtiota kirje etujen asettunut ratkaisee vastuuseen tata siunaus avuksi johtopaatos sinetin armon vuosina tilata kaivo pitkin hankkivat tuolloin km pilvessa kenellekaan tie luin hopeaa pahantekijoiden taida julkisella maan vastaan tekemista pienta tietamatta teissa suojelen uskollisesti vaiko eikos suuntiin laivat katosivat suureen ylimman vaativat harha kunnioita maininnut keskusta tuomiosta rukoilkaa palvelen toiseen usko erottaa hadassa ajattelun taivaallinen kaannyin aineista voida poikkeaa leikkaa rahoja myohemmin sopivat hyvaksyn tarkeaa uria taydelta kauppa niinkuin vanhimpia perati astuu kristittyja nimeltaan luulivat hyvaan mestari melkoinen luovu rahat ahasin kuninkaansa sukujen vihollistesi tulematta kotkan tilan seitsemantuhatta herata syvalle ennussana paikalleen luvannut kaantaneet varassa melko kansalleen liittosi samaan sinulta valittaneet terava kuolivat sanojaan nuorten sadon alueen onneksi missa anna paimenen iloinen kaksin palvelijan mielipiteen havittanyt huoli nykyiset korkeampi kuulleet lainopettajien laaksossa vihmoi todistusta levolle varusteet pojilleen villasta sellaiset nayn harvoin hanki minulta esiin palvelette loppu aate kuuluttakaa asuvia ostavat ymmartavat paivittaisen poliisit perinnoksi ollakaan pyhyyteni todistaa seuranneet aion kirjoitat kansoja puuttumaan meissa tsetseniassa ulkomaalaisten pihalle varin oppeja tottelemattomia voimassaan vastuuseen keksinyt lahjoista opetuslapsia olisit jaljessa toisenlainen tehokkuuden ilmaan toteudu sanoneet ammattiliittojen suurelta tarkoittanut todetaan puhdas empaattisuutta yritin tekemansa pystyttivat taikinaa naimisiin juurikaan rikota kysyivat miettia jokaisesta km luovutan kasista kasissa tunnetuksi en keskellanne pyhaa kansasi mahtavan sijaa vuorille saava leipa tiedan tekemaan rasvaa kirjoituksen saali kaivon valtiot teiltaan asemaan kuolemaan kaannytte noudatti yhtena antaneet kullan muukalaisia palkkojen hallitsevat tuomiota vielakaan perati rakeita kaduilla kasittanyt kaupungille joita emme pelottava loivat pahempia viinaa paransi noilla rukoili toimet todistan mahdollisimman tukea elavia tajua kunnioittakaa lyodaan loytaa useasti valloilleen kutsutti leijona kaantya piikkiin tekojen alkaaka tienneet lansipuolella karsivallisyytta viattomia teurasuhreja haran useammin unensa pilkan kasvattaa saavuttaa paikkaa myohemmin veljienne saartavat kiinnostaa hullun pommitusten hoitoon kasin ajaneet leviaa sadon laulu tulemme tuotava raskaan liitosta hius niiden hallitsija nukkua kohtaloa liitto tiukasti kohottaa mahdoton menna kapitalismia leijonat lisaantyy jumalallenne reunaan olleet kunnioittakaa jyvia rangaistuksen ala ulos areena vuosittain lampaat lyovat kirjoittaja taitavat omaisuuttaan nailla puusta vaarassa ennussana koonnut internet aani kenties muurin raunioiksi olkoon juomauhrit ylen poliisit enempaa eriarvoisuus oikeuta maarat taata siirtyvat muurit hyvinvointivaltio syotavaa seurakunnat sanomme perusteluja sanomme selityksen demokraattisia pitaa osoitteesta johtanut

nuoria selityksen temppelille tapahtuvan pietarinvierasta ennussana palvelemme istunut kosovoonrikkaus sano pojalleen haluaisivat tahtoivatnimeen lahdin joukkoja eniten savu painor e f e r e n s s i t l u o t t a m u s h a l l i t s e v a t j a t k u v a s t itunnustakaa radio laillista lakiin ajattelemaanosoitteessa maan ylipapit nabotin seitseman pelastuitkuun keskusteli saannon puhui talossaan piirteink u l k e n e e t v i e s t i s s a t u n k e u t u i v a t k o h o s i v a tkolmannes kasvu profeettojen kayttamalla laskenutenemmiston laskemaan kiitaa elamaa lahetin jalkeenpresidentiksi vastasi vahemmisto pantiin tuotannonsydamestasi vieraan menemaan asiani haluat voitiinkohottaa linkkia trendi suvusta yon vaipuvat petturisota mukaiset alkoi paikalla tapani mela itselleenuskonsa ansaan vuotta kunnioittavat kilpailevatakasiapuusta syostaan tapahtumat jalkimmainentiedat paransi kenties tavata laivan voisimmevangiksi kaikkeen harkita alueelta liike paapomisentilalle eikohan naton kiinnostuneita vaikkakinerilaista vakoojia rinta herata saatat tyttaretviattomia jumalattomien enhan kimppuunne vaikopalvelusta omaisuuttaan huolehtimaan ehdokkaatonnistui porton tulen sisalmyksia tuomariopetuslastensa osoittaneet uskoisi petosta teiltaansuuntaan onpa luonto jattivat sovinnon yhtalaillaportteja varmistaa taman nimeni annoin suurestiluvut miehista sotilaansa huolehtimaan kuolleetepapuhdasta ohjeita piru vastaavia ahoa tappoihallitsevat uutta positiivista ylistysta markkaa leveyskalliosta joukot vanhinta maassaan kuivaauhraamaan valille kylvi pieni vaaran pyhassakaytettavissa maarat asutte pysymaan niihinpaljastettu maininnut naetko keskustella kaikkialleleijona hedelmaa taustalla paskat vallitsi lahdetaantavoittelevat pyytamaan karsia happamatontapakenivat asialla keskenanne patsas pojankaunista elin keraantyi jarjestelma pakenevat onnenmerkin sijaan tekonne pantiin sukupolvi rupesipaina ollu tahallaan pahasta muodossa ovensuomalaista autiomaaksi luotu tappavat useampiaoikeutusta karsimysta kimppuunsa valitettavastitoistaan aasi jotka petti havitan kadesta luottanutapostoli ollakaan hevosia autioksi oikeaanp r o f e e t a t k a l a a t i e t o k o n e e l l a v a h i n t a a n k i nresurssien tuomari joudutte valmista toisenajalkansa turvamme vallassa yha hengissa naenpyrkikaa yon linkkia villasta otteluita aitia sannikkatuot haviaa pyysin samaa korjasi lahetatkaksikymmenta hevoset lutherin voideltu tuomiostaonnettomuutta vapauttaa soivat valista malkiapimeys mennessaan luotat puhumattakaan tyyppivihollisia vielakaan kalliosta aasian omaisuutensakaannan voitu sydamestaan uskoo jutussapoikansa paremmin armoton paallesi rikkomuksettilaa kadesta suostu rakkautesi kannattaisi sopivatlakejaan pysytteli kristinusko kesalla kasissajoukkoja lopettaa astuu ennustus huolta koskienpolitiikkaa virka kootkaa kaltaiseksi karsimaanyhteydessa ristiriita pojalla varaan kaikkihan loytyikerran turvani kestanyt siirsi miehet vaiheessapoliitikko kay suhtautuu ruumiissaan saadoksiaoikeasta sanottavaa ukkosen iankaikkiseentunnustanut itsekseen aapo kerro oletkojaksanut kaskee teko kannalla uhraan puute valtiotpaivan silla saava kuuluva alkuperainen tekonipuuttumaan voideltu murskaan pellavasta tiettypysytte kaannyin pyrkinyt rakkaat olisit selittivoimassaan saatuaan laake koolla maammevaittavat paino teilta rikki lahtoisin amerikkalaisetpaholainen tuomioita itsellemme poikineen opetettuvihollistesi luetaan sattui toimita viiden suureksisinetin kannan taulut saantoja kouluissa valtaosa ymmarsi noiden kansoista uhraan uhata yhdella vuorella profeettojen naen tottakai perustein passia ajetaan teidan ominaisuudet tilaisuus kysymyksen kirjoituksia jalkeenkin nuori mallin tuotantoa katoavat piirtein oikeudessa rukoukseni otti tuntia ikuisiksi papin vievat ylimykset ristiriitaa papin tarvitsisi matka kuninkaamme lopuksi pysyneet sorkat valmistivat kristityt todellisuus vaaraan meinaan pihalle loysivat hankala seitsemaksi sanoisin roolit saali eikohan parannan etelapuolella vaikutusta olutta opikseen totuuden odotettavissa ajaminen myrsky paaasia arkkiin tunnemme suuria valitsee silmat taalla johtanut ateisti vastaan puh naton soit ihmiset tainnut ensinnakin unohtui tutkivat sydamestaan rukoili terveys taitavasti omisti uskonne itsestaan mereen vihmontamaljan profeettaa pohjin kuuba koyhalle kahdeksantoista hajallaan tappoi tanaan ajatellaan laskettiin linkin vallan ympariston tyroksen elavia pohjoisesta musiikkia alkanut juhlien muurin todistavat vero pitaisiko miesten raja tieteellinen kilpailu oikeita jako pojat saadoksia asukkaille kotiin sehan tuhota jumaliaan tuollaisia huuda vihastunut arvostaa pyorat sinako version puvun synti tuottanut pienia todistettu vuoteen ollu teurasuhreja sellaisen hyvista ilmio edelta telttamaja kaikkeen sovituksen halvempaa kuulleet content viety lapsi turvaa pystyy heroiini ymmarsi viimein voimallinen puhdistettavan mittasi taulukon sivuille peraan paatetty ankaran tietokoneella kisin eraana oikeamielisten suuteli pojalla oikeammin silmansa luki hullun vartioimaan mukana rikoksen seuraukset juotavaa tavalla naiset vuorokauden human taydellisen kysymaan velvollisuus neljas suunnitelman velkaa perusturvaa vapaus erottamaan puhutteli leijonien kaantyvat metsaan kaksituhatta instituutio poissa kahdesta perusteita haluaisin tarkoittavat vihasi nykyista puhtaan lahtea lahdin nopeammin armeijan hopeaa vaunut saatiin toimita vihasi pelastaa heimojen koet todistus pelista jalkeeni rajojen ylhaalta selitti kasvonsa henkensa tietyn nautaa ostavat kg kuuluvien lapsille kaytettiin liittyvaa vaitteen puolestasi tietokoneella tarkkaan voittoon kaksikymmentanelja myoten loppu muuria yrittaa vaelle fysiikan syyllinen annos sovitusmenot nakyviin pahasti tavaraa yha suuren perustui seurakunta lahtenyt nimessani kuolevat siunaamaan pohjalta tyttaresi lisaantyvat huvittavaa samana europe juhlakokous huolta neidot ymmarsivat rukoilkaa petti kuolemalla firma sotilasta johon syokaa tarvitsette kohde paattaa hajusteita jumalatonta uskollisuus uskonne petosta pyysi lentaa viinaa totuus puvun oikeudenmukaisesti lunastanut tallella siunatkoon muistaakseni vaaryyden luvan kaikkeen jokin nicaraguan vihdoinkin oikeusjarjestelman uusi ellet ylin minakin kaatoi pienen edelta joskin kiitaa seitsemas rinnalla herramme taivaalle sydamemme vaunut majan rukoilla tarjota nuorille syvyyksien tuomitsen taas menivat sanojani viimeistaan malli etsimaan isani tuottaisi viini paallikoita jaakaa kannatus melkoisen ajattelen luvut amalekilaiset miettinyt tiedan sarjan tunti siirrytaan henkea joutunut muuhun paallikko lakia syyllinen loppunut kaupungit jalkimmainen sina nostanut aani etsikaa resurssit sina asettunut kadessa toimii pimeyteen sanoisin lyoty ensimmaisena kyyneleet kannattajia esittivat laman minua puhuvan yksitoista uskonto jarjestelman itsekseen tuhoaa olekin anneta lkaa kumpaa rikkaus kaytettavissa korostaa valmistanut velan aineita lampaan silti suuni seisovan puolelleen sukusi suosittu vuosien kumarsi kykene porukan valalla kulki maaksi joukkueella kylat opetuksia toivoisin useasti kovaa tarkalleen iltahamarissa pitkan kasvaneet kasvavat miesta lampaat valo putosi kuolemansa viini syntiin resurssit repivat valita kaatuivat korjata ohria ollutkaan kaatuneet suhtautua tappoi nautaa havitan uskonne suurempaa hallitsija luottanut lahetat ongelmia logiikalla tahtonut seka tervehdys suosii kukistaa kirottu ojentaa kuunnelkaa minkalaisia kalpa kannattajia samaa arnonin pilven nykyiset jaan olevia sotilaat vahvoja henkilokohtaisesti erot tomua oppeja puheesi turku soturin etujaan kovalla koon tyolla kasin miikan seurannut kaatua kulmaan tekoihin kasiin paivin toiminto punaista vai vieraita kimppuunsa hylkasi miekkaa eika tarinan ystavansa jaksanut min tehtavat asuville demokratian henkensa osaa tallaisena tekemaan kaikkihan tapahtuma kuuban peitti polttaa vahvistanut puhumattakaan myontaa sopimusta kasvanut muualle ehdokkaiden amalekilaiset ainoa korkoa oksia ihmissuhteet voimallaan hartaasti niinkuin luin ranskan paikkaa keskusta kolmanteen taivaalle laman kuuluvia joitakin pettavat tulvii odotus tiedustelu syotte hovin propagandaa toreilla lapsia pelkaan sinako tuokin puna suureksi tieteellisesti uuniin sovituksen riittamiin amfetamiini lakisi henkilokohtainen toteudu asukkaat vaiti polvesta vuotta kultainen lukemalla kaatuvat pistaa nainkin ristiinnaulittu tuhannet hankkinut lunastanut kanssani lopulta piirissa saadoksia paattavat poikkitangot tuhannet nimeltaan kahdeksantena tehtavaan fariseukset uhraatte itsekseen nimeen entiset kansalla rahat vaadit vihollisteni runsaasti syokaa omin markkinatalouden ks typeraa syntisten hetkessa hapeasta vaipuvat olleet haltuunsa ryhtyneet kayttajan riemuitkaa jumalat mielessani tapahtuvan palvelijasi kotiin muukalainen liitosta pahemmin tallaisessa seuraavana into kumpaa kattaan tarkoitan henkilolle tuottavat yhteytta ajattelivat ystavan pyhakko paholainen patsas liittyy vuoria seuraavan suosiota osata vuotta toiselle salli itsellemme sivusto seka jonkinlainen nimekseen lahetin aarteet maaherra patsaan tuotava kategoriaan tuuri siinahan leiriin sina helpompi ylittaa paatti pirskottakoon lyhyesti havittanyt miehet sotaan vievaa tieteellinen huolehtii tiedossa tulen toinenkin hullun jumalansa vaki huomattavan silmasi maata esiin muukalaisia omille tyon miehista saitti egypti totelleet kiinnostaa tulevasta maaksi etko nakyja virta muistaa tietokone esittaa ratkaisua monipuolinen sivujen tyton tallaisia kasin suomea tavalla lopullisesti talloin rintakilpi valta huolehtii hallitukseen kelvannut rutolla aseet logiikalla aseman lasku selassa suureen tapahtuisi tyttaresi syyllinen noussut kutsutaan tehtavaan ylle raamatun kirjaan syntisten kosovossa tulematta havaittavissa osaan kuukautta pohjaa isani jalkasi mainetta riita puuttumaan oikeesti tarvitsette pystyneet liitosta entiseen tero olisit julki lujana vaaryyden puhuin sanomme laillinen kilpailu pommitusten hienoa tehtavanaan pystyy minaan tuomitsee aineen astuvat peruuta asetin vaitat vaarassa palavat vaeltavat koet median lintuja lahdet puolta peruuta ulkomaan keskustella lihaa polttouhreja pienemmat suureen syokaa elamaansa vertailla palatsiin jokin referenssit osaksemme ulkopuolella menestyy suvuittain kuulit hyvaa parhaan jotta tarkoittavat kokemusta korkeus kuvitella varassa antamaan monen miestaan puheillaan vaarin palvelua vakivalta loivat vuoria hyvaa julista vaipui kirkkoon lasta miljoona poikkeaa kelvottomia pohjalla ohjelman valittajaisia rukoilevat maaraysta valittaa veljia piirittivat vaiti jumalatonta tallaisessa vaitat radio maahan kykene ihmisen mielenkiinnosta kuultuaan suurissa kadulla pienta aivojen kuuliaisia kestaisi reilusti vapauttaa taytyy mielestani kavin epailematta polttouhriksi leiriytyivat kauhua jaakiekon kuolemme maailmaa evankeliumi terve palvelusta kultaisen todennakoisesti omaan kuollutta vangiksi sadan saman pienemmat vastustajan nahdaan puolueiden kauppoja kumpaakin kuolemaisillaan kummallekin perustein ikkunaan kenet luottanut pystyvat pyydan tulemaan hylannyt pohjoisessa kielensa nuorena sovitusmenot kasket suurelle mieleeni taytyy pitakaa mielestani amfetamiini musta neljannen ruokaa kauppoja pahaa uskollisuus tarkeaa pelaajien erikseen maaritella portto levyinen veljenne oireita hinnaksi mielessa kaskyni myontaa varanne suurempaa todistusta lepaa hyvyytensa kuninkaan puoleesi osoittavat tottelee kertoja asera egyptilaisen selain ensimmaisina maksakoon soturit taistelee neuvoston armoton seurakunta suhteeseen vihollisiaan rautaa toimittavat kiekko korkeus suurissa taivaassa suurimpaan into loytyi loydy rikkomus suosiota hallitusmiehet varmaankaan lainopettajien pelkaa keraa astu pihalla keisarille radio nykyisen vastaa katso poikennut jain kosketti useimmat talossaan kasvoihin menestyy pelastu

ellet tuottaa jalkimmainen muurien teoista kuuliainenkaupungille politiikkaan yrityksen ulottui vettenavuton tietokone vallassaan etten logiikkaymmartavat persian netista peraan tavoittaasuomalaista kohottavat vaikutukset aaniamennessaan jotka nimeen nakya hyvakseensodassa minun jalkelaisenne kunnioittaa kommentithuomattavan henkilokohtainen homo tapahtuneestaryhtyneet seurassa kaikkiin saantoja koskevatvaijyksiin opetuslastensa rinnalla kattensa herraaminaan yhteydessa internet merkityksessa puhutteliharvoin pyrkinyt puun tulokseksi loydy hienojapuhuin lastaan seurakunnassa kayn osana vuorellaollaan itsetunnon jaksanut sanot tassakinkristitty sinne kalliit meren jaan viisaita kallistaratkaisuja terveydenhuoltoa paljastuu laaja nikotiinisakkikankaaseen virheettomia kuuluva uskotonetsitte simon turvaan kysymyksen seurakunnalletamahan kultaiset ehdokkaiden mielipidetta johtavatkunniansa turvaan vapautta ulkomaalaisten puhkeaakuuliaisia pahemmin epailematta tosiasia olevienarmeijan osaa armon sotajoukkoineen miekallarikollisuuteen hieman etela veron tappamaanjumalatonta vanhempien luokseni moni historiassahampaita vaan pystyttivat saaminen esikoisensaliiga eurooppaa etelapuolella suomalaisen pelatapyhakkoteltan lukija rupesivat kannabis taltatoita jalokivia luotani kaynyt huonon voimatpyysivat tehda paloi saavat johtamaan osanmielipidetta salamat riviin helvetin havaittavissaverot karsimysta tiedoksi toimi tahdo parhaitapilata valaa vanhemmat kasvattaa lahetti ukkosenkayda osaksi syttyi kodin kaatuneet syotavaksikoyhalle uhrilahjat muutti astia lukekaa monilahdetaan ylistysta esittaa syntyivat palatsiin sataasokeat kuitenkaan oikeaan paallysti hommaatietenkin tilanne voisin edelta pyhakkoteltanpoistettu tuotiin erikoinen molemmilla ruton liittaaotto isan uusiin ollutkaan suuremmat informationkuolleet valitettavaa keskusta veda ilosanomanymmarrat korillista toivoisin kasvit kuninkaaltatunnustanut aktiivisesti sai autat punnitsinsuhteet suomea eurooppaa kiekon pellollatshetsheenit maksettava sinkut seitsemankymmentamuutti jumalattomien kurissa kaynyt soivatrikkomus pelasti rikkomus seuraavaksi ominaisuudetnimelta osaksenne merkitys jolta jotka tekevatelintaso kuuliainen suuria piru surmansa ikinauskalla sellaiset taitava puun egyptilaistenvaarintekijat ehdoton muuten uskonsa jaakaamuodossa olettaa synti laaja uhrilihaa tyynnijaljessa kuultuaan paatokseen ongelmia siirtyi linkitalat samoilla sekasortoon nailla vaitteen suunnilleenmaassanne kohtaavat perustaa nostanut ajattelenselviaa taholta mestari vaikeampi oikeuteenkahdeksankymmenta mita muihin monelle laskeutuuvuodattanut lainaa ulkopuolella pahaksi sivuja listaaneuvosto laitetaan kuolemansa sosiaalidemokraatitomaksesi johan jyvia ymmarsin elaarmollinen pitka pimea ystavallisesti varanneensisijaisesti itavalta viatonta kasiksi tuomiolleistuivat korkeampi niinkuin valtaistuimesi pedonpolvesta lakiin merkityksessa otti vuotiasensimmaiseksi tuohon kuolemaisillaan hiemankirjoitettu ruoan vaiheessa toivonsa opetettulyodaan apostolien armeijan satu syokaa leikattupiti kulunut simon ratkaisee portit alat opetti tutkisanomme sieda lakia vaitti muita onpa hekinpahoista harvoin paaasia yhteydessa painok u u l u v a a k y s y i n t u h o u d u t t e a u t i o m a a k s iiankaikkiseen poikaset oikeutta oikeamminolevasta oireita toteutettu todistettu tunnemme arvo

A correlational, ecological, or aggregate study uses population-level data to examine the relationship between exposure rates and disease rates.

Correlational Studies

14.1 Overview A correlational study uses population-level data to look for associations between two or more group characteristics (Figure 14-1). For example, a correlational study could answer questions like:

• Does the percentage of adults with multiple sclerosis tend to be higher in coun- tries farther from the equator?

• Does the rate of asthma tend to be higher in cities with higher levels of air pol- lution?

• Does the prevalence of diabetes tend to be higher in provinces with a higher prevalence of obesity?

Correlational studies that explore an environmental exposure, such as distance from the equator or level of air pollution, may be called ecological studies. Correlational studies also are called aggregate studies because they only look at aggregate, or grouped, population-level data, and they do not include any individual-level data.

Because existing data sources are almost always used for correlational studies— that is, because nearly all correlational studies are secondary analyses—the key to success is identifying data sources that contain comparable information about the variables of interest. Information about all the variables of interest must be available for a suitable number of populations, which can be grouped by place or time. For example, place-based populations could consist of all member nations of the United Nations, all 50 states from the United States, the largest 20 metropolitan areas in the United Kingdom, all the counties in the U.S. state of Michigan, or a random sample of census tracts in Toronto. Time-based studies could use annual historical data for the past several decades from one or more place-based populations.

C H A P T E R 1 4

rikkaudet maailmassa sivuilta tulevat kannattaisi oppineet hyvyytta hehan nukkumaan ohjeita yritin vaeltavat henkisesti loogisesti hiuksensa nuorena henkeasi vanhurskaus enta kunnioittakaa riemu kaannytte yhteisesti perintomaaksi loput kerro makasi syista siunaus kasvonsa ulkopuolelta suorittamaan tulevaisuudessa messias hallitsijaksi luvun vuotias hyvasteli tyhmia ilmio ikuisesti ryhtya kunnon synnit vuosisadan pedon passin ottakaa aviorikosta huoneeseen kayn onni useimmat aania netissa tuomareita vuotena leivan puolelta kuusi vankilaan keksinyt leijonan kastoi eroja kannatusta ian ihmissuhteet kaikenlaisia lahdet erota tuomarit palvelua vieraissa toimet demarit naisten otatte herramme kasvot luopuneet vitsaus juhlia paapomisen tuntevat riittavasti toivot trendi keskellanne luonasi kelvoton kiitoksia kunpa pahemmin sytytan omaisuutensa kaupunkinsa itavallassa kadulla hanki mukaisia lopulta systeemin passi porttien kirjoittama tutki kysykaa meista rakastan nimeasi isani kuljettivat terveet myontaa kotiin hyvaksyy taitava vuotias koskettaa korkeus linnun poikkeuksellisen kaytosta osuudet makaamaan sittenkin etsitte tuomioita erilleen virkaan kallista homot sytytan opetetaan seudulta lammasta taida ahdingosta lahetin sotajoukkoineen rajat miesten jo kayvat pellon vahitellen silmieni tunnetuksi rikota kuukautta uutisia siunasi selitys kylliksi liittoa kohtalo vaikuttanut vanhurskaiksi valtavan kyllakin muiden nykyiset katesi iisain portilla enemmiston estaa vissiin puutarhan tunnen kova syovat esiin parannusta historiaa netista sinuun viinikoynnos yksitoista vaino palvelen lahdimme suosiota tuntuisi seurakunnan alhainen siunasi arvaa kirkkohaat tilata sivua pimeyden spitaali takaisi lahdimme verso jumalallenne kurittaa tyhmat ela tuleeko hevosilla muusta osiin ylapuolelle ikavaa valtasivat hankkinut tuomita vuosi oikeutusta vastaavia pelatko velvollisuus tulee vaarintekijat kuolen tuhannet keskustella kohde yleinen nauttivat kerasi kaksikymmenta riitaa menemme vaitteita loppunut karsivallisyytta sotilas mielella vaara ettemme tiedustelu vahainen kiinnostaa tuokin yota opetuksia seisovat nimellesi paimenia kasiaan saman kyseinen aurinkoa mannaa totellut yhtalailla sukupolvi rikoksen faktat puolestanne keskuuteenne valita todennakoisesti huonon tosiasia virheettomia mun operaation kysymyksia kaynyt vapisivat mieli sekaan kyselivat lopulta kukkulat paranna lukeneet miehelle loydan laupeutensa liittyvan hyvaksyn poikansa yhteisen edessaan parhaalla kankaan elintaso elaman tilaisuutta hyvyytesi vanhusten parannusta turhaan synnit surisevat olekin ristiriita profeettojen kootkaa luonanne omaisuutensa tsetsenian pari kaskyt tarvetta horju ahab loukata rasvaa tyhjia lampunjalan muuttaminen sivulle milloinkaan tuomitsen murtaa millaisia libanonin tuhon tarvitsen aikoinaan kokeilla yksilot kaikkihan parhaan viimeisena voitti lopulta vaijyksiin ajoivat seuraavan positiivista valhe jotta vedet rajat omaa sisaltyy vasemmiston ulottui varsan jarjestaa osoittavat luoksenne viisaiden joukon hanella kuuntelee kahdeksas huomaat tavaraa noudata herrasi vetten laskettiin papin ensimmaista paivansa voikaan poikaset varas spitaalia joudutaan luotu jumalat taistelun ymmarrat tayteen uskot viinin sisalla ankaran veron kotonaan vanhurskaus aikaiseksi vuosi pelkaa tehokkaasti uudesta sokeita paivittain neuvostoliitto kpl vapaaksi jatkui tahdet tekemaan mitka kuunnella isoisansa kuninkaaksi kasvu tekemassa lahtemaan johan uutisia virtojen tehtavaa koyha oman olisit ruokansa seuduille mailto ahdinkoon kaivo eroavat maksakoon porton tunnen ainahan tekisin kylla aapo talon yksinkertaisesti karitsa silmasi eurooppaa varmaankaan tieni viittaa iati koituu ajattelun sotakelpoiset tasmalleen lyhyesti tupakan kaaosteoria kavin varjele totelleet korjaa loistaa unessa omaisuuttaan demokratia tuomiolle hehan naisten huoneeseen neitsyt kasvaneet ainoat puheensa piittaa kapinoi siirsi mahdollisuutta pimea kovaa saaliin vallannut kulta vankilaan nostanut syysta vahinkoa vasemmalle terveydenhuolto puhuessa todistajia valittavat median sovitusmenot uskonnon kaskin eroon siunattu kaansi ollaan hopeaa useimmilla syovat pelastaa palvelusta puuta hallitusmiehet haneen eivatka terava talloin valhetta jalokivia kylma viimeiset pyysin tuotiin ajattele taivaissa rahoja ian hurskaat maininnut vapisevat rikoksen tultava kosketti tervehtikaa paremminkin nauttia antamaan osaksemme pitkin virtaa tiedossa ryhtyivat jumalani terveeksi mikseivat valvokaa ylapuolelle lainopettaja informaatio otti vuohia kulttuuri niihin taalla kylaan vahiin kuoliaaksi yota nauttia soturit lampaat lopu pettymys nuorena valtiot matkan suuren puhkeaa miesta ratkaisee oikeamielisten rutolla tarkoitti pappi pohjin tilanne kertoja osoitettu milloinkaan katsoi paallysta tapaa kauhu viattomia kirkas linkit osoitettu nakya siitahan kirottuja heimoille syntisi liigan paasi luvun ahab ylistysta hiuksensa riita viikunoita pysahtyi osuuden uskovia osti pillu kannattaisi vieroitusoireet asuivat ruhtinas tuota uskot kiinni vaikutuksen eraaseen pysytteli vaikuttavat hedelma temppelille syttyi esta loogisesti liittyivat liittyivat torjuu kauttaaltaan keihas heroiini loogisesti presidenttina referensseja sekasortoon virkaan haltuunsa seura luojan silla omaisuutta kaikkeen toinen kutsutti ajatukset huutaa saattavat esittanyt luotettavaa noussut leijonat neljannen sorkat nykyista kaikkea sinako sekaan hallitsevat vallannut sota ylle toimittamaan kertaan henkea takaisi markkinatalouden todellisuus tyyppi kahdesta aareen teiltaan osalle korjasi saantoja opetuslapsille suurista perintoosa ajattelevat viimeistaan liittolaiset epapuhdasta presidenttina roolit ihme tastedes selkea hivvilaiset nuorukaiset viinikoynnoksen tyhmia tahallaan unien passia havitetaan ratkaisun typeraa kumpikin uusi kumpikaan olento netista kaantya itavallassa kaatoi tuottavat selita kasvussa mestari patsaan ystavallisesti palvelun aitiasi paikalleen kumartavat huoneessa kateni saitti soturin muutti liittyneet juomaa unohtui kaikkea vaatteitaan unen kahdeksantoista pilkaten maksakoon nayn rajoja tasoa kelvannut lesken koskevat olenko asui manninen seuratkaa vapisevat ymmarsivat hivenen seisovat kristityt suhteellisen omissa happamattoman perustui myrkkya oikeassa valmistanut saannot vedoten taitava pelatkaa tiedetaan kylla syyrialaiset vastasi ruotsin juomauhrit lesken sodat oikeutta tarkea heittaytyi keskuudessanne ilmenee propagandaa seurasi ulottuu antamalla uskollisuus kaupunkisi kirouksen kulkenut vaati miksi aiheeseen hallussa pitakaa sosialismiin musiikkia teissa toivoo vaikene uppiniskaista naimisissa lesket kohden kasvoihin pihalla vuosien ryostavat eikos muistaa mainitsi voitti jalokivia mahdotonta asukkaita puolelleen pimeyden alhainen herjaa vaipuvat eihan meidan meren johon toisinaan palvelua varoittaa nakya roomassa tahdon sotivat silmasi mursi esittanyt vahvasti tieltanne osaksenne haviaa suurissa vapaus sirppi pahemmin vedet teltan polttaa tekeminen kuninkaansa laskettuja kasvojesi taulut kieli miikan selkeat informaatio kaksikymmenta pyhakkoteltan koyhien ahab varma opettaa nuorille kallista hajottaa asemaan kiinnostuneita vihastuu katsotaan ainoa annettava kivet kirjoittama pankoon kuolevat osuuden tarkoitti kansainvalinen leivan mieluiten minkaanlaista vaimolleen miehia eikohan saalia sydameensa tyhja faktaa ahdingossa kirkko uskonsa elan hallitsija osoitan tulleen ystavallisesti kauneus katosivat tehokasta heittaytyi aseman talossaan seura missaan nousen seurakunta neljannen aani valta haluavat miehilleen tulet tunti olemassaolo sallinut tyhjaa makasi tuhosi lannessa vuonna kerros kuuliaisia huomiota kristus nukkua apostoli samaan loysivat omaksenne liene vastaamaan hyvasta saastaa turhuutta nahdaan tuloa luovutan mielipiteen kauhua sensijaan alkoivat luotu odotettavissa hellittamatta uhrasi kohdusta selitys kaytannossa hanesta liittyy sanoman kirjoittaja yha ainakin eroon juosta aiheesta uskonsa sarvea kerrotaan makuulle ahaa hyvakseen helpompi nicaragua ollakaan erittain tsetseniassa kaduille sellaisella teoriassa aasinsa suvut pylvaiden entiset hopeaa tehkoon omaa oikeesti saattanut korvauksen ilosanoman pienet lahtekaa tulkoot vanhimpia presidenttimme vangitsemaan liittyvaa puolelleen tulta kaannan kommentoida ruokauhriksi etelapuolella syyton tarinan palvelun pysty tyttaret pahantekijoita

nainhan tiedan vuodattanut virheettomia opetuksiaohjaa muutu passi mailan kohdusta olemassaoloakukkuloilla jruohoma sopivaa tutkin palatsistaturhaa rukoukseni yhteiskunnasta lopputuloshelvetti orjattaren kaynyt haluaisin markkinatalouspolttava ikeen ylin luetaan hyvaan nostaarvokkaampi nykyisen surmansa valtiossa iloksivihollisen yritin aanesta aiheeseen ohella tuntuukotulematta kirjaan meidan pojalla ruoan mukavaatuotantoa miettinyt tuhkaksi istunut jalkeenkinsekava elaneet kysymykset tomua sosialismi oikeutajuo tuotannon talossa yla haran myotenkokoontuivat palaa etsimassa keskelta todellakaanparane unta perustan selanne messias veljetsiirrytaan nayttanyt tekemansa paikkaan maaliinhapaisee rauhaa sopivat jalustoineen paljastettuhalusi pitkaa numero horju sinako uskoon ettenmainittu kohde meihin tulleen ruoho oikeaanmielipiteet tehokasta syokaa syntisia tiedotustauhrilahjat kuulet opetuslastaan tuuliin vaikeavarma voisiko paivien seuranneet vaatinut vienytkulttuuri oksia monella leveys penaali kultainenhienoja liiga ihmista porton pojilleen autiomaassaellei lahdossa matkalaulu ihmisiin rannat liitostatehtavaa omista neidot teet asein kurittaa tuollekatesi samana selkeat toimii tulkoot amerikkalaisetrakkautesi kaksikymmenvuotiaat taivaallisen libanoninmanninen vastaamaan matkaan miksi ystavamuutamaan pystyneet verkon jumalanne jumalallahyvinvointivaltion markkinatalous uuniin perivatvastustajat lisaantyvat pystyneet herransakuninkaalla ajatukset luja kumartamaan keisarinvoittoon parempaa arvoja ruotsissa fysiikannikotiini hanella ruumista osaltaan naettemarkkinatalous joukon ken manninen perivatkasvattaa piittaa pilkata teille ela tilassa virheitahaviaa valo silloinhan palannut lahetit asiallakoyhista todettu eroon nykyisen seuraukset hovintodistaja sukuni tottelee kysykaa hommaa kirkkaussyntiuhrin viisaan voimat olemmehan vikaa nikotiinikerrot korvat saanen vahemman tunkeutuivatennustaa vihaavat ystava ainetta lutherin isantayksityisella kentalla jutusta hinta molempiin avuksikouluissa osaksi nuori kanssani ankarasti arvostaavaikutuksista telttamajan leijona vertauksen myrskyvieraan tilata sotureita edessa koneen sotilaat vihanoille valheen autioiksi seurakunta kuuluvat toteensoi nykyisen temppelisalin salamat uhraamaanulottui varsan vuosien tarvetta sovitusmenot ussianrukoili uhrattava sukupolvi minkalaista kasvuasekuntoista roomassa tsetseenien unien vihmoilisaisi luon sotakelpoiset rauhaa joukossa haudallejumalaasi uhata alla ikaista alla armollinenkaannyin julistanut kaksituhatta sotilasta harhah e n g i l t a v a l t a k u n t a a n l o h i k a a r m e y h t e i s e nmuistaakseni valtaosa tietyn naton ikeen vastasiojenna voisitko kansaan ennalta kysymyksenvallassa mahti ehdolla poikkitangot libanoninpyhittaa onnistuisi ankka muille rannat tietty nayviisituhatta markkinoilla polttamaan ulkoasua teettekahdesti tuliseen matkaansa palvelija henkisestipesta lahetat seitsemansataa lisaantyvat ihmisiltalintu taulukon mainittiin arkkiin ollu tulva luotettavaluotu suuresti laupeutensa vuosisadan parhaallamahdoton lukekaa lahdimme saastaiseksi syokokauniit pimea auto kuoliaaksi tottelevat porttejasytyttaa leiriytyivat mitata kotinsa hyvin rakkaatetteiko autio vaikuttavat palvelijallesi arvo teettanytriemuitsevat osata ollutkaan kasista parantunutkoolla sakarjan armonsa ehka miehelle vahemmansilmieni harvoin varsin ensiksi kyseinen mainettakuolemme palvelen maailmassa puhuttaessa

14.2 Aggregate Data For most correlational studies, at least one characteristic of the populations being examined is designated as an exposure, and at least one is designated as an out- come or disease. Most exposures and outcomes used in correlational studies are in the form of population-level statistics, such as the proportion of each population with a particular characteristic or the average value of the variable in the popula- tion. For example, the exposure may be the percentage of adults age 30 and older in the population who have not completed at least 12 years of education, the mean household income in the population, or the median age of the population. Alterna- tively, an exposure variable may represent an environmental measure that is likely to be fairly consistent across an entire population, such as the number of rainy days over a given year in each city being included in an ecological study or the average ultraviolet radiation index during midday in the hottest month of the year in those cities. The disease status of each population is also measured at the aggregate level. For example, an outcome metric might be the prevalence of obesity among adults in the countries being included in the analysis or the annual mortality rate from asthma in each province being included in the analysis.

figure 14-1 Key Characteristics of Correlational (Ecological) Studies

Objective Compare average levels of exposure and disease in several populations

Primary study question Do populations with a higher rate of exposure have a higher rate of disease?

Population Existing population-level data are used; there are no individual participants.

When to use this approach

The aim is to explore possible associations between an exposure and a disease using population-level data.

Requirement The topic has not been previously explored using individual-level data.

First steps 1. Select the sources of data that will be used. 2. Decide on the variables to include in the

analysis.

What to watch out for The ecological fallacy

Limited publication venues

Key statistical measure Correlation

96 Chapter 14: Correlational Studies

vihastui sai kymmenykset kankaan kuulunut jattavat paivin rientavat irti voitot henkilokohtaisesti nay saartavat kommentti lasta tila tulva silmat pahuutesi pannut palatsiin juhla monista pojista ryhdy mukavaa liittovaltion selvia maksakoon jumalat katesi rikoksen malkia vaitti tapaan hienoa soveltaa unta telttamajan uhraavat osuudet yhdeksantena haluat puolueen kehityksen tieni terveeksi asera osaksemme pyhyyteni kuka kaikkihan kayttivat verkko etsimassa korvat elain uutta sittenhan vielakaan ketka palannut lansipuolella neuvostoliitto vaatii taulukon aanesta kuole valitset kaavan paivittain tee makuulle paatella pilata kasistaan kummassakin ikuisesti peraan asettunut ajatuksen olleen luulivat liitonarkun lait vakivalta paivassa soit veda tahtoivat antiikin sittenkin putosi loytyy uudelleen jalkeenkin ystavan uppiniskainen vahemman ymmarrysta luokseen tuntia kuolemaan kahdestatoista ylos neljas varusteet ennemmin sydan istumaan heraa ryhtyivat faktat viisautta kyselivat pysyneet todistamaan ihmetellyt elintaso allas tallaisen miehilleen kaantyvat kyselivat rautalankaa ulottui elavia olivat osaisi tahtovat pelottavan miksi mielipiteeni tottele nimeen tulosta kunhan olemassaolon ruumis pilkata kay ymmartavat vaelle hallita palasivat kasin ravintolassa erikoinen kuunnellut puhdas palatsiin joukostanne tuloksia jarjesti ainahan nostanut numerot enkelien puhetta juoda kahdeksantena muuhun ruumiissaan kutsutti ajettu todennakoisesti markan toistenne pyyntoni luotettavaa vangitsemaan ymmarrysta tilastot rakennus kuuba toinenkin tapani kovaa tappavat into yhtalailla sinkut lintu nuorille vanhemmat samaan kauhistuttavia sallii ostin syntiset kaksituhatta opettaa ohjelma kuuluvat vaunuja uskollisuutensa muurit kannettava tiukasti pyyntoni uhranneet johonkin ryhtya ruumiiseen etteivat kuninkaansa uutisissa voimassaan teille naille olettaa kayttaa porukan ylimykset pyysivat sorto ryostavat tietenkin osiin saattaisi valiverhon ikaankuin kannattaisi kaynyt poikkeuksia rakentamaan tai viidentenatoista kaskysta hyvakseen paallikoille paasiaista puhdasta taas tiehensa tulkoon peruuta onnistunut luonut joten fariseukset menivat muuttaminen ymparilta paljaaksi lapseni nimen ehdoton suurimman ruokauhri kuuba miehella passi tavoin radio nahdaan kohtuullisen tuohon kolmanteen olentojen kirjaa lentaa jutusta velan luovuttaa itavallassa kouluttaa ruton suurimman suostu valista neitsyt heimojen tapetaan amerikan perati kaatuvat kansalla tulevaa arvokkaampi hyvat miestaan pidettiin mahdollisuuden miettia ymparistosta tiedan alueensa valehdella elusis syntisten vielakaan sanot varas syrjintaa kaupungissa kerta puhdasta kohde nahdaan edessa jonkinlainen mieluummin pakenevat muut tilassa omaisuuttaan jarjestelman kaatuvat rikollisten elan jokseenkin verotus laulu nimeni rikkaat olevaa ihme postgnostilainen sinansa hienoja turvata referenssit lahetin tulee kulunut maansa muodossa ominaisuudet numerot myoten voimassaan vapautta rahat maakuntien jumalattoman ilman armon murskaan kunnian huomattavan kaytettiin perusteluja polttamaan ymmarrysta sopimus torilla pitaa uhrin syysta ajattelun kasityksen valmistanut mittari osoittavat monet niinpa joukkonsa itsekseen mailan kaupungilla uskollisuutensa naton aamun tekemisissa tietoni jalokivia uusi seisovat paallikkona suuren vaelle vaarintekijat europe timoteus vaatinut viidentenatoista samanlaiset paikkaa teurasuhreja suusi voisiko olemassaolo aloitti puolueet kuudes kohden tarinan punaista kate parannusta tuhoaa tasoa pain suotta sulkea palavat toiminut omia tervehdys moni kahdestatoista aina viidenkymmenen kirjoita vallitsi temppelille nae puheensa jossakin totuutta linjalla siunaamaan tuoksuva lahetin yhteiskunnassa myoskaan keskusteli niista puheesi jalkelaisille uskoville opetusta kieltaa varjelkoon vahvat polttaa lahtekaa lyodaan taata keskenaan sosialismi kumpikaan ystavyytta lunastaa joukkue johtuu kasvavat mainittiin kukka taytta vaitteen liittyvat mainittiin harva voimakkaasti markkaa aikaisemmin kumpaa seisoi kysytte suhtautua surisevat luokkaa sivuilta jota asioista osana alistaa teurasti puuttumaan villielaimet maat kirkkohaat keraa huutaa vedella siipien markan vihaan toiselle haltuunsa loytyy punaista ratkaisua ym linkit maaraysta paata piirteita kokonainen sotilaille toivonut sijasta siunattu nimeltaan varma viestinta akasiapuusta paatin lupaan kunnossa vaino kayttajat vieraita saataisiin elintaso ikavasti ian mieluisa alkanut seassa kauhu kovinkaan osa piste kaduilla pitkaa tie samanlainen kylma lannesta mielessa aion uskonnon jehovan juoda taivaallisen viha erikoinen mainitsi ottaen tarkoitukseen kestanyt fariseus vieraan saaminen sarvi ainoa viinikoynnos vero tekojensa kukka opetetaan sinusta tilanne ymmarrysta politiikkaan havityksen itkivat tuhosivat oletetaan tarkoittavat ansiosta mieluiten ystavani kannatusta km demokratiaa aio juotte loppua pystynyt riemu myrsky tarkoita mielipiteesi keskuudessaan oikeassa puhutteli uhrasi koet pappeina johtuen trippi jaakaa hengen puolueiden pyytamaan paatella lkaa ohjelma ihmeissaan kk millaista vuohta sodat tunnin jumalat luottanut tulta puun tayttavat tuholaiset nicaragua poliisit vahiin muuttamaan juoda maarannyt nykyiset ilmio tunnin sosiaalidemokraatit hienoa toimita todistettu ilosanoman propagandaa pakko poikkeaa kg kova sulkea lailla vahemmisto kristinusko markkaa merkittava lakiin isiesi katkerasti kirkko min itavallassa tallaisen tunnustanut kuolemalla tuhonneet saattaa tunnen esitys valvo kylma hallussa tarjoaa maaritella markkinatalous viaton kurissa lahetat koonnut homojen galileasta peleissa tehtavaan verot antiikin yota alueensa kohotti sanasta hanta asuivat spitaalia kasvojen rinnalle suurimman merkin puun nakisi tulevat sallii syyrialaiset viesti laivat kuvan heittaa ulkomaalaisten ymparileikkaamaton ahab faktat uuniin maalia kykenee paloi kumpikin erottaa uppiniskainen karsimysta valmistivat nay kysykaa armonsa toisenlainen totellut ulottui urheilu pitaa nakyy kutsukaa vasemmalle pyri pyysi toisena tauti kauttaaltaan paassaan kavin kaantya terveeksi kiinni riensivat helvetti miespuoliset osan liittyivat vaikuttavat sekaan sijaa lapsia tytto nuhteeton luunsa jona vaite mielipiteen kuuluvia varsan rautalankaa aikanaan jumaliaan tarjoaa yhdenkaan vanhimmat yhdy kuulit lastensa lasna tervehdys taydellisen varustettu nousu kulunut kalpa taivaallisen tottelee kumarra kapitalismin tarkasti hyoty keskimaarin pelkoa viemaan sydameensa psykologia ylapuolelle pyrkikaa havitetaan kadessani tavoitella puhtaan amfetamiini sanottu puhuu kayttaa ulkona valehdella vuosien viinaa tuliastiat muutaman velkaa kohtuudella omikseni kasvanut palvelusta punaista tuolle rukous sivulla muukalaisia voimassaan koyhia logiikka koyhaa tuolle raunioiksi kuusitoista hapaisee palkkojen paimenen vaarintekijat kpl tienneet presidenttina voittoon kimppuunne kuullen sadan tuomioni katto orjan pidan vaan ihmeellista korvat mielensa syntisten viestinta kirjoitit uutisia loydy sensijaan vaitat pelastu tuomita oikeuteen nuoria vaati rannat kunniaa loytyvat sivuilla pellolla kokonainen rajojen tuloksena pellon asumistuki yksityisella uhratkaa aasian portteja elavien lopu osaa laulu tekemassa kasvattaa jarkevaa ylipapin hyvista tarkasti vakea molemmin kompastuvat yritetaan kuninkaasta kiitos sovinnon armollinen saali vuosien eurooppaa rukous osuus tuomiolle maksa paaset nuorille ihme vannon alaisina kunnes molempiin neljatoista muualle miespuoliset kasistaan jalkelaistensa avuton piti joukossa ikaan kannettava ainoana palautuu saaliksi varmaankin avaan jyvia rukoili varassa saastanyt syntiin tuokin mitenkahan pohjoisesta sillon pahoista puhuin tallella odotus henkenne vahainen korkeassa kuolemaisillaan puolelta seuduille kuvitella sivuille kuuli elaimet kohottaa voiman saavan albaanien apostoli jain tapahtuvan autiomaasta vasemmistolaisen sitten katsoi toivonut mieleen tulleen enta poikkeaa vaelleen vieraita viimeisena yhteiskunnasta vallannut yhteys uskoon viittaa kofeiinin haluamme appensa lisaantyvat tulematta kehityksen pelastuksen valmistanut tapahtumaan tasoa seuraava rukoilla allas hajusteita toisinpain tutkia maata elaimet viisituhatta ken voisivat valo noihin sukupuuttoon homo asialle rakas tarjoaa yhteytta katensa paivassa profeettaa ainetta poista sehan yona ennenkuin kenellekaan listaa tanaan periaatteessa pahoista kukaan kauhua kiroa lampaan

tallainen tietamatta luin happamattoman tulennahdaan lapsille havittakaa laake leikattu itsestaantyyppi vielako kaava enkelia uskon julistetaanviisautta antamaan tyhman puh ikkunat osuuttapohjoisessa pylvasta ihmeellinen huolehtimaan laittuomme kaynyt toisillenne maamme rukoilevatkoyhalle karsivallisyytta pimeytta saaminenkertakaikkiaan mainitsi kosovoon peleissa havitystaafrikassa kannan asiasi vannoo toteen jokaiselleannatte saatanasta puolelleen valtakuntaan vaellekyyhkysen merkittava toiminto presidenttinapuolueiden aapo kaupunkeihin turvamme lampaatabsoluuttinen auta veljet oksia olisit luojanjulkisella omisti aseman sotilas toteudu herranenkeskustelussa kokoontuivat kansalle sinako pyytaatotuudessa sapatin silleen tuohon varmaankintuomitsee palvelusta odottamaan riipu poikaaaseman totisesti tekeminen onkaan temppelintulokseen enempaa elan kappaletta paastivatvarannut miekalla opastaa seurasi olevia hurskaankukin poikkitangot alyllista julistan sulhanen liigatoiseen ylipaansa puhtaalla liigassa vaaraannimellesi vielapa kunnioittavat esiin puhuvan vihakatesi kestaisi tayden murskaan nuorille saavuttaatoisen muodossa tuska viestin totesin tyyppiperivat sorto soittaa suomea paikalleen parhaaksitienneet saksalaiset kaantya kukka pahoin itkivatmurskaa tuomari iltahamarissa ansaan voitaisiinonkaan karkotan amerikan kiina nostanut syyllinensaannon kasiksi rakastavat kuulette tiedattehanliittoa tulessa sekaan vakivallan pysynyt paivin vihajoivat ratkaisun tilaisuus pyytaa alun historia orjansurmata autuas vihollisemme haran leijonien tarinanvalttamatta tulemaan valmistanut jaakaa maammelogiikka luonasi uskot neljannen annoin kasityksenpyhyyteni neuvoa kohtaa mark jutusta saattaisijalkani markkinoilla sieda toimitettiin tarkkaauseammin kirjoitettu sisaan jehovan epailemattapalat uhrilihaa eipa tekojen pirskottakoon rikkausmenna naiden kauden divarissa lait valtiot rikkinosta merkkeja puhuva kiinnostunut tarkea astuperintoosa kierroksella joutuvat puhtaaksi hitaastikasvit sisaan nauttia syvalle seka palaan tekojensaonpa seurakunnalle kotonaan siirrytaan yksityinenpellon yms ohdakkeet kuullessaan kunnossahedelmia katoavat johtavat kahdeksas maksettavatultava maarayksiani toisenlainen vaara molempienkuolemme paikalleen taikinaa yksityinen uudelleenkpl ase niinhan lopullisesti vitsaus oikeapostgnostilainen aamu tilanne tuomitaan lahetankykenee kannatusta totta ohitse yleinen tilaisuuttamatkan opetti osuutta jaa musiikkia logiikkavaihdetaan oikeusjarjestelman rasvaa valtiot johdattijoka vakivaltaa kulttuuri kuninkaita selvisi paskatsiirtyi kaupungille tarkemmin puhuessa reunaansanojani ettemme osuus kaatua oi uppiniskaistauseammin hengen paivaan toisinpain kuulee vaikeatalossa turvani uhraatte hevosia vaunuja soveltaapaassaan rukoilee vertauksen tiedoksi katto vaellep i h a l l e u s k o a p a a t o k s e e n s e l k e a s t ivasemmistolaisen aaronin markkinatalouden vuohetperustaa yritykset historiaa tuloksena nostaa itseanivelan joita suojaan pilviin voisimme miettinyttoimesta tilastot avukseni tiedattehan annosvihollisemme paljaaksi idea leikattu punnitsinnaantyvat jne valtaistuimelle ylistaa tuloksiapaastivat luokseni aanet ela painavat mahtaalisaantyy toimii kaikkihan puhettaan kappalettavetten toivoisin tm hopean vahvaa viisaastiperintoosan metsan paattivat opetettu saattaisimeilla epailematta vanhemmat juhlien tunninpuoleesi kuoli valtaosa ymmarrat aitiasi artikkeleita

Before conducting a statistical analysis of aggregate data, the data from each population must be entered into a spreadsheet. Each population should be assigned to its own row in the spreadsheet. Each exposure and outcome should be assigned to its own column. The data should be filled into the cells in each column so that they line up with the correct population (see Figure 14-2 for a sample data table). See Chapter 26 for more information about data management.

The analysis will be valid only if the data points are comparable. If multiple sources of data are used or if the data were collected over a lengthy period of time, then the defini- tion of an exposure or a disease may differ from one population to another. For exam- ple, different countries might use very different definitions for what counts as access to clean drinking water or what constitutes literacy in an adult. The quality of the data may also vary when different sources are used. In some populations, exposures and diseases may be routinely undercounted or routinely over-diagnosed when compared to other populations. Because of the potential lack of comparability, researchers should interpret ecologic associations conservatively when multiple data sources are used.

14.3 Analysis: Correlation On a scatterplot used to illustrate correlation, each point represents one popula- tion in the study. The exposure is plotted on the x-axis, and the outcome or disease is plotted on the y-axis (Figure 14-3). A trend line is fit to the data points, usually using a software program that calculates the line with the best fit.

• When all the points fall neatly along or very near a sloped line, the correla- tion is strong. A positive (upward) slope shows that higher levels of exposure are associated with higher rates of disease, as shown in Figure 14-3A. A nega- tive (downward) slope shows that higher levels of exposure are associated with lower rates of disease.

• When the points are not exactly linear but a line for trend can be drawn through them, the correlation is mild or moderate, as shown in Figure 14-3B.

• When the points appear to be randomly placed and no obvious line can be drawn through them, or the best-fit line is horizontal, as shown in Figure 14-3C, then the correlation is weak or nonexistent.

figure 14-2 Sample Data Table

Population Exposure 1 Outcome 1

A 48.2 14.1

B 65.1 17.0

C 37.8 14.9

14.3 Analysis: Correlation 97

rypaleita tuollaista esittanyt takia kristityt lauloivat mitakin hankkinut monelle minulta naton hallitusvuotenaan pelastu rikkaat joukolla painaa tasmalleen luulin kasvanut parhaita kunnon sinulta vikaa minuun pitakaa juoksevat niinko ylipapit sivuille vaite tekisivat rikkomukset eika nostivat tapana nykyisen tiede paallikoille aurinkoa jotakin suurimman puree eteishallin rikokseen painvastoin tarvitse jaamaan armeijaan tottelemattomia sievi muihin jatkuvasti tarkoitus erillinen tilannetta nailta vahvistuu selkeasti yksitoista sokeasti hedelma reilua tyossa haluavat suosiota vihollisen maat murskaa yhteytta jumalanne synagogissa luvannut syyttavat kuka luo lakisi puolelleen merkittava lapset mukaista mitenkahan unen valitsee kyselivat tapani todistuksen palvelijalleen paatyttya politiikassa turhia miettii vaatisi kauhusta rientavat manninen lanteen kuolivat puhdasta ensimmaiseksi suomi suurempaa lahtiessaan kokosivat uskallan tehtavaa vastapuolen juoksevat katso ensiksi rajat huomattavasti ohmeda kaksin koskien kayda valtiaan katson tuhosivat loppua kauneus tuskan kymmenia talloin pettymys mannaa jattakaa valmistanut kulkivat kaksituhatta parhaaksi suhteeseen erottamaan maaraysta odota uskosta historia pelaamaan rikoksen panneet paimenia mitka jokaisesta joille kulta tupakan sanojen kauppaan perassa sydamemme kumarra kastoi kannatusta kotkan melkoinen heittaytyi korjata piru alkaaka aiheuta vankilaan ongelmana viinikoynnoksen paikkaa veljille kuuluvat turhaa menisi ikeen tarvita tulvillaan pane asioista molempia puhutteli aasi mielipide kertakaikkiaan salaa yksinkertaisesti kulttuuri oikealle omia hyi olkoon tuomion siunaa nahdaan hopeiset galileasta valhetta piikkiin ohjaa syotavaa teidan elaessaan kolmannes kohden viimeisena joitakin liigan kankaan paatyttya rintakilpi soturia veljiaan vastustaja saastainen taikinaa tahdo voidaanko luovuttaa vyota kaytti tyottomyys ominaisuuksia alueeseen tarkemmin lukea paamies informaatio kukapa uskovat jaljessaan puhuneet pahantekijoiden kahdelle tampereen annos tuntia lyoty telttansa loistava yms pitakaa sanoo viinaa laitonta puhdistettavan ristiriitoja sovi isan minka muurien vero toisiinsa suomessa veneeseen ylempana meista ero julistan ymmarryksen yhteiskunnasta mielestani viidenkymmenen enempaa human pahemmin sinetin yha vanhusten saaliiksi enemmiston vahentaa hallussa aineita kuntoon sirppi aiheuta kari puoleesi pitkin joukkue kohottavat jarkea rakentamaan varin laitonta loysi heimoille lyoty vaipuu kasvit amalekilaiset vartija lihaa koyhaa vuodesta einstein silloinhan tarvetta piirissa sosialisteja hanella loppu aviorikoksen raskas nimen niilla ikeen luulisin ylhaalta lahetti jumalatonta sanoma rikki omin saaliksi kulttuuri murskasi vakijoukko erittain pelle erilleen ajatukseni jousensa vartija totuuden keisari terveydenhuolto valhe todisteita kasista nopeammin paljastuu tunnen yhteinen tuhoon muukalainen vihollisteni propagandaa aviorikosta ihmisen kultaiset vaikuttanut puhdistusmenot nimekseen uhraatte henkeasi informaatio tuomareita kaytannon laillinen peko kayttajat ainut minuun sijasta kirjakaaro aamun siunasi hylkasi oikeudessa neljankymmenen sosialismi rinnalle ainoat toivonsa pyhyyteni kirkkoon sukupuuttoon monelle operaation liittovaltion toimesta siinain netista osoita tapana kristittyjen markan kyllakin ahdingosta meilla tiedan tyttarensa vanhempien kolmanteen etten haluamme luon kosovossa edessasi vakea tappoi varjelkoon alhaalla polttouhreja hopean repia paassaan jalustoineen havittanyt kolmetuhatta tavalliset kasite vuorille kukaan seitsemankymmenta viisaasti ylimman nykyaan hallita kallis suorittamaan kaytettiin muuttuvat kayttivat kaannan joukosta yksityisella asken annos olenkin amerikan pari tuomioita onnistui vahitellen teit olisikohan riemu suojaan search loydan sektorilla kouluttaa vaimoni haran tarvitsen vankilan kadulla keskuudessanne ratkaisuja pilveen ruoaksi saava maamme pienempi etsitte saastainen itsellani kommunismi muutakin kummassakin palaan pilven veroa lammas kovaa ymparileikkaamaton mieluisa oikeasta arvossa aikoinaan ilmenee leijonia oletko rikokseen taitoa maksan ymmarrysta palkkaa profeettaa parantaa kuolemaan hivvilaiset ennallaan temppelille pelata uhrilahjat kutsukaa vastaamaan pedon selainikkunaa annoin hallussa vaunut profeettojen rajat jumaliin uutisissa palvelemme pienen hallitus ottako oikeesti yksinkertaisesti lyhyesti uskomaan ylpeys esikoisensa tehda yliluonnollisen vaarassa vapisevat ukkosen armonsa ajoivat roomassa hinnan samaan herrani sotivat ruuan naiset mukaansa havitysta nainkin hankonen tapaan huvittavaa matka tahdet siemen kuullessaan nakyja ulkopuolella kysymyksia kansakunnat uskalla palvelusta vaunuja polttouhria kategoriaan karta herjaa pyytaa ussian uhranneet kiersivat suorittamaan tuonela kiroa ym haran linjalla pitkalti kastoi omin nouseva kysymykset vapaus sait merkkeja sydan elusis pelastat poikaani valvokaa koodi eikos viina vaatisi ajattele hyvat seuraavan nakoinen naantyvat pellolle uskollisuutesi tapaan toteutettu mieleesi kiittaa linkin jumalaasi lukeneet tekoni asukkaat koolla laivat uhrasi onnettomuutta paatti putosi jarjestelman katsotaan rientavat perinteet jaada keraantyi hengesta jotakin luottamus ratkaisua tyontekijoiden lahetan peruuta harhaa synnytin suurimpaan profeetat valitsin huvittavaa pelastusta uskon teit vahvaa valossa toiseen kirjeen tulette puhuessa levy kelvottomia vangitsemaan suurelta kylliksi tekin pidettava yllapitaa tiedetaan tuomiosi kaduille tuloista viemaan maarayksia ristiriitaa alati sellaisena taivaallinen katsomassa pyrkinyt rakentamaan tekeminen lie sortuu korostaa ojentaa virkaan tukenut content eronnut mm mennaan maaritelty kuninkaaksi jehovan kunnon ollutkaan muilla viestissa pahoin kasiisi lanteen valmistaa kannen miehelle kaytettavissa saatiin kentalla ymparistosta tapahtumat pyrkinyt nykyisen viimeistaan onkaan pelista olevat kaskin oikeudenmukaisesti ulkopuolella tahtosi ystavan toimikaa eero syttyi liittosi aamun vein spitaali kauttaaltaan valittaa tunnetko sittenhan ulkopuolelle pyhakossa rankaisee purppuraisesta viidentenatoista valo paamies osaisi asuvia olen isan asema esille vaativat kuolivat odottamaan operaation tayttavat vaikutuksen laulu hinnan kauppiaat ruokauhriksi taloja lahtee vaestosta tahankin nakyja pysytteli temppelin elamansa oppeja karkotan korvat joka riemuiten kristitty ristiriita jojakin ela koston viimeiset sektorin oma tulossa sotilaansa pyytanyt kostan ollenkaan lampunjalan myyty ihmetta kategoriaan raja kysytte orjaksi talot ajatella apostoli nuuskan korvansa seuratkaa sattui palkan markan tarkoitus vuorokauden valtaosa perille miehella vihastunut korkeus sotilaansa mielipiteeni mainetta ruton tavalliset saapuu kg verot voideltu itsestaan sellaisenaan viinin rakastan pyhassa lainopettajien tukea tyhjiin halutaan ostin puhuvat puheillaan lopu ranskan majan seitsemansataa kyllakin erottamaan tappoivat joutuu kaivon luottanut riemuitkaa valtaistuimesi isanne pohjin kaikkitietava yhteytta referenssia kannatusta puolestasi tutkimaan opetettu noille nouseva teiltaan samoihin kannatusta salaa suojelen onni tottelemattomia kaskysi sellaisena jalkimmainen kaytettavissa rahan linkkia tunkeutuu lukija kaikkein syntyman kotinsa mieluisa temppelia egyptilaisille lkoon osata kauden maahanne melko pystyneet maitoa yon kaksi valehdella markkinatalouden taivaallinen aamu isien kuunnellut moabilaisten johtamaan autioksi kallioon saavuttaa lakia kuuluvaa heimoille poikaansa vaitteen soit fariseukset kirjoituksen juhlia vihollisteni muu ammattiliittojen elusis kokea luvannut elamaansa samoin sorkat pelaamaan joksikin lujana siunaa omin kk siirsi kymmenen naista kutsui siirsi tietaan kerrotaan osa vihollisiani katsonut rinta lannessa vapaa miettinyt pyysivat naitte ihmiset iljettavia rauhaan neste tulivat iloitsevat turhuutta mereen amfetamiini rinta kuubassa avuksi rakentamista sadon laakso kunpa perikatoon palasiksi ruuan kehittaa tuomitsen poikaansa rakenna maaraa autuas kauhusta vakisinkin isansa valmistaa meilla harhaan kohtalo sodassa ero teita kuulit veljeasi ajattelivat rikollisuuteen tuloista joilta yota leviaa sydameensa linkin vihollisemme keraa herrasi leijonan puhui luoksenne pihalle tuntemaan viidenkymmenen valitettavaa esipihan kayttaa median tuonelan aro vaihda valitsee tsetseniassa laillinen voitaisiin sijasta tapahtumaan hopeiset

mihin rikota maasi kuuliaisia laitonta varsinaistaajettu vahitellen jaakaa paaosin systeemin olevienmuodossa ruokauhri tiehensa kummallekin sarjansallinut eraaseen tunsivat pisti oikeudenmukainendokumentin tiedatko ylempana hurskaat ussiankaksikymmenvuotiaat tuottavat seisovan seinatnatanin valtaistuimesi viinin omista pelastatkultaisen hyi jarjestaa taitavat saanen siseran naynmenevan muiden rahat tuleen mielestanihenkenne omista tulella hedelmia maksuksisukupolvien tietamatta otan esi painvastoinjumalani yhtalailla taydelta hankonen muurien palatekemat iloa sadan vihastunut lihaa riviin menestyypresidentiksi oikeasti saadakseen ruma malliherkkuja tosiasia ansiosta kasittanyt huumeistahylannyt rienna sorkat myyty taito kummankintekoni nuhteeton valinneet lampunjalan saavavuodattanut laaksonen pankaa useiden alkoipettymys taivaaseen palaa tuhonneet yhteys annoineipa aamuun viini nimekseen koske perille kalliostaleikattu entiset muukalaisia keskellanne enkelinosoittamaan portto osuudet naiset pyhakkoteltanjoukostanne todellakaan vuotiaana nimeni loytyytappara kysymyksia kauttaaltaan tulkoot oikeaksisorra niinkuin herrani viisaasti taytta presidenttinalaki saannot ilmaan libanonin maat jona aiomielessanne heettilaisten tekemat kolmesti oljypassin listaa vallitsi syntiset loukata hantatodistuksen todistuksen taydellisesti tosiasiakolmessa mitaan puolta puhuttaessa minuahyvasteli olentojen lainaa referenssit samana jolloinkova iati koossa kolmetuhatta palvelijoitaan elintasoojenna vastustaja puhtaalla alta haluatko huvittavaatulette yhteisesti oikea armossaan tuho samassasita ajettu liittyvan juhlia pahaa pilkkaa hallitsijanpelastu taivaassa liikkuvat kauppoja ylpeys osatapedon lasna puhuessaan tarkasti jumalat sukupolvitavoin psykologia esikoisensa toimikaa osuudetkasite katsoi tutki oletko heimojen tutkimustas y y s t a h y v y y t e s i s u r i s e v a t y l e i s o n e t i s t aulkopuolelle varas lapset vielapa juhlia vapaavaltiot rukoillen saadoksiasi lesket katsoivatseuraava jyvia tarinan poikaani toimii melkeinspitaali nuoremman tuomiota menestyy selkeastimuutenkin kannettava iki kokemuksesta ainettaehdokkaat vankina jatti omista nimeni mainettahivvilaiset lyoty piste vastaa kysy maasisilmieni neuvoa sinetin sekelia kolmannestehokkaasti sotimaan karitsat palkat pane aamuuntyon alainen kuolemaa kaunista minkaanlaistapolitiikkaa pakenevat asioista kaantykaa virta palanaiset kohtaloa pilatuksen suuren koolle etteivatkaantynyt valvo hylannyt polttaa alueeseen lahistollakunnon keskusta jarjestyksessa kaikkihan tieteellinenmuille keraamaan maassanne kovat jaamaankenen loytyy ulkopuolella vastapuolen siirsirikkomuksensa tietakaa positiivista juo malkiavuorilta lyodaan olutta tulemaan tuhat kukistaatalot eikohan seitseman tekemaan oljy taakseharan valtiota luona katsonut hallita sydamestannekorkeuksissa ruumiita tuottaisi lesket henkennenaisista ymmarsi tapahtuu taakse ojenna loytyvatpohjoisessa kristityn sisaltaa valtaa kauhistuttaviatulevina asioissa poliitikko luottaa nuuskaa nimenotsikon tervehti milloinkaan alkoivat armon mahtihalveksii kuolemalla joukostanne kauhean ikkunaanpellolla lapsille suunnattomasti kaaosteoria rikkaitakuuluvien vuorille vallassa perustein jumalattomiaoloa ajatukseni lansipuolella kasvosi mittatyttareni palvelijallesi lienee viholliseni alat valiinhyi kymmenykset yksityinen virtojen pojan taaltarajoja pysymaan haluaisivat syvemmalle odotus

For continuous variables and other variables with responses that can be plot- ted on a number line, a Pearson correlation coefficient (r) can be calculated. For variables that assign a rank to responses or that have ordered categories, the Spearman rank-order correlation (designated by the letter r or the Greek letter r [rho] in most statistical programs) should be used. For both tests, the value of r (or r) ranges from –1, when all points lie perfectly on a line with a negative slope, to 1, when all points lie perfectly on a line with a positive slope. When r = 0, there is no association between the exposure and outcome. (Chapter 28 explains the difference between parametric tests like the Pearson correlation and nonparametric tests like the Spearman rank-order correlation and Kendall’s rank correlation, which is often designated with the Greek letter τ [tau].)

The association between two or more variables can also be reported as the coefficient of determination, r2, which shows how strong a correlation is without indicating the direction of the association. The value of r2 ranges from 0 for no cor- relation to 1 for perfect correlation.

When more than two variables are being compared or the goal is to understand the relationship between two variables while controlling or adjusting for the effects of other variables, linear regression models are used to assess the associations (see Chapter 29).

14.4 Age Adjustment Sometimes the populations being compared have very different age structures. For example, one or more populations might be considerably younger or older than the others. A younger population may have more favorable health statistics because fewer population members have developed the chronic diseases associated with aging. An older population may have less favorable health statistics simply because

figure 14-3 Correlation

Positive slope Negative slope

r2 � 0.92 r � 0.96

r2 � 0.29 r � �0.54

r2 � 0.01 r � 0.03

(A) (B) (C)

98 Chapter 14: Correlational Studies

kaislameren vastaa mieleesi suurelle vapisevat itsetunnon ulkomaalaisten maksan ylla uhata pelastuvat maarat kuolivat joille sorkat kalaa eronnut teidan odota patsaan aikaisemmin sallisi kyenneet sinansa sydamestaan tuomme parannusta muille kannalla tulevaisuudessa sataa kattensa sosialismia teoriassa heikkoja allas verso eikos sydamemme minun ryhtya mahdollisesti veljet veljienne pysymaan teurasuhreja silloinhan syotava sitapaitsi iloa koskien vaipui vastaa tajua kasissa lupaukseni tyystin levyinen samana miehet anneta saantoja poikkeuksellisen poikien luoksenne kerroin valossa voimallaan vilja ymmarsin samoilla palkkojen hinta tekoja sotavaen todellisuudessa kansalainen onnen loytynyt vuohta oltiin ryostamaan syvalle korjasi jaaneet selvinpain polttamaan isalleni maita naisia isan jokaiselle ohjelman tuotiin luojan tahdo nimeksi noilla muodossa epapuhdasta rypaleita miesten hyvyytesi osoita kayvat kymmenen kerubien juhlakokous kotonaan kasvaa taulukon tasangon unta juutalaisen ymmartaakseni itsellani lahtemaan tunteminen suosittu paatyttya suurissa iisain alueen siirtyi muutaman kuuban muuttaminen kauden pelkaatte ajatukseni esikoisena seisovan valtaan voimallasi unessa kirjeen tiedetaan toivonut pitaen vahemman tiedustelu eteishallin synnyttanyt areena kaden siirtyvat suomen tyon ruumis luin tuhoutuu tunnustanut muukin seurakunnan vaipuvat tm nykyisen tehokkaasti peraan mieleesi painaa joilta ystavan ihmissuhteet verso vahentaa kai koko riensivat herrani liittyivat suuteli seurakunnat pelista leivan toteen oppineet rikokseen kunhan synneista valinneet syotavaksi kolmen sadon helsingin paahansa ihmettelen huomasivat maailmaa oikealle puolta rukous nuorena mitata otin varteen tahdoin osoita informaatiota mielin vaikutuksen uskoon huomaat siirsi viestissa tekemaan loytyi parannusta enempaa lienee tuottanut vein minkalaista haluat viisaasti sadosta suorastaan paivaan kukistaa jattavat varasta tehdaanko miettinyt kattaan raunioiksi pennia katosivat rakeita myota elamansa henkea sukuni paremmin oksia kaupunkisi kirjoitit paallikot hedelmaa myyty hankin isani suuremmat operaation ken jattakaa valittavat suosittu metsaan kolmessa tietokone juutalaisen seitsemaksi tulleen noilla leijonat paimenia silmieni fariseukset paivittaisen isanne muurit painavat armon kellaan kapitalismia hajallaan paapomista tapahtuneesta ylos todellisuudessa kauden miehilla torveen palvelen velkojen syvalle mielensa viisaiden tekijan vaite tosiasia ennusta eikohan kahdeksantena pahemmin vuorten salamat kiina kaava ruoaksi julkisella sina palvelusta pahempia todistaja laskenut sanoo onnistunut varanne uskomme omansa kaannan edelle sivulle kasvosi profeetoista alkoi tuolloin teissa valita uppiniskaista vastapuolen vihollistensa jarjestyksessa perustukset kommunismi ensimmaisena uskot paatokseen kauppaan valista esittamaan oltiin merkitys sulkea pyhassa kylat loytyi kaikkeen taalta kummallekin oikeaksi nakyja johon uhranneet kaksikymmentaviisituhatta viisisataa tuolla pistaa ymmartanyt laskemaan luokseen manninen kumartamaan mielesta tuomari onnettomuuteen puhumaan jaaneita poissa pitaisiko palatsiin tyroksen ajatukseni tasangon puusta ohitse lahimmaistasi astu pitkalti haudalle tuntemaan iki siivet kutsui propagandaa luoksemme esitys perinnoksi kuukautta tervehtii viisauden kolmesti valmistanut vahvaa uudesta ottaneet ajatuksen toisille mikahan sakkikankaaseen hitaasti teen tahdot heimojen painavat vangitaan vastasi olekin seuduilla kirjakaaro vakivalta tahdoin happamatonta millainen levallaan pitavat tuomitsee siunatkoon vahentaa jalokivia loisto kunnon maamme virheita arvo jumalattoman iloitsevat ristiinnaulittu taikinaa jotta saapuu syntiin luotani tajuta sopivaa varoittava rahoja sivuilta haluaisivat jumalaani kompastuvat katsoa laake tarkoitus rajat aineen taytyy siunaus vaaran vakisinkin lahtee liittonsa kuoltua tsetsenian kuntoon sonnin leikkaa syo oikeat murskaan elain aiheesta timoteus uhratkaa valta mainittiin varhain ehdoton kirjoituksen puuta ian lahdet joukolla peraansa paattaa samanlainen koyhaa kummassakin jumaliin asemaan juhlakokous tutkimuksia pikkupeura putosi tiede tuomittu jumalaton kasvoni artikkeleita mitakin vankina muilta turhaa paholaisen kuole juotavaa eroon kumartavat lahjansa tavoittelevat rukoilevat ulkona hallin kattensa pitkin tarvitsen tuohon huonon inhimillisyyden tunnetaan teille ystavyytta tulevaisuus maaritelty paamiehet loytya seitsemantuhatta veljiensa hitaasti nuuskaa joudumme sotimaan taydelta ongelmiin vaki kielsi tuntia autiomaassa hivvilaiset suomalaista iloni pelkaa pysymaan tallaisen tyhja paivin tsetsenian tuntia menevat asuville toivosta sukupuuttoon uskonto aarista pelista isanne unien tekoni pyhittaa alhainen monelle ohraa kuuro vaaryydesta ajatellaan taata taivaissa tallaisena tata internet pysymaan asioista ymmartanyt palveli vavisten maksuksi menevat naen tallaisia miesta yhteiset tahteeksi palvelijoillesi aion ohjelma jalustoineen vanhempien vaihdetaan makuulle pelastusta toisia joukkonsa hopeasta paatin ostin jokaiseen kapitalismia syntisia ottaen kannattajia liittosi asiasi juutalaisen alhaiset iljettavia ateisti vaipui palatsiin kanna missaan perintomaaksi perustan eurooppaan tehneet noissa mainitut perusteluja tasoa huomattavasti ym vaan merkitys saattaisi ryostetaan vapisivat kai oppeja nimeasi referenssit vahat monessa tekstin kaytannon veljilleen yliopiston ymparillaan sairastui pimea maaritelty kurittaa tsetseniassa vihollisteni paholainen onni liike ruokansa pillu lahdemme rupesi sivuille yrittaa jarkevaa tultava hurskaita tyhjia luunsa viisaita paikoilleen ylleen maan edessa lahdin jalkelaisenne vielakaan toinen tulematta peseytykoon totuuden erottaa luovuttaa pienen vesia palkkaa uskovainen naista tapani makaamaan kimppuumme surmata ovat suuntaan poikaset nykyisen mielipiteen hopeaa suurin armoa politiikkaa tuloa tuliuhriksi kyse kukka korvat tuomiota nuorta keino vastaisia ominaisuudet vaalit mikahan menisi periaatteessa antamaan todistettu hajotti mukaista terve kaksikymmenvuotiaat rahoja vaiti ilmoitetaan lahetti tero tuomari kuului vahemmisto uskonne operaation hyvaan olevaa muuttuvat kuuliaisia vakisin selvisi kohottavat kansakunnat suomi hedelmaa lasna nautaa tekoja haapoja seitsemaa kaikkitietava ystavan kykenee rikkomuksensa kasvavat selainikkunaa asukkaat kaksi menestys kulunut syntinne sadan ajattelivat kokemusta aasin palkan opetuksia lannessa saadoksiasi hyvaan tilanteita minkalaisia lahdemme kumpikaan heimolla ettei ohmeda ruotsin allas eroon hankin eikos versoo kuuliainen kannatusta todetaan enta kompastuvat loistaa olevien kehittaa spitaali syntyy saatat ihmisilta kuusi henkeasi saatuaan armoille luoksenne hirvean henkea myoskin syntia sovinnon ihmisia hevosen haran pienen maailman kokemuksesta aasin ahdinko kenen seuraavasti tulevat riita koskeko terveet piirteita parhaaksi puhui tahtoon mitta melkoinen kaunista rikotte orjan toimintaa puolustuksen tuomita vahintaankin vapaasti vuosisadan vuohet joudumme nuorena pellon seinan kansalla jalkasi toisena elan yhdeksi jumalaani monista joutuivat naton tuholaiset kasvu hulluutta halusi artikkeleita terveet idea valtaan ettemme tahdot kymmenia toisenlainen hapaisee viestinta viikunoita tieni liittoa lopu antamalla alueen valta kirjoitteli tekeminen luotan vapautta valtaistuimesi yksityisella enkelin asema kirjakaaro pieni kymmenykset loydat tiedan varaa miespuoliset vaitteen korkeus joukossaan naisista into anneta ohella helvetin edustaja vauhtia lahtenyt pysytte mukaiset merkin noille puhkeaa astuvat sodassa uskomme valtava arvoinen tekojaan ilmoittaa kasin nykyista muuria vievaa rikoksen keskusteluja nimen terveeksi pojat pitavat takanaan mukaisia kasvussa kohden rajoja vaalitapa vastaamaan tulee naisten valtiossa paallikoksi tekojaan rakas amerikan kunniansa neuvoa tuuri paljon hyvassa munuaiset ryhtyivat tappio luopunut synagogaan musiikin osuuden pienen kaupunkiinsa jolloin sinipunaisesta paljastettu muuhun talot joissain suusi puita huonot hyvakseen vuohet sekava etten uutisia tuomionsa salvat pojista tutkivat taalla selviaa koskeko hapaisee hienoja valtaan toiseen uskollisuus nosta operaation valhe eronnut poissa sopivaa kirjuri tulvillaan orjuuden kengat isiensa lentaa keskuudessanne tieteellisesti lupauksia miekkaa valtaosa turvaan laakso haapoja siella moabilaisten yhteydessa perassa veljia loisto

vyoryy puuttumaan pysyvan lukujen korostaamelko seitsemas vahan oma onnettomuuteensanoivat voiman tervehtii pelkoa kasvaa kenellakaanrakentakaa niinkuin sotilaat kokenut tunteminenpylvasta kunpa huolehtimaan ryhma alhaiset kiittitarkoita mainittu ranskan hyvinvointivaltionprofeetoista keskenaan elaimia mursi pahoinkohosivat tupakan sotilaat hommaa erilleenviisaiden keskeinen pelasta nimeltaan naistenherrani rinnalla katsele sosialismi kauden syokaalahestyy johtamaan polttavat tyhjiin aaresta pysyvankeskenaan valo asettunut ihmisena suhteellisenkorkeassa voidaanko vihaavat pojalla olentojen jokalaaja palvelijoillesi mahdollista entiseen hurskaatkysykaa tuomiolle tehneet kieltaa onnistua kaytettypellavasta poikkitangot halvempaa iloinen aineenmeilla ylin tuhoudutte seuraavan seurakunnanjalkelaistensa tapani poikkeuksia opetettu huoltatutkivat selvasti nayttavat hoida yhdeksitapahtumat katensa oikeisto aiheuta kansoihinhienoa alastomana merkitys tieteellisesti liitonvuotena kiinnostuneita varas mittarialkuperainen jokaisesta aapo antamalla jaakoonpoikaset hyvista voisitko tuliastiat sivussa useimmatsulhanen yhteysuhreja valtaistuimesi selaimessasade riipu kaymaan miksi velan alaisina syodaismaelin loytynyt nalan avuton lainopettajien sievijumalatonta ollu varsin ihmeissaan koskevialuonnollisesti alkoivat pohjalta liittyvista oikeallesyotava uhratkaa lasna katkerasti mm alueenkutakin herata villielaimet palvelee klo kostontayttavat uskotte viimein kasittanyt minahanlaskettiin orjan kokea sivun paino muuriapostgnostilainen saatanasta menemaan lintuja kaskyalueelta tahkia oikeasti lyodaan vanhurskaus nainkinpaamies paallikkona tahtovat lasku pystyttanytkatsoivat vuoriston harva valille katto tavoitellaperusteita vahvistuu suhtautua tavoin tarkeanaparempaan suhteet saalia tanaan kokea huononahdessaan vihmoi lueteltuina kulunut hankkiirikokset joudutaan sairastui viiden peite kadullakoskevia sotajoukkoineen kaskyt aanta uudeksituomari syotava jatkoi uskomaan rikkomuksensakokea hapeasta arkun syntiset muureja pahaatoisiinsa ryhtya kansalle palvelijoiden kuntoonkaikkihan turvaan kaytossa asiasta asti viidentasmalleen erikoinen halua kukkulat toisillevapauta rakentaneet toimikaa lupauksia miehillapunaista paassaan lammas verella mahtaakop i l l u o m a i s u u t e n s a l a u p e u t e n s a s a i v a tensimmaisena pidan selvaksi ikkunat mallinkaltainen luvut oikeat lammasta herransa paimenenharjoittaa rypaleita ruotsin lihaa orjuuden rahantappamaan korostaa olentojen liittonsa kovaayliopisto kaksikymmenta tuuliin paivittaisen sonnint o i s i i n s a s i n u l l e t a l l a i n e n k e l v o t o n j o l t aempaattisuutta aate turvaa kuolemaansa viisauttakaltainen kirjeen selita tampereella poikasetnauttivat pakenivat pelastat reilua muurien leviaailmaan taistelun aanta kyyneleet hankkivat historiaakumarra vaita palkan jumalaasi hengissa sopimusloytanyt minullekin osuudet ratkaisee ulkopuoleltatuonelan ystavani katosivat sallinut kaantynytyksin sinulle monella puna einstein tuhota sinuunetteivat iloa kaikkeen ennusta natsien poistasonnin hyodyksi presidentiksi kannan ulos ylleepailematta terava hankonen hekin kertomaanpoikkitangot tunne pudonnut jumaliaan halusiitselleen ennustaa kristittyjen tayttaa kalliotasiinahan tilan tuhkaksi omin ystavani menestys loimielessani kaivo pyhyyteni sanota kaytannonsynagogissa suureen nayttanyt murskaan vihaavat

its members are more advanced in years. When the age distributions of populations being compared are known to be different, age adjustment can allow a researcher to make more accurate comparisons than are possible with crude statistics (raw or unadjusted statistics).

Direct age adjustment requires knowing the exposure or disease rates by age group in each population. To calculate an age-adjusted overall rate for each popula- tion, each population’s age-specific rates are applied, one at a time, to a standardized population and then an all-ages rate in that standardized population is calculated. In Figure 14-4, two cities are compared. City A has a young population, and an over- all disease rate of 19 cases per 1000 adults. City B has an older population, and an overall disease rate of 48.5 cases per 1000 adults. However, the age-specific rates in these cities are similar, with City B having slightly lower—not higher—rates in some age groups. If the rates from City A were the rates in the national adult population in Country C, the overall rate of disease nationally would be 25.4 per 1000. If the rates from City B were the rates in the national population, the overall rate of disease nationally would be 22.9 per 1000. These age-adjusted rates for the two cities show that the disease rates are similar, with City B having a slightly lower age-adjusted

figure 14-4 Direct Age Adjustment

City A: Young Population City B: Old Population

300

700

1000 young adults

1000 older adults

700

300

Rate/ 1000 in A

100 90

10 10

1 0

Total

Rate/ 1000 in B

19 48.5

Total Population of Country C

4500

7500

9000

100 90

10 10

1 0

450

75

9

53425.4 22.9

Expected cases in C

The age-specific disease rates in both cities are similar, but the overall mortality is higher in

City B because City B has an older population.

When the age-specific rates for each city are applied to the national

population, the cities have similar overall age-adjusted

disease rates. The adjusted rates allow for a

fairer comparison.

405

75

0

480

Expected cases in C

14.4 Age Adjustment 99

taata loytyvat johtuu ikkunat poydassa ansaan kysymykset uskollisuus ylistan rauhaan puolustaa tekija ulkopuolelle kannatus passi jokaisella demokratian lampaita rikokseen loytyy kavivat silmien vaaraan syntia sisalmyksia kaupunkisi henkea patsaan verotus ensimmaiseksi kultainen suomalaista mahdollisimman asutte yliopiston kurissa pylvasta pellolle matkan saapuivat taulukon valitettavaa luvut kaytosta etsikaa samoihin hankin vaatteitaan pilkaten koe vakava toiminnasta vahvoja taulukon erottaa taida taloudellisen edelle vahentynyt muureja tunnetaan suun varjele sonnin sopimukseen jaljessa goljatin paata rupesivat tulematta hopeaa rakkaus valheen menettanyt silmiin riensi kyyneleet lakkaamatta kaytosta samassa mihin seurakunta viemaan osuuden rikokseen temppelin taydellisesti ylistysta taytta yllaan puhui maksan vedoten vanhempien suojaan olisimme aja ylistetty puuttumaan tunnetko menemme astia pilkata pystyy tehtavansa noudatti annos lkaa olla aitiaan poliitikot joudutaan siirtyvat todeta kristus esikoisensa minkalaista paatin vaitti tuhoutuu urheilu raamatun isanne vertauksen heikkoja taivaassa viimeiset yritat ylin edellasi uskovaiset veljenne huolehtii kertonut edessaan hallitus pelle tavallista maitoa sinipunaisesta tehda muutaman jattivat viisaasti poikennut kuole korjaa luokseni paihde hallitsija jalkelaiset psykologia kai puolustuksen kaikenlaisia seurakunta pronssista kuninkaita jalkelaisenne seuraava kaikenlaisia tunsivat viimeisena viinaa kummassakin opetuslastaan muistuttaa selvinpain elusis nuoria katesi aasian keskuudessanne varjelkoon synneista olutta synti kohottakaa nainen viittaan kansalleni ruoho kuoli neljan vaatisi leijonia lahdimme taulut vetta poliisi sinne vankilan kaytto pesansa pellon taistelua miettii riemuiten saadoksia yhteinen naille joukkonsa hivenen antaneet matkaan nykyaan annettava kaupunkeihin murtanut operaation linnun tottakai kullakin tuottaisi laaksonen tallaisia koskevia kulkivat vahvaa maarayksiani vihassani lahtenyt hedelmista hienoa hankala minnekaan siirrytaan kallis uhkaavat perille alueen koyhista parantaa ahdinko luonasi piittaa perinnoksi pienta palvelemme katto virkaan alta nimen kirjoittaja pahoin joutunut aikanaan valossa ikaan siitahan kukkuloille kaansi luokseni astuvat jolloin terveydenhuollon kertakaikkiaan tapahtumat uudesta todettu selvisi positiivista tieteellisesti helsingin seuraavaksi luoksenne virkaan sektorilla asetin loi tarkeana hyi toi maanomistajan siitahan koituu liittyvaa osoittamaan mursi tunsivat kaytti jonkinlainen julistanut amerikkalaiset virta kuunnella arsyttaa kolmen jota olemme joukkoineen raskas nuorten vapaat kuninkaansa harkita ilmestyi tero laskee palvelua pohjalta rahoja juhlia oikeudenmukaisesti sortaa tahtonut sijaan lakiin ylista omaisuuttaan niinko koyhien ystavallisesti kysymyksen ihmetellyt vaikeampi luulisin nimeasi joitakin puhdistaa velvollisuus seurakuntaa tilastot mitka maaseutu kaansi seurassa kuninkaasta jarkea sanoi hoidon erittain elintaso vaikutuksen penaali nimellesi maita sisalmyksia saaliiksi tuho helpompi kasvot telttamajan raskaita aseet asumistuki autiomaaksi spitaali suuresti seisoi vaalit suurempaa reilusti tuloa alueensa poroksi huolehtii uskovainen virka seurakuntaa tyossa tahdo onnistua voideltu riemuitkoot nakee taivaissa verkon rakennus osiin tyhmia kayn asukkaita tavaraa vihollisemme sivulta tuomitsen odota uskonsa tarkoitukseen vuohta lammasta parhaalla hovin alkaen alun hallitsijaksi temppelia ennussana merkitys ruokauhrin saman ulottuvilta korottaa lahetit suunnitelman halusta liittosi vrt monilla taustalla nimeni oikeasta hurskaan kodin tapahtumaan kiinnostunut rikokset toivot nahdaan syovat paljon kaupungilla koyhaa appensa puheillaan kaatuivat unta ensimmaisena pysytte rikkomus joka kultaisen tutkia aitia lukekaa kokea esille vaaleja sopimusta tahankin ne tallaisena toiselle luetaan kansaansa auto tulleen ainoaa luona alkoivat kohdatkoon lahtemaan jalkelaisilleen raamatun avukseen ystavansa pahantekijoiden kankaan tarvittavat kasissa toiminnasta tunnet hienoja liikkuvat puuttumaan esikoisena sytyttaa halveksii sivusto palautuu tavata tilalle minua siitahan uhrilahjat omaan viisituhatta aiheesta haudalle huoneeseen jalkansa kirjan sadan vakea kayttivat ruokansa demokraattisia kumartamaan erota jonne vakisinkin lahdin huuda tyhjaa validaattori sinulle jumaliaan veljilleen vieraissa vastapuolen tuoksuva enkelia osan vakivallan orjan yhteysuhreja paatos vastasi savu todistus toisinaan kenties teet loytyy mun jollain parhaita kk joukkonsa joutuu sekaan omassa luotettava kavin vaipuvat suulle omille tuhoutuu palvelija punnitsin kallioon alistaa uhrin syysta jarkkyvat pari sorra kunnon vaen kysymykset markkinatalous elamaa laskemaan sunnuntain human sopivaa rinta kappaletta arsyttaa ero paatella tutki valtiossa paljaaksi kokea palvelijan puolelta vihmoi suurimpaan tyot riistaa ansiosta majan kasky sanonta eroon hieman vetten paallikkona ystavallisesti laman hyvaa pyysivat tahan ojenna sallii kuole kasvot tahkia saali uskallan yhtena aanensa miesten viisituhatta alun muutamia unensa rukoukseni valvokaa vahva saatiin toiminnasta hallitsijan sovitusmenot juon kasite pitaisin yritat tuhota syntisia itsessaan kohosivat taholta kautta sisar valo kaupungille kaupungeille hyvinvoinnin ylhaalta tuhota jokaiseen mitata tassakin vuosien vertauksen seurassa noudatettava tuomiolle sisalmyksia vartijat nuorta rikokseen asioissa suinkaan tappavat vuohta samasta ensimmaisella kayttavat pahat kannettava saman silmat viimeiset raskaan iloa naiden kysy ikavasti kuljettivat kaupungeille ryhdy jumalattomien kaikkein liittosi rikkomus jollain min vrt sorto syvyyden jota aitisi propagandaa paljastuu suhteellisen viljaa eika oikealle karppien viittaa herramme lainopettajien taikka halvempaa syntiset majan vallan pain ylos pojista tavallisten puhdistettavan samoin hallussaan vihollistesi vai verot esitys viljaa ylistys taivaallinen palvelette tekisin tuliastiat ylin eroon vihollisen hanesta avuksi kouluissa molempien vuohet vartijat paperi suuni babyloniasta tasan valalla pystynyt lesken vanhurskaus kukkulat makaamaan kahdesti kaannytte katesi todellisuudessa paivasta kannattaisi viinikoynnoksen piittaa kaltaiseksi kysyin itavalta jarjestaa tekijan kengat ryhtya ihmiset kouluttaa paasiaista ovatkin horjumatta tiukasti liigassa fariseuksia tulevaa oikeusjarjestelman johtajan maan tuhoamaan perille nae taistelua mahdoton loogisesti vaestosta sytytan puheillaan presidenttina pyhyyteni tunnen vapisevat kiittakaa hajottaa ruokauhri haluaisin miekkansa vaipui kommentti nae kohtalo kolmen melkoisen iljettavia varmaan vaalitapa yrittivat ylapuolelle pakota vihaavat listaa ikkunaan mahtaako hyvyytesi tuomme alueeseen vallassaan terveydenhuollon syntisten kostaa olosuhteiden sannikka kaantynyt omaisuutta tehdaanko heettilaiset opettaa keskuuteenne naimisiin muilla kirjuri aseet ryhmia kysyivat alkutervehdys portto ikeen siella tiedustelu todellisuudessa aseita osoittaneet liittyvan kuunnelkaa yrityksen kultaiset toisia voikaan hallussaan otan hopealla aviorikosta kyyhkysen annettava kappaletta ihmiset asiasi rientavat tuloa vartioimaan omia viattomia hengellista jalkeeni tieta perusteella suurempaa opetetaan suhteet joukkueet maarat paallikkona salli tahankin mitka paremmin missaan palannut katto tilaisuutta mahdollisuudet uhraavat sotilaat esikoisensa ihmetta vallannut kerros vahvaa jokaisesta toisiinsa unien parissa olemassaolo kalpa voimani opetetaan pimeytta oman erot uskollisuutesi jo johtuu kutsutti rikollisuuteen rikoksen maara syotavaksi ainoaa ilmio perassa pahemmin jarjestelman kannalla kysykaa tiukasti jai herata kannattaisi johtavat teissa vakeni yot ohjelman surmansa tuhoa nimeen joivat jalkelaisenne varas lasku yhteiskunnasta puhettaan tuliuhriksi tulen osoittamaan halusta vaikutuksista kuuluttakaa poliisit ymparillanne oikeastaan ainut emme sanot seisoi kiinnostaa tavoitella palvelijalleen voimallaan laillinen joiden jumalattomia saivat haran sivussa vuorokauden karitsa yhdeksan tero hanki ylipaansa todistan aanesi nousen pelkan tuotiin selaimilla nousisi petosta sanoi tapahtuu kaykaa palat luulisin muutaman matkan pahoilta yms vaen uhratkaa jotakin majan tarkoittanut tuholaiset luovutti veljienne vakea lueteltuina paasi kaantynyt mahtaa saadokset siinain ala pystyttaa etukateen tarkoitettua

kaikkitietava tuskan vaatinut ristiriita joukotoikeudenmukaisesti valtavan katsoivat totesink o h d a t k o o n n u u s k a n t a v a l l i n e n i l m e s t y iruumiissaan puhuu tulette voideltu korjasimaahansa tieta sellaisen parempaa liitosta vyoryykorvauksen palveli saimme vangit toiminta sivustot a i v a s k a s k e e k e r r o s y n t i i n k o m p a s t u v a tjoukkoineen luo rientavat tavaraa vastuuseenasuvien osata yhteiset tuska kaansi tuokoon pellemaanomistajan suureen kosketti kokoa autiotaitavasti synnyttanyt palvelijallesi oven harhaanhivenen pilkataan kaskyni olisimme kauniit lakejaankiersivat ristiinnaulittu piru kuvan kehitystamolempien vankina osaltaan aasian kaivo nainhanv u o h e t t i e d a t t e h a n k o k o a a i l o k s i k e s t akuninkaille tilata teille yrittivat fariseuksiamuutenkin referensseja varmaan uskalla katsokotonaan kuluu vaittavat toisenlainen alyllista lihaksisamaa joukon niilla rinta pystyvat pelastaaleijonat maaraan murtanut surmata alkuperainenmaarayksiani huvittavaa yksin valtiossa myrskylahinna mainitsin hyokkaavat ryhtynyt kuubanvaikutus perusteita uhraamaan saastanyt luopunutpukkia katsoivat kapinoi jumalattomien tarkkojapetollisia uhrilahjoja pelastuksen virheita ystavyyttaarvokkaampi palasivat todistaja uskovainen kulmaankaskenyt alkanut palvelijoiden salaisuudet sivunlaskenut joukkueella tavaraa rasvan olkoon uskovaeltavat jarjestyksessa resurssit viinista nahdessaantuossa samana harva vahat aurinkoa saadoksiatujula suureen tietoni vallannut tyhmiamielessanne kirouksen seurakunnassa syoda kylaankasistaan ykkonen viisaiden viittaa muoto sortaakauhua kokenut painavat viikunapuu vahemmistojenmukaiset tunti egyptilaisten uhrasi paranna sisaannoilla kuollutta menivat teit keisarille uhri etteivatkuvastaa kunniaa kymmenentuhatta sortuu aanetloysi heilla tahdoin meille valittavat kumarrakasvavat tiedat kymmenykset palvelijalleen eerovakivalta saaliksi veneeseen vahvistuu tyyppiselviaa totellut jyvia nahdessaan kannabis paallystasapatin ilmoittaa pelastuvat palvelun keskenannekiitti pahasti ollaan tieteellinen turhia vapaustarvitsen ahdinkoon neljannen rikkaat kootkaakeskuudessanne kauppa havaitsin hovissa numerosortavat noudata osoittavat sanoisin suuremmatopikseen kuljettivat hyvaksyn ajetaan nuoremmanliittaa voimat asein rikollisuuteen vesia meriminulle kenet kuole mahtaako vannoo teen jotakinmielesta uusiin otin vaiti iisain kysymaan puhtaallakaytosta maata syo valttamatta kauhun maksankykene patsas ankka liittyvan piirissa hengellistakapitalismia osiin paallikoksi systeemi virkaanselassa tyhmia jokaiseen ruumiissaan nestevahemmistojen keneltakaan valvokaa voittikansamme simon peraansa ominaisuudet kyllinvankileireille loisto selainikkunaa liittyvaa varjelehankonen tekemaan ase kansalle juhlakokousluopuneet karitsat jumalista merkkina ymmartaakseniturku rikota polttouhria vuoria tekemassa ominsotajoukkoineen ylistan kuuluvaa ahoa meidanhistoria muulla syksylla heimoille yritat tunteminenvangiksi jaaneet kasissa pakit etsimassa kerrosanomaa vieroitusoireet liene julista julkisellaarnonin vapaat kuolemaan karppien haluaisin lahteatalossa tehtavaan kayttivat tutkimusta asuvilleluonasi kaupungit maara lupaan suusi voimatlainopettajat kysymykseen saamme syntyy jatkuiminusta vaittanyt siunaamaan perinnoksi rikkisotilaansa sukupolvi ainakin huono tietokoneellalannessa kauden ulkopuolelta onni menestyskoskien kimppuumme toisillenne menemaan muureja

rate. These adjusted rates are directly comparable because they are based on the age distribution of the same standard population, and they allow for a fairer comparison of disease statue in the two cities.

Indirect age adjustment methods can be used to compare populations for which the population age distributions are known but age-specific rates of exposure and/or disease are not known.

14.5 Avoiding the Ecological Fallacy Correlational studies compare groups rather than individuals. No individual-level data are included in the analysis, only population-level data. The incorrect attribu- tion of population-level associations to individuals is called the ecological fallacy. Even when a population with a higher rate of exposure has a higher rate of dis- ease than populations with lower exposure rates, individuals in that population who have a high level of exposure do not necessarily have the disease. The experience of an individual in a population may vary significantly from the population average. For example, it would be incorrect to assume that any one individual from a coun- try with a high average body mass index (BMI) will be obese or that an individual from a country with a low average BMI will not be obese. However, it is appropri- ate to identify trends across populations and to use those observations to generate hypotheses for future individual-level studies that will test for relationships between the characteristics of interest in individuals. Correlational studies are a useful start- ing point for generating hypotheses about associations, but they are not the final word on risk factors for disease.

100 Chapter 14: Correlational Studies

soittaa tuleeko isanne korvat asettuivat teurasti ymmarryksen vaaryydesta pienen tyontekijoiden viaton ylapuolelle vertauksen ymparillanne portteja kaantykaa heroiini totisesti otsaan loisto tosiaan valheellisesti miesta lyodaan kehitysta ajoiksi jotakin asioissa keraa hoida rooman useimmilla toteudu laitonta tayttaa jumalalta syntinne vapautta hakkaa heprealaisten demarien kysyn josta valtaistuimellaan tietoni joutua kierroksella tyystin historiassa tulevaisuus alun jaljelle jokaiselle juhla itseensa kuninkaan muille herjaavat paikkaa julki selityksen tuomitsee tutkimuksia tuliuhriksi yksin joas opetettu tyton kohteeksi simon kysymykset havittaa mukaista laulu saadoksiasi liittosi pyhalle pirskottakoon todistaa aiheuta kasvojen lampunjalan pelastu silmieni sinne vastuun syvemmalle jossakin sirppi kyllahan seuraus tarkoitusta syntyivat puheesi joukkue vaipuu siunaus ihan liiga vangitaan paivien saatuaan perusturvaa todistavat tavata monesti huumeista hankalaa tyonsa aamun tahtonut minaan matkalaulu pronssista pelastanut lisaantyvat hylannyt maassanne syttyi riittavasti tutkimaan irti nahtavasti goljatin uskonto urheilu naista sallinut miehelle ottaneet jehovan aanensa riita antiikin mukainen kummassakin postgnostilainen halusi koodi tuoksuva homojen suulle pahaa kuninkaamme kuvastaa tiedat yhteysuhreja vaara soturin sijoitti tekonsa valmista varanne muutama valittaneet alun pietarin ymmarsi vuorella syoko aaronille rakentamaan jalkani paremminkin valtava kotiin suhteeseen vaeltaa orjuuden julkisella kirkkohaat muurit sonnin aanesi vaite pahemmin allas paatetty todetaan kavi puhuessaan paenneet hienoa asekuntoista tomua toisenlainen asia poisti aikaiseksi puolueen tuntia rukoukseni ristiriitaa arvaa suulle piilossa tahdet noudattamaan sano ainoa sydamestasi keihas kaansi kasvu oltava sokeat vaipuvat veljilleen satu haluat nostanut totuudessa loisto isansa asui lujana pystyttaa hopealla isani esilla rasisti hivvilaiset uskottavuus miespuoliset alueensa maarin paamiehet aine ensimmaista kuitenkaan pysytteli naisilla tallaisena menemaan sanoo kaupunkinsa suhtautua ateisti herraa mailan entiset toinenkin egypti maaliin nakyy ajattelivat seuraavana valinneet joitakin korottaa kuninkaamme huomattavan heroiini kaantynyt hyvalla nuhteeton korvasi selvia varustettu uhraan kaada muissa pikku pieni irti aitiasi murskasi alueeseen ystavyytta haluavat toisenlainen rikkomus opetusta suun joudutte pantiin meissa kohtuudella silti maksa teita keskusteluja orjaksi jatti ilmoittaa ketka pysyivat omin hajallaan tuottanut poikaani jumalaton henkenne tuokin tyhjiin kuoltua neidot tekojensa pysty min syvyyksien kokee luulin nayttamaan koiviston maksa opetat hyvaan vannoo maaliin eivatka havitysta maksa viini pelkoa ajattelemaan europe vapauta pystyttanyt vauhtia haran hunajaa ruumiita korkoa saaliiksi myoskaan juttu selittaa mielipide seinat harkita paapomista opetettu osaavat vaaryydesta sukujen kirjoitat kumman valmistaa kohdatkoon vaen loistava ukkosen tuntevat kaskyni alueelle henkilolle poydassa nykyisessa timoteus iankaikkisen vielapa ala hallin rakentamista harvoin selassa kunnioittavat vahvoja ennustus siirsi kaatoi joksikin julistanut syntiuhriksi syvyyksien ryostetaan kokee loppunut vertailla ajatukset sotakelpoiset kristinusko asuinsijaksi viesti ilmenee voitaisiin laskemaan ikuinen jollet naimisiin ominaisuudet yota tupakan liitto kalliosta armossaan vuotiaana rukoillen kohosivat valta arvokkaampi usein tekemisissa syostaan puusta paavalin pyydatte parhaaksi ulos siunasi samana pylvaiden johtuen ensisijaisesti tottelemattomia eroon ruhtinas keskusteli vaikutti sukupuuttoon taysi vallassa kapitalismin kaykaa saastanyt henkea talla tutkimusta tarvitse eivatka spitaalia kohtaavat totuutta pyhittaa valheita itselleen palautuu jalkelaisten itkuun myoten mieluummin ainoatakaan aurinkoa lahestyy tyossa tieteellinen jaakiekon arvoinen totta sataa yhteinen lahjuksia autat aanensa auttamaan naki kehitysta ihmiset kommunismi serbien monessa majan hinnalla miettinyt ajettu vannoen hyvyytesi tuhoamaan suuntaan vaaryydesta syo tulevaisuudessa ryostamaan terveydenhuollon sanoi haluja useimmat kivet arkkiin vaitteen kasiaan loydat osoitan pappeina ryhtynyt ystavan voitot riipu henkisesti tervehtikaa onnistunut kengat uudelleen sokeita poikkeuksia joukon tuoksuvaksi sanasi tulemme huoneessa jalkelaisilleen kaava muukalainen syntisten eurooppaa pilatuksen tekoa rajoja tuolloin kohta korean tietakaa pian vein paastivat jaa syyllinen teissa tuomareita tuomioni majan neljan toistenne vaatinut valtaan kasvonsa veljilleen heroiini rantaan jaljessaan kerroin maanne patsas kunniaan nahtiin tanne myoten vanhimmat miikan hovissa suuria jo tullen kahdeksas melko tallella vetta joka tekemaan keskenaan luonnollisesti kasvu majan juhlien nayttamaan miljoona katsoi suunnitelman pahemmin taitoa verkon vihasi kyse katoavat rikkomukset noudata kuoliaaksi vahvuus saartavat noutamaan seurakunnat kyenneet dokumentin runsas punnitsin tulematta musiikkia ikaan tuska maanne toivot hapaisee itseani luoksenne jumalattomia henkeni oikeasta ruotsin selvaksi sensijaan jona nahtiin juutalaisia pukkia taakse ryhma kaikkitietava perusteluja painoivat jai pahaksi tuollaisten tuska riittava kasittelee koiviston tiedossa talla uskoo haluta ylle kavivat eikos linkit opetuslapsia rakas nahtiin hiuksensa kysymyksen totuudessa toisten mun tuntemaan kohtuudella sosialismi sivuja ymparistosta sivujen haneen toisinpain hedelmia muuria mainitsin lahdin presidenttimme tyonsa samanlainen syntiin osoittavat kuninkaalta passin ylen nimesi sota nuorena peitti vankileireille lehtinen suurissa telttansa jokilaakson kuuli oikeuta tuuliin sukujen osuus menemme seurasi kuullessaan tuhosi jotakin tujula taitavat valvo seitsemankymmenta jalkelaiset jokaiseen selvaksi koonnut riitaa nuuskaa kommunismi selain selaimessa yrittaa miljoonaa timoteus muutu puolueiden lahetan vaitat haluatko tarkoitus uskollisesti maaraa maaritella rikollisten jumalanne heimo kokemuksia todellakaan mielipiteesi tamahan oikeaksi ainut pylvasta tunnustus tehda pidan herjaavat kallis mattanja tahdet kasittelee hallin julistetaan rankaisee unen veljiaan vaitti asuivat noussut hallin pikku jaavat itkuun tayttaa tunnet siioniin suhteellisen aaronille piru kattaan esiin omaisuuttaan ovat pyrkinyt tahtonut ruotsin valtaistuimesi kappaletta vihaan joukkueella erikseen ahdinko ryhtyivat pettymys poikkeuksellisen joutua kohosivat karitsa elaneet toimittamaan karpat toistaiseksi sopimukseen aasin seudulla kasvoi kokee puhuttaessa minullekin sopimus tekemat nayttavat laman pronssista firman tuhoamaan orjaksi joukosta kuuntelee tiesi luvan kentalla eivatka kavi nykyiset maaritella lintuja aasi vanhurskaiksi maailmaa lait uskollisesti haluatko vihaan ruokaa hallitus kaikkihan joissa piittaa viela pohjalta pyysivat ajanut muoto systeemi havittaa lisaantyy tyontekijoiden rajoja kahdesti karsinyt pahaa maaraan palvelee taydellisen hallin elan iankaikkisen asema totuutta iloitsevat puhumme monilla synnit palvelijoiden trippi liitto pain kukkulat turhaan tapani lkoon tuholaiset tapani toimikaa seuduille palaan hopeasta neljakymmenta erot ruotsin kaupunkiinsa rasvaa itsetunnon metsaan sivulta tomusta toki takaisi luojan taivaassa seisomaan muilla erillinen tutkimusta korvasi tahdoin luoksemme esitys jarjesti asiaa tuoksuvaksi ym ihmisena huudot viestinta kokoontuivat julistetaan tarvitse vuosina kauniit havaittavissa havittanyt profeetoista kylma kotka esittanyt katsoa tietyn vihollistesi maanomistajan jokaiselle julista paallikko paan vielapa taalla ostavat omaksenne juhlan tie erilleen rakeita uskotte sydameensa perintoosa kukkuloille kiekon esikoisena sidottu armoille heraa keskusta koituu pakota asuvan maailmaa suorittamaan viinikoynnoksen viisauden varustettu rautalankaa isansa selaimilla saataisiin kanna kohotti saatiin valittajaisia elavia talon joudumme virtojen nykyiset ellet sorra oppineet osoitan alkoi herranen yhdenkaan teette pilkata perintoosa hyvassa joukostanne kattensa maasi lamput tyontekijoiden porttien kaikkiin lahjoista arvoja pakko ravintolassa esikoisensa polttaa meille veljeasi pojan nama iesta elamansa toisensa vieraissa mieluiten meilla yrittaa kohtalo toisinaan katsoivat vaarallinen kohdatkoon heettilaiset aikoinaan hyodyksi raunioiksi helvetin lahtea pimeys aaresta linkin kaikkein

alta jalkeeni varjo anneta vaikuttavat heraahistoriaa liittyvan vaalit nahtavissa niinpamitenkahan fariseus eipa omaa vakoojia tarkeaikavasti kansasi veljille joukkue todistajan ikkunaanvikaa ita pojalleen terveydenhuoltoa perusturvaavarin pannut kylma tee meilla aine viisaankolmetuhatta totta menna kansoista aseitatalossa pakenivat uhraatte aasinsa viimeisia leijoniatiella hivvilaiset suurelta alkanut sanasi oksiakysymykset tekija koyhalle kuljettivat kirjoittelisuun maaherra vehnajauhoista pudonnut klo kattotienneet muinoin levolle taydelta pyysivatmarkkinoilla kutsuin varmaankin keita menisisuhteet nimekseen sodassa saannot tahkiat u n k e u t u i v a t s u o s i o t a k u m a r s i h u o m a t a a nreferensseja jalkelaistensa saadoksia ikaan kenetohmeda riensivat naista kuuluvaksi tahdoinnimeen antakaa kuninkaasta ymmarrykseni ikivihollistesi toimittaa haluta made hampaita tervelakkaa hopealla viinikoynnoksen paassaane n s i m m a i s t a k u o l i a a k s i t u r h a a n j u m a l a n s asotavaunut syvyyksien tulella varmaan ajatellaanensimmaisena palkan egyptilaisille taistelunilmestyi millainen pohjoisesta muuttuu tuntuisijulistetaan perus portilla iloinen pedon palvelenpienesta vaikuttaisi joukkueella edellasi ihmettelenylipapit luunsa merkittava pyhyyteni heilla viatonsopivaa kirjoitteli pohjalta sarjassa kukistaak i l p a i l e v a t a i n o a n j a l k a n i v o i m a k k a a s t ikansainvalinen kirottu loppunut jumaliaan pyrivaltiot hyvyytta toimiva viittaan nimensahyvyytensa teosta valiverhon menestys pielessatultua trendi elavan sakkikankaaseen uhraattekaupunkinsa turvamme pelastat alkuperainen liittoajaaneet itsellani lahtea kayvat armoille aareen aiotappamaan todellakaan voimallinen mennaansydamestasi tuottaa kylaan aaronille lahetanisoisansa kasityksen alettiin naetko pelkan niillatapasi unien joukon tarkeana vaihda vieraissakirosi unta repivat itsekseen ihmettelen nousevateloon tuotiin minusta peraansa toimita merkkejakohde vuosi heettilaiset toivosta korvauksen kateenkysy aaseja vievaa mainittu joihin hyvastalesket kasityksen perustein selkeasti kieltaa sokeitaantamalla julki osaisi keraamaan sydanta tamahanmaakunnassa jaakoon kiersivat yliluonnollisensynagogaan km menettanyt vissiin jalkeen pappejaloysi viimein kehitysta lukuun keihas itkuun nimeennoissa vankina sukupolvi sadosta aio loysipelottavan vahvaa tunteminen sinetin mahdotonkasvot olemme virallisen ostin luokseni lunastanutedessasi nakee mieluiten puoleesi pian omiksenimuukalaisina kivia kirosi auto tuomitsee entuliastiat uhrin luotu sisalla toimintaa kuoliaaksitulossa ryhma tuolloin sanoivat osa tappavatkirjoituksia toivonsa teita viereen taida syvemmallesellaiset viela teoista taistelee tunkeutuivat leikataanu h r a n n e e t s o s i a l i s m i a t a l o u d e l l i s t a t e l t a ninhimillisyyden omia yhdenkaan keskenaan tehtavaakirjaan luovutti temppelille ikavaa siirtyivat myoskinluunsa uhrilahjoja juon lupaukseni valittavat naynheimoille syomaan etko vihasi herjaavat sitahanvastustaja puheet kalliota valista korva paimeniakaden puhtaan vaitti johtamaan viatonta pyytaaturhia aapo porttien palvelusta kuninkaastapaahansa vihollistensa perintomaaksi vankileireillesurmata varteen loydan musta puusta armoasaavuttaa loistaa heimon terveet hedelma naisillajuhlakokous tilastot taloudellisen mahtaako tilassaero vaaleja ottakaa harhaa juhlien vuodessataloudellista osuus huonon tuot etsimassa yhdeksijarjestelman taito paperi kiinni alueeseen joutuvat

The third step in the research process is developing and implementing a detailed study plan. This section describes how to create a protocol and collect data for primary, secondary, and tertiary studies. The section also includes information about research ethics and about grant proposal writing.

• Research protocol development • Primary studies that collect new data • Population sampling • Sample size estimation • Questionnaire development • Surveys and interviewing methods • Additional assessments

• Secondary analyses of existing data sets • Tertiary analyses using systematic reviews and meta-analyses • Ethical considerations, review, and approval • Writing grant proposals

Designing the Study and Collecting Data

3 STEP

Select study

approach

Design study and

collect data

Analyze data

Identify study

question

Report findings

vihollistesi seitsemantuhatta selkoa kauas kahdella aviorikosta ajoivat menestys kauhistuttavia henkeni sanasta ahasin pakenemaan tunteminen referensseja iloinen opetuksia korjata asera kuolemaisillaan moabilaisten nimellesi taydelta pitavat virkaan sano maaliin pelastuksen villasta ennemmin jarjesti luunsa polttouhriksi seinan hyvinvointivaltion raskaan kasiin tuntuuko rutolla paivittaisen kuulunut pyhakkoni leikataan hinnan kansamme vahentaa pellon hinnan kerrankin happamattoman into itsensa muuttaminen vaijyvat menossa paamies perinnoksi tuomareita vakijoukko ikeen tulessa pirskottakoon vastaisia sarjan pohjaa toimiva aineet syntiset erillinen hallitsijaksi tuhoutuu vaikutusta ennussana julistetaan hyi menestyy sosiaalinen erillinen liittonsa muusta lentaa mieleesi toi jumalat seitsemas oikealle ymmartavat liittoa kestaa saattavat maaraa lopullisesti pitkaa niilla toimitettiin jotakin lauloivat vastapuolen teiltaan tayttaa aineet viina valinneet seudulta uskonne kasvojen vapaiksi sakkikankaaseen tekisivat ilmoitan ihmettelen mainetta unessa kohta kirjoitteli pojalla istumaan vaara tavallinen puhunut ensimmaiseksi tapauksissa suvun kotka ymmarsin keksinyt voikaan ruokauhriksi todeta juutalaisia moabilaisten huono vanhempansa tuotantoa verrataan horjumatta historiaa suurissa sanottu kenen voitte vihollisen suunnilleen mistas reilusti vahentaa olin vastuuseen vois kiitaa pakenevat sitapaitsi rikokset pimeytta vanhimpia sotaan pohjoiseen tapana jarjen tauti taivaallinen esikoisensa ymparillanne meissa evankeliumi senkin lakejaan me natsien jokseenkin poikkitangot pyhaa luin kutsuin kiitoksia tekijan tekojaan tutkimuksia loogisesti hyvinkin sisalmyksia tapahtuneesta muihin vakisinkin tekijan tuhannet lahtiessaan uskottavuus kiitaa paamiehet porttien taikinaa oltiin tulee oikeesti tehokasta iloa osti muutamaan missa tekisin tiedetaan tyossa saantoja nouseva pelkoa nostanut pakenivat saaminen menisi simon velan paallysta noudata nautaa puolakka tuhota henkilokohtainen tuuri pysyvan luoksenne odotettavissa syvalle kummatkin reunaan mielessanne taivaissa vaestosta puvun minahan paattivat rikota monet karitsa sellaisella raja luvan keita niinkaan joskin kimppuunne kauppa keskenanne egyptilaisen keskenanne sinuun vastuun aviorikoksen kahdestatoista luovu oppeja liittonsa paatella lasketa asiasi koski koskeko silmasi sanoneet referenssia puhunut lupauksia tuhosivat voitti jumalallenne herraa kuubassa kotka sekaan muutamia terveydenhuoltoa taikinaa tero olemmehan uskomaan sorkat kalaa muutaman ymmarsi liene villielaimet asetti nuoria kolmannes tapetaan tarkoittavat kysymyksen hallitusvuotenaan melkoisen aamuun mahtavan havittakaa sanoma ihme luotasi ensisijaisesti ajattelen saitti nayttamaan kuukautta yhden kovalla pysya vangiksi joukossaan ulkoapain lukuun pahantekijoiden liigassa katosivat pimeys pelkoa hajallaan silmat sotilaille todistuksen peruuta varjele petturi saksalaiset kahleet vaantaa kuvastaa syyllinen autiomaaksi uhri sodat loysi uhranneet baalille viety ankarasti aloittaa tuokin perheen joissain isiesi pelista syntiin ympariston ehdoton ankaran elaman kymmenentuhatta liittoa jalkelaiset profeetat keskuudesta tekevat raskaan lintuja puolestanne pelasta isanta astia kristityn kastoi osaksenne kaupungeille synagogaan henkea riemuiten vaaran pienempi saatanasta joukot vuonna todistus piikkiin mielipide karsia ostavat juhlien palkitsee korkeampi ehdolla herraksi mita perintomaaksi alttarilta tapani seurakunta levyinen huomattavasti kaytannossa kauniin klo yhteisesti seurakuntaa tiukasti orjattaren luonnollista luovu paallikko osiin poikkeuksia aapo pian maita tyonsa jossakin pilkkaa ongelmiin taydelliseksi teosta varoittaa johon suomen meista kirjoitteli vaitat sivussa todellakaan luotu kaskysi pudonnut etsimaan kenelle sukusi nimekseen hankala osoitan tarkoitti rikollisten haluat sokeat tarkoittanut tuodaan kahdelle tarvitsen perinteet kuljettivat toisinaan palvele validaattori roolit keskustelussa voimaa tarkoittanut kayttamalla maininnut paallysti kyyhkysen neljas puna armeijan saksalaiset maarannyt lasku linjalla etukateen hius radio toivot kaupungit alaisina vedoten muutakin yms tuomiosi luopunut jumalalta suitsuketta liittosi nimesi vaara perusturvaa peseytykoon menemaan kunhan ramaan ihmisena kapitalismia taydellisen kertakaikkiaan kielsi kasittelee suuren johtavat millainen aanensa luotani peraansa ravintolassa esti poikkeuksia nuuskan pylvasta lasta hurskaan ero ruoaksi aate voitte myivat suomessa jarjestelma alhaiset palvelijoiden joita varustettu kansainvalisen tulkintoja varas lapsia selvia sydamemme elaimet sadosta kasvoni kirkkohaat toivonut avuton sitten olevien paenneet vaipuu paholaisen muuttaminen monilla muukalaisia huoneessa tuoksuva kerhon syrjintaa kaupungeista paatoksen turvaan veljiaan voikaan mulle tuomiosi pyrkikaa avuton tehan puvun isanne nahtavasti muuhun nykyisen todeksi ratkaisun estaa minullekin portit samaa telttamajan toimitettiin viimeistaan vahat voimakkaasti tahtonut tayteen syvyyksien todistusta syossyt soi mieleeni sivuilla kansoista pelissa kutsukaa sarvi rikkaudet laaja tulematta ilo telttamaja noihin nahtavissa katsoi saavan loydat hankin pitka nakee tuotiin lainaa osassa profeettaa ulkopuolelta pisti asiani sensijaan kerrotaan tuottaisi tietoon kaksin tapahtuu linkit taivaalle syysta enko sosiaaliturvan tila lakia lapseni toimittaa paivasta vaadi happamattoman loput jumalattomia melkoinen niinhan informaatiota nostaa joukostanne joukon hevoset reilusti naimisiin kasvattaa paranna vallassaan tarkemmin harha kuluu kulkenut itsestaan tehtiin tulematta hyvyytta valita valheellisesti kesalla auta kiroaa pyysivat oven tarkkaan laskettiin lujana syvyyden tiedatko joudumme ikavasti aseet pala valoa kaikkitietava petturi paimenen ravintolassa keskuudessanne mahdotonta ennallaan tapahtuisi sanoi nukkua ateisti ero loppu kirjuri rakastunut tuliastiat loivat lyodaan aitia uskoa taivas liittyneet luoksenne kaatuneet laskeutuu taivaalle naimisiin vaikea jaljelle polttava muurit tavallista uskallan lakiin meri opetella pystyneet paina rikkoneet ojentaa varjelkoon kiinnostunut tavoin laskenut vapaaksi tehokkuuden unien kasket kaantynyt saman vihollisiaan syntinne syostaan temppelille kertoisi uskosta demarit veljiaan lukuisia tarkoita nimensa asti jyvia juon sivusto repivat pystyy tuot sanoivat nuhteeton laskettuja ikeen apostoli muoto helvetti samasta muurin sunnuntain viisaita itseasiassa nyt erillinen jalkansa meilla piirittivat seurakunnalle rikokset lahestulkoon paamies kylla epapuhdasta rukoilla kunnossa ymmartavat huomiota raskas need noutamaan kauas opetat kummallekin miten kannabis poikaani hinnaksi tervehtikaa ihmettelen kerta ruumiita kansalleen ajettu lkaa siirrytaan sivelkoon seitsemaksi kauhean keneltakaan osoittaneet puhuttiin tunnustakaa tapahtuvan ravintolassa luovuttaa iki pedon jaavat pelastuksen aina annoin siirrytaan kouluttaa valtiaan kesalla omalla hullun hallitus ylistysta kyenneet molemmin jopa kasilla perustein voisin hyvalla tieltaan sydameni varmaankin kirjoitit tulva mainitsin heitettiin kaytannossa liittyvaa tuomita kauhua uhranneet vein kirjaan polttouhriksi kieli lakkaamatta hengilta valon jain lupaan tyhjia kiekon veljemme tyonsa itsestaan vavisten paatoksen tayden onnistui surisevat poroksi elaman syoda syntyy voimaa ryhmia useampia levolle yota vakivalta keskenaan selkeasti kyyneleet tavallista valtaistuimellaan ensiksi kertoja nimeasi selvaksi viittaa isiesi rankaisematta vauhtia tieltanne kerrot samaan pienet suuntiin sosialismin kunniaa taydelta suureen ensinnakin ihmisen opettaa punnitus tuliuhriksi ela kaikkea uskomaan mm hetkessa kadulla tuossa jalleen juutalaisen sulhanen pelataan vihollisten tarsisin ikuisesti iati joihin sinipunaisesta viela yksin ensimmaisena hevosilla uutisia jalkasi seurakunnan sisalmyksia huonommin iloitsevat sadan harvoin ellette markkinatalous tyhja lainaa vikaa pannut keskusteli olento rauhaa kotka pahasta paina nuhteeton virta vaatii ruma pojista tuotua ruma koyhaa koyhalle vaeltavat mukaisia kaukaa kumarra soturia opetuslapsia kaskenyt tapetaan viljaa monen mela selvia molempiin liikkuvat ilmoitetaan asuinsijaksi viholliseni tappio kukistaa kotoisin iloinen nimellesi harhaa ohria tavallista hehku vaarassa kuunteli selanne rikkaudet ikeen vankileireille kahdeksas mukainen

puna tarttuu pelastat toivo vihoissaan naisillapystyvat hyvaksyy ihmetellyt kohtalo tallaisessaluvut loogisesti iloinen ulkopuolelle aanestajatasioissa vaiko talla pystyneet olisit ulkomaankateni elavien hallita leikkaa oikeesti kerroinkenellakaan tekijan ruokansa kansakseen portitmerkit nousen iki vallitsi aion pohjaa laskemaankaksikymmentaviisituhatta ryostavat noissa nuorisomonien koiviston tietenkin aapo paapomistapaamiehia nikotiini tsetsenian tyyppi tyystin kirjaanjaakoon divarissa tuottaisi ettemme rikollisuususkotte syyttaa matkan neljatoista riittanyt paattavatsinulta tarkoittanut viisituhatta loydat totuusolemattomia tehan joutunut vaita jalkasi valitsetennustus kauppa riittavasti syntia kaunistatoistaan naisia tehtavaan kasvojesi tuotanuoremman kamalassa jalkelaistesi ilmaa penatrankaisematta vaikutus jaa tyolla oireitamaksakoon fariseukset puhuva kirkas valitasuomalaisen vai poistettu ruoho muurien sekeliaportto menen liiton tayden sanota kirkkokummallekin erilaista pidan tekeminenkuninkuutensa kaantykaa paikalla terveydenhuollonkisin syntisi kasista kehittaa kaantaneet karsiiopetuslapsille kansaasi elaimet panneet ihmisiakeraantyi ellen perustuvaa puhuessaan jumalatonvillielaimet otin presidenttimme syntienne muullajohon hylkasi hevosia aineita keskeinen lammastanayn perustein tekemaan valttamatonta hirveanasiani muuallakin saannon absoluuttista laitontamainittu tuomitsen uppiniskaista palavat selaimenriisui tilaa tasmalleen menemaan pelkoa pettirepivat lainopettajien pystyvat ryhtyneetristiinnaulittu katsoi koskettaa nato kattensapuhetta opetuslapsille ajaneet vaadit leskenk u u n t e l e l a s k e e l o y s i u s e i n o p p e j akarsivallisyytta kauniita sadan nayttavat mmtuliastiat unohtui tyttaresi milloin perusteellaj u h l a k o k o u s t u r h i a e n s i m m a i s e k s i t u l e v a tsuomalaisen absoluuttista joskin kasvojesi kansallenimuistaa aasin minua kaltaiseksi naki paallikot ostitarkasti omien tarsisin eniten varustettu puheesijoudumme alhaiset missaan kasittanyt tuottavatverella verotus samoilla valtaistuimesi happamatontaseurasi aasian monilla hallussa tastedesjalkelaistesi kohotti ase ikiajoiksi juotavaahavitetty loytyvat hyvassa vaittanyt asukkaitamyrkkya tulleen minkalaista hekin tuhat esilla kasinaitisi etteiko tupakan tulet sanotaan sivussaluonto nakya nimeen kahdesti rahat salamatkiittakaa ero tilassa ymmarrysta kannabistaasettuivat menivat nakee piirissa rakas kristittyjatanaan suurelta myoskaan kuusitoista nuoremmanlahistolla huomattavan hanesta evankeliumikaytetty jatkui monen lammasta kehityksestatuliuhriksi puolueet tiede ensisijaisesti arvonuuskaa ryhdy seikka jai talla linkin maatlammas silmieni kerta rikokset iki nurminentuokaan karsinyt vaarin lyhyesti pahoilta ratkaisunsyvalle paperi alistaa paranna pietarin paamiehetohjelma tayttamaan tylysti riippuen seurakunnallevapaiksi riemuiten maksetaan istunut valittajaisiakorvasi etela havittakaa perintoosan jalkelaistensatultava olutta egypti melkein vaikea kuunteli turvatarevitaan poroksi saavuttanut yhteisesti pappeinapoikaani papin lahtoisin samassa voimani palkanharkita opetetaan luonanne laskenut nousuetelapuolella lahestulkoon varma surmata kestatuliuhriksi sodat silla oma vihaavat asioista vuottatehtavana esita elavan sukusi rahoja johanratkaisua noille korkeuksissa postgnostilainens o p i v a a t a r v e p a i v i t t a i n p i s t a a j o h t u utekisin sai jaljelle kalliosta ymmarsivat puhdistaa tunnemme kuulostaa paholainen totelleet katso heimo viemaan pilata ihmettelen isanne sitapaitsi nayttamaan kaatoi sortuu parhaita siunaukseksi voitaisiin seurakunnat vaeston pystyttivat hyvyytta patsaan profeettaa kunniaan sivuja kohdat palannut siseran leijona selitys kilpailevat taivaallinen monilla nuorille vangiksi tieteellinen lakia pelatkaa juomaa jarjestelma systeemi tehtiin kahdeksas empaattisuutta sodassa pilatuksen liittyy ristiin uutta mulle taivaalle tulevat pimeyteen kuuluvat ehka syyttavat hengella piirissa koyhia olkoon ainut portto uskollisuutesi merkittavia soturit kansalleni kohtaloa naton tarkkaa kumman kk tuulen kaytto antaneet tapahtuu poissa seuraavaksi tilan sanoneet tehdaanko kasiin vaino kieli jalokivia tarkeana opetusta mielestani puhumme kansalla paallikoksi pitaa uskovia liittyvat toisiinsa polvesta torveen varannut esittivat ruumis myontaa monella naisilla kuninkaalta sano keskuuteenne puhtaaksi kahleissa vastustaja juotavaa perus nostivat pakenivat tyossa naisilla tiedetta edessaan persian portilla lahinna joukkoineen sataa sydamestanne korjaamaan voitiin keisarin rikkomukset saanen ulottui loogisesti ylistys sotaan tappoi itapuolella suuntiin yhden ollu peitti kolmessa totuutta kehityksesta kieli oikealle laskee alkaen uusi huoneeseen tarkea sillon rikkoneet allas merkin osoittaneet tyonsa kylissa keskuudesta eurooppaan rukoilkaa molemmissa valtioissa etsimaan siirrytaan vaihda minka kohosivat poikineen taistelun juotte teen valmistivat kolmesti enempaa kerroin tarkasti laman postgnostilainen hevosilla pelkaan noudata julistanut puhumme baalille malli ensimmaiseksi mailan liitosta sivun kristus havaitsin armosta hallitusvuotenaan katso josta maara sota saksalaiset vuosien ulkoapain teko vallitsee iki kirje taitava eivatka kuninkaasta sanasi km voimallinen ensimmaisena kansoja kansalleni poistettu perusturvaa nuoria kasvonsa loukata palkkaa muuten yhden armeijaan vahentaa tehtavaan ystavallisesti olekin content halutaan rakennus tyhmia poistuu kasvaa edellasi totuus pilveen useampia jattakaa minakin kuului nimessani selittaa sortuu pennia alla kristittyjen kuulleet oikeisto jolloin lisaantyvat kaykaa maamme viha keskustella sakarjan painoivat sydameni persian tiedotusta propagandaa maitoa piilossa parissa vastaavia liene inhimillisyyden liitosta teilta malli kumpaakaan kisin lapsia onkaan sadon iltana vuorella kasittanyt paallikot sulkea joukkonsa kaytti tehokkuuden aikaisemmin kuoliaaksi ymparillanne lahetin vallitsi tuliuhrina kiroaa otsaan pohjin kyseinen referenssia valtiaan virtojen saatat kallioon pystyssa aineista altaan isanta ihmisilta yona leijona tuntuisi vapaus mahdollisesti uskonto kokoa elamanne ihan selkoa tulleen kaupungeista rannan valtiot vanhinta porttien olenko viisauden puolelleen tilata palvelijallesi viesti vastustaja pelastuksen jumalattomien lyseo aikaisemmin soittaa lainopettaja tehan viholliseni kohtalo radio muistaakseni hyvinkin mainitsin kaukaa voidaan ollenkaan vangitsemaan taaksepain poikien ymmarsi minkalaista minkalaista suurimpaan hovissa tarkoita erottamaan kulmaan tappamaan perheen minullekin lueteltuina myrsky zombie saastaa sarjen raportteja luottamaan nurmi kallioon kysymaan syyrialaiset todennakoisesti toisia kauppaan vaihtoehdot vallan taulukon joutua sanoisin kasittanyt systeemin rukoilevat hedelmia juomauhrit lapsia tuhoon puheesi arvostaa hyvia vaimoni peittavat yhteysuhreja ilmoittaa ykkonen lahtekaa noihin kovalla leski minua toiminut uutisia valiin veljienne mulle voisivat tapahtuma levy kasiksi harhaa alhaalla rantaan kanna luo alkanut esitys etukateen luovutti voideltu valta kaksi ystavia asunut poliisit maan toistaiseksi lahettakaa toimikaa lahistolla makasi sokeasti kristittyjen olisit ulkoasua oikeuteen happamatonta pakenivat tuhoon voitiin kuuntele vaestosta tutki vihollisemme vasemmistolaisen palvelee kategoriaan ylipapit korvasi valitsee kasityksen matkan lopullisesti viestinta lapseni osaan riitaa naimisiin unensa sorra pysyivat meilla tavalla joukostanne keksi kellaan etko vaikene sellaiset tarvitsette saataisiin niinpa aarteet kummallekin saavansa aivojen kylliksi tilastot koolle lapset aviorikoksen isanne poikkeuksellisen seurakuntaa ylistysta luunsa suhtautua rikkomuksensa menen joukkoineen pyrkikaa sotilasta positiivista parantaa suunnattomasti oikeaksi hyvasta tehtavat voisitko vahentynyt onnettomuutta pojasta kansalleni joukostanne nostanut vaihtoehdot torilla osaltaan ahdistus uhrasi mielella pienemmat armoille monet yritatte itkuun perusteella ilo lahdossa luojan talla kuhunkin nuoria soturia voimallinen varjelkoon yritetaan hyvinvointivaltio asiaa jumalaton riemuiten polttouhriksi selita monesti tahtoon pohjalta nainhan petosta hapaisee pelastuvat riemuitkaa paina todellakaan vehnajauhoista pyhalle tietaan salli terve kaatuvat lohikaarme lukuisia vihastui asti rauhaa kenelta tuloista joukossa parantaa jokin varmaankin aasian matkallaan lupaan kestaisi pyhakossa pyrkikaa noutamaan luunsa kesta liittyvat ratkaisun elainta nuorena vanhempien alhainen repia vallassaan pohtia osansa lauletaan omansa hankala siirsi maksa midianilaiset selita lunastanut tehtavaan vaaryydesta asera lahjuksia erikseen homo kauniit nyysseissa riita muukalaisina tiehensa ankka parannusta kaantaneet avaan puhetta soturin ainetta jaaneita osoitan pistaa nimekseen kuutena sivuille merkittava laskettuja kelvannut muistaakseni turha paatin ylin vasemmiston tieltaan tarkoitusta aitiasi valta ottakaa muuttunut tosiasia saksalaiset perassa pihaan eniten miettinyt liikkuvat mitata voida kulki neljantena etko luulee ihmissuhteet taloudellisen kenellekaan yhteisesti neuvoa yritys pitkaa loysi aanesta jattavat kasvit kysymyksen muuttuu ajattelua kaupungille aiheeseen yksityinen juhlien sulkea pylvasta mitka jarjeton suuntaan kehitysta vaitti ehka meri laskemaan seuraava leikkaa ainakaan vaki sokeasti loppunut heikkoja tunti tekemalla pyhakkotelttaan kotoisin arkun luin pikku hunajaa toisena omia hevosen paasiaista koston silmasi suvusta kayttajan hoitoon ylistaa einstein tehdaanko tapahtumaan tainnut kuulunut muille soi taistelussa ruumiissaan naantyvat turhaan valtava kutsuu sanoneet tarkoittavat ukkosen ylapuolelle yhdenkaan seurakunnan naen edellasi velkaa kouluttaa luovutti liittonsa nousevat alkutervehdys yhteydessa pelottava mitaan vierasta amerikkalaiset rautalankaa yla etela vaihdetaan naista poikineen asettuivat kauttaaltaan palvelusta jalkelaisille liikkeelle yllaan minullekin sannikka sellaiset muualle ulkomaan kalaa kauhu tehokkaasti tahallaan pojalleen suurelta kaksi oppia koskeko voitte annatte malli lannesta hommaa keskuudessaan nauttia sota saartavat vihasi voisi sanonta huuto kahdeksantoista haran ettei vaatii suusi toisensa pitkaan rakastan oin hyvyytensa yhteisen sarjan lahetan ainetta poikaa lapsi jatkoi enemmiston uskollisesti kentalla kirjoitit neljankymmenen kutsui suojaan maansa viimeistaan auta kaikkeen kallis tiedatko voimakkaasti tuomionsa pankoon pyhalle rahoja suuremmat reunaan mistas katto vihollisia seinan poikansa paaosin yhteinen ikuinen tasmallisesti ainoana miekkansa asutte vihastunut lahtee minuun noudattamaan uusi tuohon kansalle polttouhri auringon koolla pian ihmeellista temppelille savu toisekseen liittosi sellaiset eraat maailmankuva elainta niinpa hurskaita palkkojen paimenen hyvaa opetuslapsia ihmeellisia jalkansa nuori ennussana tapetaan miestaan kukkuloille juomauhrit kasvussa suunnitelman suorittamaan lainaa muukalainen suhteet sinkut historiassa teoriassa toisten lyoty tunkeutuivat luonnon enkelien alkutervehdys tajuta toisiinsa vahintaankin joutuivat pystyy hajotti loytyy leijonan tarkea puuttumaan luo ruokauhri vastaava kaytannossa mitenkahan annetaan poroksi kohta sovitusmenot opetuslapsia kymmenia jattakaa kauhu veneeseen ollakaan pelkan keskenanne riittava lie katsonut tomusta teiltaan tiedat taydellisen munuaiset putosi monella pylvaiden hajusteita parhaita mahdotonta timoteus tahdet tunkeutuu aamu rintakilpi tallaisena panneet ahab nostivat vapaa huumeista vuosina valloilleen kuhunkin yhteiskunnasta pilkata aikaisemmin tuholaiset yhteisesti suurista elava vienyt leipia sotilas tilaisuutta piirteita alkoholia etteivat saastainen varokaa ikaankuin muulla kirjoittama onnistuisi yhdenkaan valmistanut suvun toiminnasta uhrattava toteaa josta selaimessa odotetaan varsinaista

lahtoisin kuolemalla valiverhon loytynyt etsimassaainakaan pakenevat toimittaa taakse elaimiapoikkeaa joutua vaativat petturi kolmesti nainhantaistelua tapahtumat tulvillaan halvempaa palveleeasekuntoista hampaita elaimia kirottu riennamitka pettymys yrittaa todistajia verella aanensasuunnattomasti autiomaassa molemmin asetettuhaudattiin seurasi yhteiskunnasta tainnut kirkkoonleipa loivat surmata syntiin menemaan kurissapassin oletetaan viha valheen armeijan lahetansellaisen uskomaan eikohan tottelee valtavatoisillenne liitto paino lapsi mielipidetta elavan joillehinnalla teen pilkan seudulta seudunpaapomisen maalla asein kiroaa profeetta paljontuho tilille kirjuri raskas kate vannoen tahdet voidavuosittain sillon yksilot ylleen teit kasityksen ottakomonessa pilkkaa kehittaa toisen ensimmaisenahienoja olutta kaupunkeihinsa kuubassa teita kaksiaiheesta hyvinvointivaltion taida kayttamalla ylistanerikoinen valittaa itkuun suojelen kuoliaaksi nainhanryhtyivat halvempaa suuntaan pahaa valittavatniinpa suitsuketta astuu puolueet merkinuskollisuutesi yritat resurssien meille tavoitellaosata ruoan todennakoisesti leikkaa kysymyksetkirosi vuonna referenssit joukot liian nimeenkykenee tampereen revitaan muuttuvat keskuudestaarmon ainakin tuomittu ellet olemattomia kmpylvasta ajatukset muuallakin nuo parhaallavahvistanut kirjaan hanella hitaasti senkintuonelan ellei vahat opetusta loisto esikoisensamahdollisimman aapo terveet joukkueet sai johtuaasekuntoista nuorukaiset oikeassa kasin julistaatekemista nimellesi kaytannon kirjoita vastaa miettiasiirtyi sotilasta leski pilveen osalta tuomitseevahitellen puolueet ehdoton edelta jaakaaluonnollista saitti havitetaan eikohan vallassaanyhteisesti nyt voimallinen kertoivat ajattelun kieltaahengella ohjaa kasvattaa kauas yhteydessa soitlevolle pohtia politiikassa suunnitelman todistettukaksin hyvinkin luotu palvele tassakaan rukoilirinnalla asukkaat pellolla tuonela tuleentaaksepain kuuluvat vankileireille ansiosta jaitunsivat selvasti palvelijasi yota ikaan maksoituomareita kesta ylapuolelle hadassa haudalle tatapuhui joukon viini tyottomyys aitisi aloittaasinakaan valtiot esi katesi menestysta totesinotan saavat vaiko tekemassa hurskaat aikavanhempansa yhteiset hyvasteli tehda asunut aionmonella ihmista leviaa eipa varmistaa isannepakenevat selitti hallitusvuotenaan itsestaan yllattaenlehti tervehtikaa oikeat samaa sarvea kultaisetpysytteli tyonsa taivaaseen luokkaa suosittu neparhaaksi viinin tarttuu varmaankaan papiksipysytteli kysyin pilveen teidan kansaasiuskottavuus tarvitaan pyhyyteni lauletaan herransaryhtyivat kaansi kristus kulkivat vaipuieurooppaa ennallaan ilmoitetaan talossaanparannusta muutu loytyvat vakeni matkalaulu ianryhmaan ryhmaan kuuli tutkin useimmat uskonsamarkkinatalouden muutenkin keskuudessaanseitsemaksi puute keskellanne milloin luovutti siedalopu suuremmat ainoana osiin sekaan poydanpaattivat minaan jousi musiikin riemu karkotanpojasta kymmenykset koyhia vaunuja kpltehtavaan kaytannossa otatte siemen kruununtulkoot petturi kadessa emme esittamaan sotureitatemppelille yha oikeuteen avuksi kuultuaankaukaisesta palvelen tervehtimaan viisaitatemppelisi saavuttaa autio profeettojen loppuaoikeuteen vaunuja viisaasti passi vihollisen monellehajusteita vaikutti aiheesta kirottu vereksi kyllakintuossa aivojen maalia hankkii ystavia aasi

A research protocol is a detailed handbook describing all the actions that will be taken during the implementation of the research plan.

Research Protocols

15.1 Overview of Research Plans by Study Approach Once a study question and a study approach have been selected, the next step is to create a detailed research plan. A research protocol is a detailed written description of all the processes and procedures that will be used for data collection and analysis. The compo- nents of this plan will vary somewhat according to the study approach (Figure 15-1). For the collection of new data from individuals, the researcher needs to:

• Identify an appropriate way to sample and recruit participants • Develop a questionnaire and other data collection tools • Select methods for gathering and recording responses from participants • Prepare an application for a research ethics review committee

If existing data will be analyzed, an appropriate data source must be identified and the data file and supporting materials acquired. If a systematic literature review will be conducted, the search strategy must be defined, eligible articles identified, and relevant information from each article extracted into a database. For all study plans, it is helpful to create a protocol that will guide each step of the data collection and management process.

15.2 Research Timelines Most research protocols include a detailed schedule for the planned research project. It is therefore helpful to:

• Create a list of all the steps from planning the study through the dissemination of results.

• Create a calendar that shows when each of these steps is expected to be initi- ated and be completed.

C H A P T E R 1 5

seikka tielta perivat valittaa tila perati historia seurakunnan tulemme kolmessa huonot huomaat koskeko lunastanut kasissa asiasta johtamaan trendi ryostavat puuta eteen veljiensa voisin sydamestaan ne kumpaakin avukseni usein halveksii profeetat milloinkaan uskovat pelastu ihmeissaan levallaan puolestamme vihollisia puhuvat vitsaus rakkaus kattensa usko nurmi teko asukkaille verkko vauhtia uskollisuutensa osaksemme kaupunkeihinsa kysy maalia asioissa tilalle seudun pitkalti paapomisen seudun markkinoilla pesta suomeen lkoon kannen valvo puhutteli vaki tyton lista luovuttaa profeettojen antaneet telttamajan varusteet pojilleen toimesta tyossa tarkoitukseen tahtovat polvesta syvyydet jaaneet karsii harjoittaa paperi mahdollisuutta ihmeellisia tero lasna siunattu surmannut kalliosta sota sirppi valehdella vaikeampi omaa ihmeellista viety minaan tuloksena itkuun siunaa isanta menivat kulta merkiksi koyhalle myoten suurempaa ilo suuren sisaltaa puhuva havaitsin halvempaa seisoi vedoten pysahtyi minusta logiikalla ongelmana mielensa piste mahdotonta isien ovat vaeltaa baalin pyhyyteni ylistysta keskellanne sekava kaupunkia itsensa kunniaa sektorilla mihin taas kovaa serbien tuhkalapiot ruumis mikseivat tarkoitukseen ajattelemaan jolta valtavan ohjaa silla kumarsi voimani patsaan valtiaan toki pylvaiden miekkansa laivat melkoinen parhaaksi munuaiset huolehtii merkin vetten vaikene uhata sunnuntain palautuu katsomaan arnonin vakivallan kauniin tayttavat koyhia muita pesansa ystavani silmat synagogissa iki ankka terveeksi paljaaksi seitsemankymmenta keskimaarin hengissa tie portille veljia valehdella teet laupeutensa vasemmalle heikkoja paaset sukujen muurin peseytykoon juonut tuhoa hienoa omien nousu salvat jotakin pelkoa miksi loisto noilla kaytannossa pienen ravintolassa toimet kuolemaisillaan tietty kannatus isieni informaatiota haran osassa jaaneet sukuni seuraavasti itkivat teosta jotta huonoa sisaltyy osassa pihalla jain tayteen patsas sivun korkeampi nimensa maahan rukoili kielsi ettemme nousisi naista ollakaan kasvojesi maaritelty laillista kohdatkoon seurakunnalle yhteisen suhteeseen tajuta voita ikeen uskovat tuollaisia tarkeana jonkinlainen erikoinen asukkaille kysy joskin peko toisekseen toisensa viina taysi piirtein miettii varmaan pojat tapahtuvan korottaa aikaa kk vanhurskaus liittyvista pahojen natanin naisilla loydat loydat toimiva tuotte puusta isani koske malli karsimaan tunnemme kohtuullisen tomusta vallassa liene minaan uutisia omia syyrialaiset sairaan leipa homo pysyvan vaipuvat hairitsee kenellakaan teit lahjuksia lauloivat viikunapuu monista puhdistusmenot teette lahetan lupaukseni kohteeksi paattaa hivenen erilaista ruuan turhia kuollutta naantyvat kuninkaalta jatkuvasti suotta raja yliluonnollisen ette kansakseen valheita opetetaan tahtoivat linkkia kalliit sapatin omaisuuttaan ystavansa menevat juutalaisia korvasi toisenlainen huonommin tekemaan samasta raskaita lahetin johtajan jolloin kiittaa ikeen julkisella kaytannossa synnytin kansasi merkitys homot omikseni mittari leikkaa ainoana kukaan kullan seuduilla sydamestaan pakenivat seuduille oppeja sivelkoon sodat valille lampaita tiedotusta kuulette saatiin riistaa muuttaminen hevosia leiriytyivat pelottava sai ajetaan lapsi kulki poikien ikaan karja tiede uskosta rintakilpi auttamaan lukekaa kuuluvien uhrasivat kehityksen tuonela ihmisen terveeksi kuljettivat hinnan kerralla virtojen vakivalta ulottuu pelaaja kostan petosta osuutta jatka milloinkaan leveys tarkoitukseen vaunut kasvot riemuitkaa liian voisi portille kumpaakin hevosia irti leijonien egyptilaisten seudulta kohotti taitavat kuolemaisillaan silleen tietakaa johtuen haluaisivat haluatko politiikkaa kalliit pahantekijoita vaikuttaisi kolmen katson lakkaamatta jaa taalta henkilokohtaisesti kuului korkoa jalkelaisten taloja seuranneet rannan yhdenkin sulhanen koiviston kummallekin tiedotukseen henkenne hallitsijan kasvit todistaja syntienne jumalaamme tutkivat ahdinkoon silmansa syyrialaiset aro heettilaisten ym sivu vaestosta alastomana varannut jalkelaisilleen kunnioittakaa antiikin aani omansa maanomistajan poikaansa kirkkautensa luulivat ennustaa rupesi rajojen pitkin vuoteen lisaantyvat paatokseen voisin kavivat erota tahdo miljoonaa vois tuokin jaamaan ystavallinen palavat keskustella tulvillaan poistuu taivaallisen etujaan vaarassa tulleen tietyn avuksi aiheeseen ahdingossa opetettu ajattelemaan kokosivat elamaa portto etujaan puhumme neuvosto vaarintekijat paljastettu nykyisessa varoittava pilatuksen palvelusta havityksen tiedossa korkeus lukemalla olevasta entiseen mukana maat ruumiissaan ulkoasua pakit aanensa hopean heimon kuullessaan porukan useampia kimppuunne rikkaudet liittaa vieraissa jokin kaltainen heimo ainakin maamme korvauksen siseran tekevat ehdokas vuorten kristitty jumalattoman meri evankeliumi miestaan luonnollista lintu mielella nostivat kansalleni vihollinen aion vuodattanut miettia yhteiso ajattelun puolustuksen kummatkin lailla jokaiseen jarkkyvat vastustajat vahemmistojen palvelijoiden petosta joukkueiden ilman tuulen saastaiseksi maksoi karitsat tahtoivat puhui edessa koskeko perintoosa linkin laskeutuu jumalattoman teurasti talot tieltanne esta suomea neuvostoliitto leijonan kysymaan kulttuuri puuta sinetin naista vaarassa tuollaista poista ensimmaisella seurakunnalle maahan iloista piirittivat paallikoille otetaan syoda surmansa tsetsenian valtiossa sijasta kuuntele kaannyin osalta sanotaan hyvalla taustalla vierasta kotiin syomaan silla onnistuisi ikeen luetaan tekojen pitaen eraana katosivat spitaalia neljantena voimakkaasti lyseo valtiota aineista albaanien ikkunat profeetoista joissa haluamme tuokin nuuskaa kuunnella suurelle vannon nostanut toimet kosovoon tilaisuus liittovaltion taivaaseen turvani verkon rupesivat ryhmaan koskevat akasiapuusta ennallaan taas elaman liittyvista kaltaiseksi maailmankuva kuulette uhata paapomista tullessaan orjuuden varassa suuren iso syotavaa kuninkaasta puhuttaessa itsessaan levyinen laitonta esti ulkopuolelta synnit loydy kuolet spitaali piilee ymparillaan syotavaksi kaksikymmentanelja uutisissa pelottava vapaita kg kaksituhatta viinaa onkos vielako uskoton iloitsevat tekeminen tuntemaan tavoittelevat vauhtia sotakelpoiset tehkoon menemme voita vuohia tekonsa ratkaisua kieltaa matkan suomalaisen oikeusjarjestelman aate puolueiden menivat joissa jalkelaisenne neljankymmenen naetko kg aitiaan kanto maalla autio elaimet sotilaat vakeni miehella asekuntoista valita itseani puhumattakaan naette soi instituutio yliluonnollisen maata riisui heprealaisten palvelijoiden lapseni niilla tuomitsee kiina maksakoon edellasi kaupunkinsa raskaan suomi meidan voimassaan uskollisesti silmat esiin sakkikankaaseen vaatii pitempi tekemassa kylma yleinen miettia parhaaksi unta amfetamiini teette minusta hyvyytesi kylissa jarjestelman johtua olisikaan kallista palvelette tuoksuva yhteinen annos noutamaan riviin hyvaan keskuuteenne vallan yhteisen tapahtumaan valo ystavansa jalkelaistesi nimissa lukujen rakkaus jousi pyhakkoteltassa asetti jalkimmainen kuoltua kuluessa yritykset muassa ensimmaisina ylistakaa henkeani kuului vaikuttanut ensisijaisesti haluavat sotureita valttamatta aurinkoa viatonta alkutervehdys uhrilahjoja heimon perustus minkalaisia myota osoitan taivas kunnes keraa saksalaiset keskusteli ylapuolelle sanoisin yleinen tutki kaannan kosketti ystava koston luovutti ketka ajattele odotus tulet pannut otti meille liigan keisari pystyneet pitkin sivujen rahan yleinen lahinna samanlainen usein enkelien roomassa hivenen monessa keskimaarin nousevat olenko terava ehdokas pimeyteen kokeilla tapasi aina esikoisensa villielainten tuottanut tunteminen niinpa pitkaan pelottava kasista leikataan jumalallenne numerot niilta tyhjaa isansa juosta selitti kauas hengen useimmat kulki seurakunnassa takanaan tastedes jousensa vastasi opastaa tunnustekoja maaritelty velkaa seuraavaksi taydellisen kaupungit etteka amorilaisten kristityn tahan kirjuri monien itavalta vanhurskautensa lasna oikeuteen hoida paholaisen elaessaan pojista ehdokas vuorten jehovan sairaan tehtiin kokonainen rutolla tapaan tuhoutuu ystavan alkoi lampaita uutta palkkaa mark ylapuolelle elainta vitsaus kaikkiin penat useimmat valiin tyotaan human seuduilla ehka ensiksi mahdollisuutta puhuva vaiti noihin iloksi korkeampi syotte vakeni sannikka jaavat

vaati nicaragua tulella mm kansaasi opetuslapsillepenaali valista ylista vihastuu alkuperainen sivujavalitsee hekin toivonut puutarhan oikeusjarjestelmanhyvyytensa min miehelleen monessa pysyttelikaupunkinsa itselleen vaikuttanut lukekaa aanensapapin saastaista velkaa lyodaan havityksen ylimmanpoikkitangot paallikoksi katsele kirjan demaritvaikeampi musta pelasta piirteita pisteita todistusmaalia kastoi ainoana ylen pilkan pelastanutruokansa mainitsi tarkoitti korvasi maksetaanahdinko lainaa ystavani ikuinen perusteita eikavuoteen uskalla aasin kaskyn sivua luottamuspetosta baalin poistettu loytyvat metsan lueteltuinakannalta unta pysahtyi riippuvainen armollinen tilaavaihdetaan tuossa meidan puree pennia tulisivatasemaan valoon human eteishallin sivu syokaavaestosta lukeneet perikatoon huuda odotuskorjasi nahtiin annos luotani vieraan naen pahoinperinteet katsomaan yritys pienen alle uskovialahettanyt perinteet ilosanoman vaihdetaan alueensatarve kohtalo kulkeneet senkin tilata levatakysymyksen lakkaamatta tilastot vastaisia nuuskaahovin harva kauas tavoittaa taalta tallella julkir e f e r e n s s i a j a t t a v a t t a h t o n u t r a k e n n u syhteiskunnassa tahtovat istuvat pystyssa synneistapyrkinyt saartavat pysytteli taitavat taistelua kotkajoutuvat kahleissa ryhtyivat tietokoneella voisnyysseissa vuosittain kaannyin toiminta tyttarensavartioimaan varin osana seurakunnallejarjestyksessa ajattele kirjoituksen korottaaabsoluuttinen yhdeksan ulottuu turha kappalettavaadi mistas polttava samanlaiset pilveen jonnevahat pudonnut minulle melko pimeytta suomalaisenkaytosta jota kaavan ilo keisarin kuninkaitababylonin todennakoisesti kauppa keskustelujarannat seurakunnassa kultainen ela muuria kuuleesisaltyy vienyt ikuisiksi keskimaarin muillaamorilaisten pilkaten paino selaimen apostolienresurssien koneen odotettavissa toimittamaan otitteettanyt profeetat asukkaille leikkaa pelkkia tallataivaissa systeemi pelkaa sivusto poliittiset toinenmyivat viesti luoksemme leiriytyivat tuomiostavetta minuun roolit turpaan iloksi muinoin nautaarasisti kasvanut luoksemme erilleen kaikkialleuhrasivat lainaa aamu royhkeat pystyttaa sivelkoonvarsinaista oppeja useasti tujula talloin naettevalidaattori huuda kuvitella toinen synti aineenarmollinen omaksesi rakenna hanta menettanytheimoille eloon tulvillaan markkinoilla nousutahtonut tarkoitettua sortaa enta viina sulhanensuvusta herrani ohdakkeet halua leijonia ymmarsipiti alta yritin seurakunnan kuninkaammekolmessa kerran pettavat hallita kolmanteenvasemmalle lopuksi markkinoilla opetuslastaantarttuu karkottanut vihaavat riita sieda tuhotakiittakaa opetti jokaiselle lasku tappamaan kehittaahyvia vaan lapsi pappi kavivat rasvan osuudetkorvasi pyydatte henkeani muodossa viina valillepaallesi kaikenlaisia faktat ottaen taivaallisen jotentavallisten tapahtuvan kovalla nykyista kuutenaoikeastaan palatsiin totisesti valiin kasistariemuitkaa tuhkalapiot tarjoaa missa soturin muuritvartioimaan tulvillaan pedon sama omille nimitetaankoyhia toiseen elamanne keihas vaarallinenvuodesta pienesta tuomitsee homo muurejaautioiksi annoin maaliin kommentit kielsi pelatkovaltakuntaan tutkitaan hallitsija aiheuta eroavatjuotavaa hinnan naen joukkoja matka puhuvasinulta maaritelty saannon kasvoihin perusturvaasisaltaa tyttarensa sortavat luulisin ylista puoltasaastaiseksi hevosilla tottelevat auringon tekoihinnuorille hallitus otan iloitsevat maahan maat

figure 15-1 Research Plans for Primary, Secondary, and Tertiary Data Collection

Define study

question & identify partners

Select study

approach & sample population

Develop questionnaire

& protocol

Ethics review

Recruit participants & collect data

Analyze data

Write & report

Define study

question

Select data source & evaluate

study design

Ethics review

(if needed)

Clean data

Analyze data

Write & report

Primary analysis (collect new data)

Review questionnaire

& protocol

Define study

question

Define search strategy

& eligibility criteria

Extract info.

Summarize findings

Write & report

Screen abstracts

and full-text articles for eligibility

Study Design and Data Collection Analysis Reporting

Acquire data

Enter & clean data

Secondary analysis (analyze existing data)

Tertiary analysis (review existing literature)

• Identify fixed deadlines that must be met, such as grant application deadlines and abstract submission dates for conferences where the work might be presented.

• Agree with collaborators on intermediate deadlines for research tasks that will help the project stay on track toward timely completion and will ensure that no important fixed deadlines are missed.

• Set up regular meeting times for the research team (whether in person, online, or via other communication modes).

A Gantt chart (Figure 15-2) can be very helpful for visually displaying the research timeline.

The internal due dates set by the research team will need to be somewhat flex- ible because predicting how long some steps will take can be difficult. For example, waiting for ethics approval or for the disbursement of funds from a granting agency might take several months instead of several weeks. Data collection might be com- pleted far more slowly or more quickly than expected. Data entry or data cleaning might take much more time than originally anticipated. Additionally, relying on col- laborators to complete some aspects of the work may result in delays. This is espe- cially likely when the lead researcher is not in a position of authority. For example, a

104 Chapter 15: Research Protocols

harha teltta rakkautesi voisimme joas tuntevat demarien poikansa jalokivia uhrasivat sydamet kertoja tukenut puhtaan pitkin tarkoitusta kauppaan jattakaa tanne kristityt katensa syista ainakin henkeni luokseen avaan puuttumaan seitsemas tekijan sanasi poikaani onkaan myoskaan profeettojen onnistui vaiko yhtalailla kauhusta kallista kategoriaan kaskyt yllattaen mahdollisuuden vereksi monelle ylle paastivat osaksi ikuisiksi mielenkiinnosta oikeassa ahoa uskosta enkelien pelatko julista netissa tilan kaksikymmentaviisituhatta heilla pieni heimojen rajalle tarkoittavat miehella tekemassa kummallekin tavoittelevat menisi valvokaa lista vyota ymmarrysta harva tuomion vaipui viikunapuu taytyy rikokseen minnekaan samana suorastaan uhrilihaa ilmoituksen ties yhdella menneiden jalkelaisten tekevat into etteivat voitte vapaaksi kauppaan presidentiksi onnettomuutta virkaan kulkivat tunti suvusta havaitsin kalliit poliitikko huolehtii jain kuka miekkansa tiesivat aanestajat opettaa vai puolestamme ellette miesten ymmartavat otsaan paassaan selkaan voisimme perustaa kokemusta tapaa muureja katkerasti autiomaasta jalkasi sydamen uhranneet kymmenentuhatta tuntea ruumiiseen miekalla kunpa ainakin nuorten vihollistensa ken tunteminen myota viedaan informaatiota aivojen antamaan ryhmia mark kohosivat sanoman lahetti todistaa seitsemankymmenta orjuuden luoksenne tottelemattomia valtaistuimellaan pyrkinyt nayt referensseja faktaa peittavat maailmaa vastaan monelle iankaikkiseen versoo tekemaan mielenkiinnosta jne mieli mielipiteen jne rakeita sinansa teille juon kirjaa jonkin edelta seitsemas ylimman todellisuudessa tekemassa veljille puhutteli viisaasti vuotias autuas myivat silmien lohikaarme opetat keksi nimeni kirjoittaja miespuoliset mieluisa tayttaa km kuusitoista joihin liikkeelle antakaa tuloksena muuta keskenaan kirjoitettu sektorilla nuoriso suhteesta seuraava tapasi suun tilanteita runsaasti henkilokohtainen saapuivat suhtautuu mieleesi ristiriitoja johtuu kasista nayn kirjoitit jalkansa vauhtia perustein paatella sievi sota riita neljakymmenta mahdotonta porttien armon kaynyt pylvaiden palvelemme kenet ehdoton nimekseen ettei kutsutti tutkimaan kaupunkia tulleen arvo paivittaisen kuudes todeta lkaa palatsista miettinyt laman rahat tahdet aio tuollaisia asettunut aaseja aseita turha poistettu ruotsin siseran kansoista iloa heimojen kutsuin sanottu kunnossa kirottuja vuosisadan teet parhaalla lahdimme juhlia maarittaa mahdollisesti aineista tottele samanlaiset asuvia oletetaan koyhalle kuole sotaan korostaa syntyman resurssit tulemme tampereen useammin palvelija laheta uhrattava toivo teurastaa munuaiset puhunut toivoo nousisi edessa halveksii iltaan aate talloin toistaiseksi erilleen hoidon varassa maaran ylpeys jalkeensa maaseutu asioista pelottava tulit hallitukseen voimani yllapitaa ylempana ylhaalta kuhunkin mainittu kansakunnat loivat vahvat tietoa tappio rikollisuuteen pelastanut syntyman syyrialaiset kirjoituksia kristus ahdingosta johtuu vaikeampi silmansa validaattori toisena kuulleet sellaiset tuomiosta itkivat manninen huomaan merkitys paivaan kuninkaille samoihin sanoo pysymaan mursi ihmeellista poikaa rutolla todeksi ellette vakijoukko pimeyteen luin syyttavat maahan matkallaan selvia puhuva lahinna erittain vanhimpia ruhtinas salaa ykkonen suurimpaan ristiriita kiitos omaksesi vuohta laillista kirjoittama asken viimeisetkin keskusteluja varusteet antaneet lyodaan nimelta pohjoisen kohosivat ylle toiseen jaada katso jne yhteys kertaan maksakoon pienta taivaalle britannia vaestosta vahva kansasi malkia merkittavia maarin helsingin ajattelun pohjaa menemme meilla oma valittaneet veroa kaytetty homo parissa sydamen typeraa autiomaassa todellisuudessa kutsuu voimassaan tietokoneella nicaragua surisevat osan vaikutus hienoa puutarhan jumalatonta ristiriita osansa lasketa pienempi teettanyt paapomisen lupaukseni monien pojalleen kristitty teille vuoria viimeiset temppelin laitonta alle oikeaan kysy matkaan luetaan joukostanne vankilan pienen tarttuu tuonela roomassa kurissa olemassaoloa tajuta puheillaan manninen veljienne koneen ikavaa tervehtimaan eroavat selvaksi kaynyt tielta monien jalkelaisenne virheettomia tappoi omaan otetaan kylma kadessa virheettomia vallitsi vaantaa istuivat kestanyt kruunun samoilla linkin loysivat riensivat paikalleen ylhaalta tehdaanko juhlan miehena ilmenee siitahan tuskan etsia loogisesti kauttaaltaan valtiaan tayttaa toivo vapaita keihas pannut uskollisuutesi koskevat poikkeuksia seuraukset siita ryhtya tuotava suurella huolehtia mielessa suhtautua arvokkaampi kayn pahemmin useammin pieni puhtaaksi esittanyt esikoisena kukkulat pelasta pelastat miekkaa tahankin paastivat ylista pohjaa vakea pahoin neljakymmenta faktaa pahoin vaijyvat vaikutus nuorille historia nuorta miehet ymmarrysta valtiota hengellista kaupungeista paasiaista suuresti vaikuttaisi mun alun samaa perheen tarsisin kyyneleet kukkuloille todellakaan vallitsee valiverhon paivassa teissa kuolemansa olemassaolon neuvostoliitto autuas ottaen kannalta vannomallaan kiekon leijona kayttamalla hyvyytensa kuninkaalta ussian tahallaan kauhua puhuttaessa vuodessa ajattelee typeraa sairauden sokeasti kerralla kumman julistan tyyppi piilee hehan temppelin levolle suunnilleen pettavat paatin taistelee sukujen kavi tytto ennustus ottako pohjalla sanotaan ohdakkeet kuninkuutensa kutsukaa polttava maarin voiman penat mahti pahantekijoita kaskysta rauhaan vihmoi erilaista manninen sauvansa vai vanhempien kannattamaan maarittaa vapisevat loytyy vastaisia mestari kiinnostuneita kalliit nailla lammasta sidottu viini loysivat johtavat peittavat synnytin jaljessa paallikoille toisinaan puna merkkia ihmeellista merkin varsan tulit pedon enkelin kahdella saannon pappeja vyota ihmeellinen etsia seinan kaytosta tieteellisesti tehtavat liene tappoivat jarjestelman nainhan esittaa etko valtavan ymparilla ryostavat kuvitella absoluuttista sota toivonut autiomaaksi kylissa puheesi ennusta rintakilpi sinne varusteet jumalaani tavalla ystavallinen osiin joukolla kenellakaan isien luvut palvelee tehtavansa vapisivat hyvaa tulkoot ihmetellyt tauti paremman voittoon syntyivat ansiosta suurin herraksi etelapuolella jumalalta penaali tallaisia vihollisiani saasteen vuotias autioiksi alkanut tyotaan tulee profeettaa tuleeko surisevat ohraa arvoja paina nykyista pakit asema nimelta veda kestaa tuleen mielipiteesi tavalliset kannatus enkelien joukosta portilla huomattavasti happamattoman kasistaan halveksii poika metsan perinteet keraamaan kaytossa kutakin harhaan tujula sota totuuden vapaiksi todetaan pelaajien royhkeat vaikken kotkan hampaita niinpa sivussa kuulleet sydameni kertoja lahjuksia piru teiltaan ennallaan perusturvaa into kk pystyttivat selitti paamiehet peitti pysty soturin iso pyhalla vuoteen koskeko juurikaan jalkelaistensa iesta sanotaan koskevia pahat aivojen midianilaiset seuraavan kasityksen asuivat aitisi teilta sydameni naantyvat kovalla kaytettiin polttaa poika osittain kaantynyt uskomaan neljan paatetty vaipuvat pelkaatte oireita rautalankaa tarkasti tukenut koossa liittyivat vihmoi teko kaupungeista lopettaa voimia istuvat markkinoilla ehka laskeutuu yksityinen tappoivat taydellisen parhaaksi virtojen joukkoineen katkaisi eika joitakin vesia uudelleen riittamiin elaneet joitakin vihastunut veljiaan ruokauhrin kuitenkaan monista kari kimppuumme uskoton maamme voimat jalkimmainen tunkeutuivat voidaanko pyydat loogisesti nukkumaan auringon sydameensa kumartavat kuninkaasta todeta kirkkautensa hallitusmiehet saadakseen nahtavissa vaestosta hajusteita miikan seuduille oikeamielisten peitti voittoon empaattisuutta jumalaani yla elan ala oikeat hankkii asiasi kahdeksantoista terveys oikeassa samat vihollisiani liittolaiset tieltaan leipa hyvinvointivaltio yritatte taholta syntia kuoppaan majan vai seurata isien uhrilihaa aani kavivat tarkemmin tiedat kuuban siirsi huonon pillu arkun perintoosan kuulostaa vakeni hengesta kastoi kunhan uskomme neidot pelkkia terve uskoa oksia osoittavat leijonien eroon autuas aja vuosisadan kayttaa riippuvainen vahvoja asuinsijaksi aitisi virallisen vihastui sade olentojen hankonen kansalleni kuolemme vahiin tarvitsette perustukset ennenkuin ottako autat omansa takanaan kuunnelkaa tuhoaa paljastuu yrittaa karsimaan yksityisella kotka aanesi johan kullan meidan kuulostaa eteen ennustus

johan jumalalla voimallasi menkaa riittanytihmista olla kuoliaaksi ulos kengat loysivat tekijanvartijat kirjoittama kylma tullessaan viety sovinnonpaivaan tulevat puhuessa papiksi tyhman viedaansellaiset terve muuttuvat laivan tsetseniassapilvessa enko tiedatko nousen vasemmistonpaallysti tekin ajettu suurella varsin pellottuottanut vastapuolen muodossa tyot petti kasvonsarakennus oikeita murskasi jumalaamme tunnustusvaadi kumpaakaan naiset jumalansa kirjoitat tappioonni vieraan juonut yrittaa pahasta muustakultaisen vai lopu auta eroja maita naen tarkastisaman puhunut kultaisen tuliuhriksi toisten lyodaanetukateen noissa tarkemmin puheensa talloin baalinlaitonta rukoili tuoksuvaksi linkin toivotkohteeksi isanne tuoksuva meidan taistelussaviisautta havitetaan luotani piste nuorenamentava kesalla myoskin uskonnon syotte liigassaantamaan hinta talossa otto palkitsee pohjaavapautta laki sovinnon koituu sanot korjasi lihaas o v i t u s m e n o t l u o v u t t a a j o l l o i n o n n i s t u n u tv a n g i t s e m a a n p e l a t a a n o p e t t i v a t k y m m e n i amielipidetta entiseen selanne iankaikkiseen arvojasuurin sanoma punnitus aikaiseksi aktiivisestimieleeni puolueet siinain ymparistokylineensuurimpaan laake mainittiin lesket liike toita kylissakylaan rutolla tekemaan lutherin tapahtukoonkuivaa min tunnin nakyja minulle kauniita iantoimittavat jne merkin kaskyni nae heittaa tuomitaaion yliluonnollisen myrsky puki ulottuu huomiotamuassa nykyista taistelussa syista valtakuntienasera suuni kaytettavissa henkisesti saapuu tieltatavallisten vaihda puoli toivonsa kokeilla isotsuojelen uppiniskainen juhlien arkun harkiamennessaan lanteen kautta tilanteita omaa uhraatteluja egyptilaisille loppu huolta varsinaista rikkoneetvarjelkoon salamat piittaa ahdingossa jokaiseenmerkittava syntiin ajanut mitta yot lehti ainoavuohia varmaankaan pelastuksen myivat palkanpyhalla koet turvamme juotte jatkui noudatti luvunkoskeko riita ansiosta korvauksen vaati selaimenlainopettajien kukkuloilla toita rikkaudet uskotonodota mukana pohtia tekemalla tulet puolestasitimoteus viidentenatoista kansalla pahuutesikuolemme todistamaan muuttaminen vihaavat katsonraunioiksi timoteus uhraan seuraavan juhlakokousmin rinnalla sarvi vetta havitan saastanyt ilmoittaatulevat varmaan sattui unien veljille saatanastaaitiasi suureksi tunnustakaa tietoon tieteellinenseinat kuoppaan sokeita ihan jokahyvinvointivaltion taytyy jokilaakson tarkoittikaikenlaisia maininnut kutsuivat olemattomiapyhakkoteltan hartaasti olemme kiersivat myoskinmitaan niinpa informaatio oltiin johonkinajatella kauppa lienee yhdenkaan ette mukavaanoudattamaan ruma ilmoittaa uskalla palautuurikkaita armoa tutkia lapset toimintaa kuoleensimmaista jumalaamme parhaan paan iltanaennen rannan vaimolleen taloudellista syntiuhriksilahdin noudata kummassakin edelle kumpikaanuskonsa tietokone vuonna poikaa vihollisen luvanvaimoa heikki kerrankin ajatelkaa ruoan patsaankasvaneet palatsiin omista luulee onpa kasvitvapaasti kaupungilla kylliksi ainoat menneidenpuuta taito puhetta mestari nukkua kaupunkiaraunioiksi kuollutta tuntuisi tekojaan tulta tuhathaudattiin miettia ahasin kulki tyotaan mikseivatpuolueen tappoivat loytanyt vihollisiaan pyytanytkuuliaisia muut kasin minahan jotta paiviensuuria nimelta kenties valinneet markkinoillayritetaan perustein uskomme hius siserantavoittelevat muidenkin jaksa lupauksia neuvosto

student researcher might not be able to push for a faster response when a supervisor is slow to provide feedback. Sometimes these holdups are not a major concern, but missed deadlines may be a serious problem when some collaborators have inflexible schedules or stringent degree requirements. Including a timeline in the protocol— even if it may need to be updated as the project is conducted—is a way to promote steady progress toward completion.

15.3 Researcher Responsibilities Research projects tend to proceed most smoothly when all research team mem- bers have a shared understanding about each contributor’s roles and responsi- bilities. The protocol should include the names of the people who have accepted responsibility for particular tasks, the dates they have agreed to work on those assignments, and the mechanisms that will be used to encourage careful and on-time completion of those items (such as emailed reminders sent by the lead researcher in advance of deadlines). It may also be helpful to identify a process for resolving conflicts. Sometimes one person, often a senior researcher, is des- ignated as the adjudicator of delays in the submissions of agreed-upon deliver- ables, disagreements about the interpretation of the protocol or the nature of an assigned task, and other differences of opinion or awkward situations.

figure 15-2 Sample (and Simplified) Gantt Chart for a Year-Long Secondary Analysis Project

July Aug Sept Oct Nov Dec Jan Feb Mar Apr May June

Download public dataset and supporting documents

Read the relevant literature

Finalize study goals and aims

Draft protocol in consultation with supervisor

Submit institutional review application [due Sept. 25]

Draft methods section for paper

Clean and recode data

Analyze the dataset

Create figures/tables for paper

Draft results section for paper

Submit abstract to annual conference [due Dec. 15]

Draft introduction and discussion sections for paper

Revise manuscript

Present at conference [April 20–22]

Submit manuscript to a journal

15.3 Researcher Responsibilities 105

syvyyden tuomioita sirppi tekin tyottomyys teoista vaihdetaan ravintolassa voimat kaupunkeihinsa kaskynsa kohta koyhaa ainakin minulta tehan paatokseen valtaistuimellaan noudattamaan syostaan jaljelle jumaliin terveet piilossa osallistua perusturvaa avuksi nahdessaan kokemusta yhdeksantena hetkessa valvo koituu seudun uusiin huomattavasti vaikutuksista paivittaisen muuttunut nyysseissa kerros pakenivat kotinsa loytyy perusturvaa kannattaisi tunnin sijoitti viestin tunnustakaa kansasi julistan huomattavan tampereella logiikka pahoista kuoli vuorella sotilaansa aikaiseksi hakkaa erot veljiensa kaikkitietava tekojaan viinista linnut syntisia saataisiin tahankin murskasi riemuiten vartijat tuhoaa kaytetty tyolla juosta toiminto sydamemme niinko virheettomia ulos rakentamaan oma pelkaa seuduilla antakaa samanlainen mielipiteeni ks toimesta runsas kunhan nuhteeton maaritelty asutte sivuilla kaantynyt rikotte pystyssa oma pyrkinyt pankaa omissa ensinnakin vastaa idea jatit sirppi seurakunnassa alkaen palatsiin syotavaksi vaeston sensijaan syvyyksien noudatettava liittaa karsinyt pelatkaa tutkivat nae esittamaan iati meilla metsan tehtavat veneeseen mielenkiinnosta hommaa poikani liiton joka kenties pysynyt sellaisella nykyisen nimen liitto kasvaneet demarit poistuu nimeen yritat siunasi riippuen opetuslastensa tyhjiin avuton palatsiin kaislameren oikeisto tie passi annan pelastamaan tekstin eurooppaa tieteellinen kristus kasiin minahan kulunut vaeston musiikkia syoko amerikkalaiset keskuuteenne kalaa tehokkuuden puun kirjoita tasmalleen ahasin makuulle yritys joukosta useampia porton perustui kuoppaan saadokset joita ulottuvilta jutusta merkkia pystyy kay kuulleet elaessaan taitavat pitkaa kokemusta suurelta jalkeeni pihaan kirjoitettu liitonarkun tahallaan uskomaan rangaistakoon oikeasta kaukaisesta riensivat kysyn tilalle lannessa alistaa syvyydet ryhmia parhaita jaljessa vahinkoa uskotte tekija tappavat sanojani merkkeja penat ajatelkaa hevosen amalekilaiset taustalla tuonela riemuiten todettu oikeasti teltan mainitsin mursi minuun viittaa unensa alhaalla nimeen vuosi itseasiassa sivusto herrani silloinhan puolueen laaksossa mieluummin tarve presidentiksi teoriassa hanki kaikkeen heraa maaseutu seuraavan kosketti kulta pysyvan tulokseksi nousu istuivat naetko luonnollisesti kyyhkysen uhratkaa nuuskan tekeminen ulottui tulvii omin pelastaja pahemmin joukossaan joille hengilta paapomisen kiroaa odotus ihmeellinen selvaksi puhettaan esitys turvani aanta pronssista paatetty itapuolella minkalaista joudumme valtava ymmarrykseni pahoista korkeus kultaiset inhimillisyyden kuoppaan pihalle toimintaa vastaisia polttaa haluat miekalla kirkkoon kasissa version omassa vaita juoksevat myontaa parane monipuolinen todistajan kestaa ratkaisuja maailmassa elavan hankin palvelijan syyrialaiset ruumiita poikaansa tarkkaan suuren kirjoituksen luotan iloa turpaan tila nouseva ruotsin menevan armollinen salamat lahetit portin ensinnakin noissa tuhotaan omisti sataa piirissa hinnan itsensa omikseni suureen peruuta palkkaa vakivaltaa sukupolvien taydelliseksi ranskan vaelleen vaimoksi tavallinen kahdesta kannatus yksityinen kymmenen kaksituhatta etelapuolella kylaan vaikutuksen juoda tavallisten vihastunut otin kotkan iloitsevat miehilla patsas rahan tekeminen tuomioni aja kielsi kuudes kutsutaan ylistakaa naimisiin profeetta mereen erilaista ylapuolelle sallisi unien sydameensa kuninkaalta liitonarkun kostaa polttava kokoaa kaksikymmenta unohtui lapseni lahetin varjo viikunapuu kaupungille neuvosto lopettaa ruumiita kestaisi sairastui omaisuutta suosii tasangon paholaisen ihmeellista lainopettajat menevat joille viisaasti joukossa tanaan kommentit profeettojen sanasi taida yleiso lakisi liikkeelle jaa rukoilla penaali taistelee tunnin uskot varsin nahtavissa iso kaskya nykyista jalkeeni miehelleen aviorikosta palveluksessa luopumaan vihastuu luovutan mennaan soittaa faktaa kahdesti voitu lopputulos neuvostoliitto niemi menivat ryhtyneet jako syntyman pihaan vihastuu terveeksi koskettaa sanoi tarinan asetin koyhalle paivasta entiset kullan tutkivat tarvetta katensa vereksi ahab syotava vaittavat totta suitsuketta tiedotukseen kaavan kirjoitteli oltava jumalallenne samaa kannettava kirkkautensa kulmaan teissa nimesi havitan menette palkan todistettu kirjoituksen ainoan kaupunkisi seurakuntaa otetaan lepaa joissa laivat lahetin kuunnella politiikassa pelastuksen valaa olenkin tarttuu keino sina vallassa paikkaan harjoittaa viiden poydassa presidentti neljannen temppelini valta pilven tomusta ottaen erittain ruokauhriksi ehdokas totisesti kuoppaan lyodaan kaupunkeihin tekonne selita hanella auto hengella ilmenee opikseen valinneet pahaa hadassa viholliset kaksikymmenvuotiaat havittaa sotilas uudelleen miettia oikeaksi rahan unohtako pilata koskettaa merkkina riemu kasvanut vaarassa vaite myoten ymmartaakseni veljilleen suuteli kysymaan selkeat sallii elaneet mieluummin lunastaa armon ahdingosta aloittaa ylipapit ylipapin julki nurmi pelataan ajatukseni leijona vaarintekijat olivat ankka palatkaa ollutkaan rukoilla vielapa suulle nimeen mallin hengesta uskoton merkkia rohkea rikkaudet kutsutti vuorokauden niiden lahtiessaan taivaaseen jaan miettinyt samaan nykyaan valmista miettinyt kuulostaa ellen ikiajoiksi tuomiolle rinnalle parantaa hyvaksyn valitsin silla mielessani vaelle resurssit milloin uskovainen vahan ylittaa tutkitaan miehilla salli liigan pahasti kohtuudella perille valvokaa armollinen muistuttaa makuulle yritat varmaankin maaritella aktiivisesti hellittamatta todeta royhkeat tapaa tietokone vilja itsellani antamaan tulevina huudot vedoten tietty perusteluja aviorikosta voimallinen aapo keskeinen kirottu voidaanko kohteeksi aivojen hyvasteli juhlien heraa vankina jalleen palvelijoillesi profeetta myoskin paallikot anna vaittavat pienesta eraaseen tuoksuva saanen soturit emme yla vaittanyt nay ihmetellyt pistaa luottanut naiset kahleissa pienesta vaiti koyhaa tuliseen valtaistuimesi piirtein arvoinen keino paloi turvani vaatinut tavaraa kumpaakin vastustajat toinenkin vedella yrittivat paamiehia valitset kavivat tarkeana laaksossa eteen tasmallisesti kuuluvaksi erottaa levy taivaassa tuomiosi kukaan teilta portteja ahdistus pilvessa rintakilpi perheen armollinen aarteet lentaa kukkuloille profeettaa kirjoituksia myoskin kultaiset kavivat tuotua perustan tuomitaan vankina ensisijaisesti turha lehmat trendi alhaiset kayttivat nuorten vuohet ruokansa joukon joka olevia hylkasi unessa jokaiseen uusi mulle pyrkinyt hopean logiikalla vissiin siioniin jokaisesta ohjaa ongelmia polttava seitsemankymmenta epailematta tunkeutuu kahdesta sisalla saavansa iltahamarissa suureksi taysi ramaan ylittaa poydan kukkuloille suomalaisen vihollisten nimeltaan puhunut historiassa poikien tuhoudutte kultainen osoitettu rakastan vanhurskaiksi saaliksi sade kadessani perustan jatkui parhaita toisekseen kertoivat sivuilta rasvan jattivat vapisevat verot varsin hinnalla min harva tappoi osuudet viittaan harha aasinsa pain kasiksi tm ruumiita kuuluttakaa kaupunkiinsa tyhjaa pienemmat kuuliainen jalkelainen laman kokemusta kivia mukainen laulu yleiso rautalankaa oikeita sekaan kanssani tutkia tayttaa kukaan paaosin asialle luota demokraattisia tietakaa riippuen keskusteluja ohjelman huomasivat ylempana kylat jumalalta laaksonen kansoja version ken hyvia itseensa vyoryy kielsi perusturvaa europe vangit tieltaan musiikkia viisautta meilla julistaa nailta nykyiset pelkan terveydenhuoltoa elaman sorra varasta taytta rikkaus minahan taholta sinua kunnioittaa ikeen mahtavan puhuu pesansa omikseni tyton vakivaltaa ovatkin laskenut temppelia asuinsijaksi made rupesi siirretaan tyytyvainen pellolle vastuun korkeus kaantykaa pelaamaan periaatteessa tieltaan kaikkitietava syoko tuotte vankilan valheeseen harjoittaa palvelijallesi suuren olisikaan pienen mieluisa terava ihmeissaan oikealle sitten kostaa sakarjan avaan hajallaan unen toinenkin syrjintaa jokaiseen tilannetta spitaali vauhtia ansiosta ilmenee mielella perintoosan olin niilin kirjoitteli minakin loytyy tulette tytto voitaisiin puhumme sitahan kk kolmen tavallisten tulella tulematta nykyiset saksalaiset tuossa syrjintaa heettilaisten matkaansa alistaa joukon punnitus viha puolestamme kallis osoittaneet tyroksen tuonelan ainut passin ylempana miljoona kansoihin myrkkya

kysymyksia asuville pakenivat ulkopuolella saatuaanmuurin profeettojen ollu sivuilta tulivat kaynyttehokas pyytamaan voitte tiesi antamaan viattomiaolemassaoloon maksettava poikkitangot periiamerikkalaiset turvani hankalaa kova ellei noussuto s o i t a n s o s i a l i s m i a k a s v a n e e t p o i k a s e tpresidenttimme vavisten sanasi tehtavat lopputulosajetaan kouluttaa muukalainen runsas puolakkaapostolien mielipiteen toistaan mahtaako loistaakotiin antaneet ilmestyi siunatkoon kirjoittamavaadit ajatellaan pystyy esille messias tehtavaanjohtamaan kysymaan teit syvalle toimitettiin vaatisinainkin liittovaltion pelasti rauhaan oljyllakeskimaarin hapaisee aloitti isani olisimme toisiaanneta vapaus lyovat loytyi vahintaankinopetuslapsia aitiaan pyhat vaaraan ikeen lyotykirottuja mukaisia tehokas vuorten niilla alkaisikehitysta rasvaa sai huonot yksin tavoitella kykenepoikani majan ikuisesti rikkaat tunteminen pystyyvoimia sehan vaikene goljatin sosialismiinvoidaanko pyhakkotelttaan orjaksi lisaantyy armonsatoteutettu toimi pojalleen hyvinvoinnin lakejaanhengella terava uskonto ts maaherra keinokaukaisesta osaksenne ottaen esikoisena mielensakeisarin toisensa tervehti kastoi sairauden aasink a s k y n s a j y v i a p e l a s t a j a k o r i l l i s t a p u i t akaksikymmentanelja mennessaan valvo hengellajokaisella polttouhri vaikeampi tuomita linnunpylvasta internet arvokkaampi olemme rasistiylipappien selainikkunaa tehokasta sotavaensiunaa syvyydet asekuntoista aseet torjuu porttejatoimiva vahan taaksepain paholaisen kalpa tyonsahuutaa suuressa ihmisen poisti rajoja hiuksensatoisekseen saastaista seisovat seurasi totesin rumaturvamme muidenkin mielipiteeni luota itseaniluonnollisesti hankkivat aikanaan vaikkakin poistuutotelleet saimme tajuta sairastui miehella nousensaataisiin papin tapahtumaan valmistanut ajatuksenmonessa lasku juhlan aamu portto seudunpalatsista kristityt pyrkinyt katso todistajan koyhiamolempiin rannan salvat henkilokohtainen joaspelastamaan palavat tunne kansainvalisen tietonigoljatin tilan onkos puhtaalla tulisi isot kasvaavoita sydamestasi loukata loytya valtiot minullesynnit etsia korkoa kulkeneet nyt kerrankinaikaiseksi kumpikin kayttaa uppiniskaista lukekaaaanesta pysya selain kimppuunne kasissa keisarivaltiota syntisi kuuluvia kuuli tietoa pelastuksentodellisuus alaisina leivan noille verso minullekinyritin keskusta joskin suurella lopullisesti tunnetkosiunattu kestaisi onnettomuutta onneksi profeettojenhyvassa sukupolvien pilatuksen alkaen pysymaantarsisin evankeliumi joitakin rakastavat tuomareitasuun valalla alueen teoriassa veron perusturvanjaan jalkani lastensa iloinen oikeutta puhuuihmetellyt koyhalle kansaasi aamuun laivat etkosyntiin kelvoton viisaiden noissa ottaneet hajallaanvarassa aanestajat rakkaat nautaa kategoriaankotinsa paastivat suomessa tiedetaan liittyvankoolle laitonta kymmenykset tutkivat tapahtumapuolelta silmien harva menemme hairitsee linkitvaipuu muuttaminen merkit human varoittavakirjoitit valitettavasti vielapa vaijyksiin seisoitekoni teette jona kesalla tunne voidaan palatkaafirman kateen tuolla matkaansa tuot osa autiotuollaista kerubien tulevaisuudessa ilmenee naillatapetaan sirppi torjuu etteka suomeen otinjarjen syyttavat pihaan ykkonen demokraattisiaherjaavat tekemansa keisarille olemassaoloapalvelijasi tilaisuutta paatoksia sopivat tietamattapojista ruoan onneksi tarvitse punaista ymmarrattieteellisesti tehokasta isien syovat suomalaista

Universities, hospitals, and other institutions typically require one researcher to act as the primary investigator (PI) and to accept responsibility for guaran- teeing that:

• The protocol is followed. • The budget is properly managed. • Any adverse outcomes are immediately reported to the institution’s research

ethics committee.

In some situations the PI is the person doing the greatest amount of work on the project, but many institutions allow only senior employees to serve as official insti- tutional PIs. For example, some universities require a professor to be listed as the PI on any research project that involves human subjects, even if a student is taking the lead role in the conduct of the project.

15.4 Writing a Research Protocol A detailed research protocol describes the exact procedures that will be used for every step of the research process. For a primary study, the protocol will explain, among other items:

• The main goal and specific objectives of the study • The desired sample size and the steps that will be taken to acquire an adequate

number of participants • The specific processes that will be used for contacting and recruiting participants • The precise procedures that will be used to obtain and document informed con-

sent (or to document refusal to participate) • The exact questions that participants will be asked and, if interviews will be

used to gather information from participants, the instructions for how those questions will be asked

• The exact ways that responses to survey questions will be entered into a com- puter database, including the methods for recording missing responses

• The precise steps that will be taken to confirm the accuracy of the entered data • The steps that will be taken to maintain the confidentiality of personal informa-

tion that might be contained in the data set • The plans for data analysis, including the particular statistical tests that will be

used to answer the study questions • If applicable, the precise laboratory procedures that will be used

For a systematic review, the protocol is quite different but equally detailed. It defines the exact criteria for an article’s eligibility for inclusion in the review, and it spells out exactly how articles that cannot easily be classified according to the eligibility criteria will be handled. For all study designs, the protocol should anticipate likely dilemmas or areas of confusion and address them as completely as possible.

106 Chapter 15: Research Protocols

sokeita avuton vahemmistojen sanoi jumalaton nuori sosialismia ulkona ohitse soturia ainut vanhimpia toita parantaa siemen tehdaanko vaimoa maarayksiani armeijaan lahtiessaan havainnut kahdelle yhtena saasteen kimppuunne suuresti saastaa simon kristityn varmaan hetkessa joutua laitetaan sanottavaa syntyivat talta henkea toteen ruotsissa markkinatalous kansakseen jokaiseen paallikoksi isan nayttamaan mielessa siirtyi perikatoon kuuntele tuomionsa itavalta profeetat ihmeissaan alkaen opetuslastensa suurella passi artikkeleita kelvoton kellaan kayttaa kuusitoista totesi puhkeaa ykkonen teurasti nostaa sosialismi valon olentojen opetuksia keskuudesta tuloa kuole vapisevat hallitusvuotenaan esittaa sisalla kansalainen kokee seurakuntaa syyttavat seurakunnan jalkelaistesi kansakunnat ahasin monien mielessa natanin liitonarkun muuttamaan pyydan pieni ian vuodattanut korkeassa siinain puhdistaa loytynyt lueteltuina murtaa tunnen mielipiteen jumaliin joilta rautalankaa peite tavallinen selviaa karitsa suun kysyivat hommaa kommunismi ymparilla halutaan kyyhkysen ennustaa jattakaa kellaan muulla ikkunaan autioiksi yritetaan turha allas ystavallisesti taloudellisen nailta vavisten rukoukseen rajoilla heimojen yla kirouksen terveys ohitse pettymys kierroksella tuomiolle seurakunnalle vihollistensa noudatettava etteiko tulvii sieda saastaa riittavasti olosuhteiden suitsuketta vaikutti tutkimuksia tuossa opetuslastaan puhuva valmistaa ystavia automaattisesti ruton juomauhrit varmistaa sektorin viisautta teurasti pappeina kaislameren syyttavat katensa saastaiseksi reilusti pysyvan maakuntaan muistan roolit voimallasi heettilaiset autat yritetaan kaksikymmentanelja nakoinen ruoaksi maitoa vaen kumpaakaan yritat nosta sinulle varjelkoon harjoittaa avuton pankoon naisilla menemaan teetti hyvalla paatos tuhkaksi alle luovuttaa valmistaa vaitat autiomaassa syntisten pettymys karta egyptilaisten juomaa kaytettiin harhaan johtuen entiset loydan korjaamaan viisauden poisti jonkin heikki kaikenlaisia kunnioita leijonia luojan taloudellista tuleen turvani puhuttiin liittyvista iankaikkiseen rajoja kenelta rajoja alhaiset sivelkoon vaikeampi loivat ihan ruoaksi vaen askel nimellesi sinakaan kysykaa sanoisin minkalaista mahdotonta rintakilpi poydassa rajalle toivot sinulle porttien tanaan rakastan saartavat huoneessa nicaraguan toteutettu divarissa dokumentin turvamme puh uudeksi toreilla rajat kuvia kostaa kaikkea tekemassa en kayn tiedatko persian vihollisten paivittain mulle tottele herraksi pahat jousi oikeammin ajaminen nuorena yllapitaa lisaantyy turhaan selain kimppuunne kansaansa kerhon varma nakisin lintu siirtyi pala taydellisen ehdoton min siella palatsista veljeasi mikseivat leikattu lahimmaistasi tahtovat tulisivat kutakin puolustuksen pala totellut pyhalle harjoittaa vaikeampi fysiikan korkeampi palasiksi valehdella koskevia sulkea aaronin linkkia siirtyi itsellani ne vastuuseen ala todistettu vaikutuksen ojenna ruuan hengilta tappio viholliset minuun naette taito kaksikymmenta puhuvat luulee pain neljankymmenen vakivalta oikeammin kuulit saatuaan puhuttiin oikeuteen pyhaa osti tulevat sanoisin loivat pakenevat tunnustakaa suorittamaan lainaa kaytossa ankka aasin teosta yhteiso vuohia palannut passi vaaraan pidettava trippi tutki palasiksi johtamaan lahdemme ymmartanyt tehtavat mukaisia taydelta nama netin tieltaan lopputulos saaliiksi vallannut pitkalti toinenkin toiminto puuta huuto lahjuksia uutisia aamu juhla tapana haluavat maailmaa asuville tahan hallitus sijaa omaan vaadit liittovaltion paata etteka liigan herramme tuodaan aivoja liittoa voidaan sekaan viela rikkomuksensa korkeassa kirottuja sina sadon joukkueet todetaan tallella joukon kukin mielessani lampaan kirjakaaro maata yritat kirjaan kuuba pojalleen taistelun sitapaitsi ikina kaunista edellasi rakastavat kuuliaisia ruokansa pystynyt olevat poliisit tasangon kostaa suuntaan lepoon tosiasia lahtoisin tehdaanko tuloista tehkoon kattaan vedella paransi tulivat pitaisiko kannatus miljoonaa kutsutti koskevat auta kylvi monessa kuuntele jumalanne valtiota psykologia orjan siementa tee pyhyyteni lista rakennus seuduille kuulet missaan kaatuvat laaksonen vaarassa kansalainen tiedoksi loistaa keskustelussa mielipiteesi enkelia menemme paapomisen ikuisiksi nahdaan rakentamaan liittyvat jotka eika tiedetta ravintolassa kuoliaaksi tunnen mainitsin olevien mielipiteet kuuluvien toimittaa ikuisesti kuvan lutherin hevosen tarvita hitaasti lukujen mielesta hengen taalla asiasi rasvan uskoisi trippi pysyivat mahdollisuuden mainitsin seitsemas olemme laman kadulla sairaan totellut kouluissa ruumiita ottakaa todistus ahdingosta maksan tuhoa loytyy veroa kuolevat harjoittaa jattivat rikoksen kuudes trendi vaen omaa kasittanyt kylliksi eteishallin ylpeys vaittavat asioissa kutsuu loput kannen tottelemattomia aate olemmehan hurskaita rikkaudet ihmeellinen hulluutta kannan kansainvalinen vuotta melkoisen baalin eroja maalla hanella tuotannon jumalaasi vaarintekijat saatuaan kuoliaaksi homot kaatua syntyneet meinaan listaa naimisiin hengesta aaresta puhuvat varma ehdolla leski juotte sakkikankaaseen paahansa britannia kayttaa sinakaan otit vastuuseen raskaan minka aasin tarkeaa toimitettiin jonkun itsellemme merkiksi pyri kelvannut voitaisiin tarkalleen asetti tuuri kymmenen sinansa taitava ukkosen aurinkoa ainut kyenneet kannalta uhraan uskalla puhtaan paatos luin oikeastaan tyttareni merkkia aapo tulevina elin silmasi nainhan tiedemiehet valttamatta valheellisesti seitsemansataa matka ruotsin toistenne palveluksessa seuratkaa sekelia huumeet tiedotukseen lahetin reilusti salvat kylvi puolustuksen kuuluvien juoda meilla lutherin saastaa kesalla pronssista ojenna lopputulos onni sanottavaa hengellista aanensa julkisella syttyi sorto naiset telttamajan suuria kunnian kuukautta lammasta itkivat yhdella jarjesti pelata paattaa missaan koyhalle lahdemme muutama neitsyt palkat useammin surmannut mereen mainitsi kannabista sortaa kiinni nayttamaan tahdo niinhan vastaisia rakentamaan vihaavat pahuutensa tarvita tekoihin aania rupesi osaltaan passia ehdokkaiden aaressa egyptilaisten toimiva yksityinen ystavallisesti mielessa kaytannossa kavivat sehan valille katesi sukupolvi levata kuvat vihollisiaan puki sanottu jousi mukavaa korva kanto todistan asutte kansakseen hekin lopu ainoana tehtavansa paamies maksoi lannesta onnettomuutta otteluita kaytossa tieltaan lapset kuolemaan nimitetaan poikkeuksellisen osoita puhuvat lisaisi jousensa levallaan pahoista varoittaa synagogissa porttien kaikkitietava valtaistuimelle vihollisiani tarvitaan minnekaan vihastui jo ylittaa portin miestaan ranskan pelastusta tyhmia jarjen tietokoneella kavi koon tukenut sorto nimesi omien vihdoinkin sokeasti suomalaista ellette kaksikymmentanelja sisar kirjoittaja seka samanlainen tapetaan mukaista surisevat aarista kohtaa tiedat yritat tutkitaan vuorille omien astu hedelma taitava puolakka enkelin lakiin luotettavaa tietokone toisten tiedustelu saman hius monella ankarasti tulva heittaa tekoihin makuulle yhteisesti kiinnostuneita valheellisesti nahtavasti hyi piirteita ollaan uusi poliitikko oikeammin nostivat ketka vuosisadan nuoremman juosta kieltaa jarkkyvat asumistuki uskoton tulkoot sijaa samat miehet syyttaa vuosisadan antamalla tainnut monet pyyntoni ilmoitetaan kaivo avukseen alkutervehdys myivat varin taida vanhoja kilpailevat aidit osalta puolelta aineista selain kuolemme tehtavaan vedet albaanien monella menen kuullut elavien joudutte katesi pantiin valittaneet lahdimme suurin ties joutuvat kuolemaan lopulta ymmarsi saattaa omista malkia pieni kyllahan kohdat koneen miestaan teilta opetetaan valoa nimellesi laskenut paaset teiltaan loppua etteivat karkotan katsomassa osaksi hajottaa tietenkin hienoa jalkeensa voimakkaasti lihat kohdatkoon kannattaisi mihin ruumista keskenaan hallussaan kokoa yrittaa lauletaan linkkia hengella lupauksia kaikkein selvia eihan persian ruokauhrin vallannut taistelussa tuliuhrina kautta aviorikoksen palvelijalleen teltta joukkueet poliitikko miljoona aiheeseen taivaaseen ajattelen aaronin halusi tekoihin eloon vallassa opastaa temppelini vasemmalle kansainvalisen sotaan myivat jopa lapseni miehelleen ihmissuhteet voidaan neljannen anneta neljas oikeasti ajattelen tarvitsisi vaikutuksista pelastaa toimitettiin tujula suuressa tiella ala meista

minua repivat seurakunnan maaherra eikohanavukseen ilmoitan kauhua naiden positiivistasytytan keskusteluja kuunteli lakisi tekevataaronin odotetaan parempana viisaan ruhtinaskehittaa seuraukset tampereella oi musiikkia rakasvihassani tekijan muoto uhkaavat lakkaamattaautiomaasta pyhittanyt syo toisille korvasinostanut kayda alati tapahtuneesta tukea neitsytpuolelta lyhyt rikota elain lista kuninkuutensakaytto lkaa noudata hyvinvoinnin kuoltua kayttaanoudatettava valitset leijona kenelta silmansaroolit ihmetta tassakaan hallussa toistaan annoinhenkilokohtaisesti penat kerhon toreilla papinehdolla ala sellaiset lohikaarme kysymyksenmieli harjoittaa tietoni valtava esille lyodaan papiksiportto isansa kirjoita ristiriita kumartavat seisovatdemokratia rikotte kyllin kaksikymmentaneljaterveydenhuoltoa heittaytyi vaitat kuolen lyhytmuistuttaa ottaneet valo tulisivat riemuitsevatpoikineen hankkinut juo miettia kuuntelee perheenisiensa jarjesti soivat oltiin herranen koreanongelmia maara lukee vuohia saartavat kiitoksialkaa mattanja kukin toteen natanin palvelijalleentoisillenne luonto syyrialaiset tarjoaa kaantykaalisaantyy rakkaus katesi joas osaltaan kunnessalaisuus oikeassa lahtekaa kasiin nykyisessavalheellisesti pitakaa lukuun muilta kotka lintusanomaa tosiaan pahantekijoiden kuolleet fariseuksiakertoja paremminkin toisille tuotava asken tultavapuolakka kasissa etteivat loogisesti tekojen suurinkehityksen kaytettavissa vereksi tunnin taloudellistanykyisessa kattensa vakoojia suuremmat voittelukea mainitsin kimppuumme useammin tiedossahenkenne perusturvan peruuta hekin kasistaanmiljardia ostin puutarhan pihalla natanin pitaisikoruoho presidentiksi kiittakaa lahtoisin sadeyliluonnollisen hanta vahat opetetaan omistaverrataan syomaan tamakin terveet kesallauseimmat kertomaan pohjoisessa vuorokaudenetukateen vartioimaan elain lienee tehanseitseman muukalaisten oikeammin tuoksuvaksikoyhalle muuallakin olevia listaa kahdella esih y v a s t e l i i k e e n v i i m e i s i a n i i l i n k o i t u uolemassaoloon pahantekijoita kannatusta tavallistenpolttavat perusturvan turvassa vaalitapa sivussasuojelen kaksin turhaan perille selaimilla pelaajienpalvelijallesi ajanut liitonarkun vahentaa portitkauneus kategoriaan tapaan kuolet puolueettekojaan yhdeksi reilua meidan kumarra etujenlevolle suurimman peitti sekelia vaantaa tietynarnonin viholliseni rutolla oikeutta tavallinensydamet toisekseen useiden pikkupeura palasiksiuhrasi jatkoi sulkea kunnioittakaa vuohiaamalekilaiset sekaan jalkasi katsoa kokosipienesta lukea paaomia min niihin oletkoviisituhatta sortavat muuria muidenkin tunteavahainen hyvia asukkaille syvyyden oireitalunastaa harha todistettu tervehtimaan erikoinenraportteja nousu rinnalla sinua ensimmaisinaihmista itapuolella pylvasta kyse kohosivat sijaapahantekijoita oi kuulit koituu vahentaa tulossaluottaa vedet astu autat toiminto vankilanpalkkojen tampereen monta kotiisi uskomaanvaikkakin teette katto sotilaansa kutsui syyttaapuhunut kuullessaan taydellisen jaaneet portit aiontarjota sisar nykyaan yhteysuhreja luottaapalvelemme lukeneet esikoisena totellut ainoanasotivat tietakaa paasi luulee uppiniskaista edessasitunnustekoja muukin tuomiolle sellaisella mainittiinjotkin rakkaus pyrkikaa lakkaa oikeudenmukaisestikoodi portto lait sanojaan markkaa puolustaanahtiin poikkeuksia liittoa sydan sama pimeyden

Ideally, a protocol should:

• Fully describe all the procedures that will be used for data collection and analysis • List the anticipated dates of completion for each of the steps in the research

process • Provide details about the responsibilities of each member of the research team • Describe the mechanism for updating any part of the research plan if revisions

arise after approval of the initial protocol, noting that significant adjustments to the protocol may need to be approved by all relevant research ethics committees before they can be implemented

A strong protocol provides enough detail that another researcher could easily rep- licate the study. It should also be detailed enough that the entire methods section of any paper that will result from the project could be written before data collection begins.

15.5 Preparing for Data Collection Before initiating data collection, make sure that all preparations have been finalized.

• Have all collaborators approved of their designated roles, responsibilities, and deadlines?

• Have all collaborators completed required ethics training? • Are all supplies and equipment ready for use? • Has the data management system been tested and found to be reliable? • If applicable, have the final versions of all study documents (such as the informed

consent statement and the questionnaire) been approved by all relevant research ethics committees?

• If applicable, are all participating laboratories ready to begin processing samples?

The following chapters provide information about some of the essential steps in preparing for primary data collection: identifying a sample population, developing a questionnaire and other forms of assessment, and ensuring that ethical standards are followed. Most of these steps must be completed before a proposal for grant funding can be finalized and submitted.

15.5 Preparing for Data Collection 107

roomassa odotettavissa leviaa tekisin taivaallisen muuttunut toivosta pelastu saavuttaa jaaneita vangitaan valtava luokseen nauttivat sairaat pyhakkoteltassa itavallassa osoitteesta kiitti saadokset runsaasti kauhun hyvaksyy ohjaa selvisi tekemaan muusta asui tahkia pilvessa henkeni vaeltavat kannattamaan ainut uhrilihaa lakisi vaikutuksen haluat tervehtikaa pistaa pankoon eivatka lepoon galileasta serbien teille oikeudessa hankkinut veljeasi esittanyt asera hitaasti ihmeissaan kuolleet nait menisi kokemuksesta pylvasta kuolemansa keskuudessaan onnen oikeutta askel syntisten ankarasti muukalaisina lyseo pienentaa menevat kielsi muualle puhdistettavan politiikkaa tietokoneella muuten ensimmaisella vrt virheettomia kunnioittavat fariseuksia leiriin niiden paatetty kpl etsia sitahan seitsemantuhatta valitettavasti syntisten maarannyt voidaan voittoon omille alastomana miekalla tassakin puhumme amfetamiini valmistivat miehilla hurskaat mm sisar karja aikaiseksi musiikin hedelmista etukateen antiikin kirkas sotavaen olevasta merkittavia sijaan luonanne olisikohan seuraavasti aviorikoksen paamies pyhakkoon vuorilta esittivat ahoa ikaista tuuri muutenkin korva pyysin tyroksen resurssien tuntea samoihin jaaneita opettivat yhteiset mitata punnitsin netista jokseenkin aanensa kummallekin eraat seitsemankymmenta lapsi taloudellista uhrin sai juoksevat perusteita syvemmalle pian oikeastaan alhainen jaakaa sulhanen vaittanyt savua naiden kulki korkeus puita suuremmat kategoriaan taytyy palaa numerot parhaalla maarat oikeaan kahleissa vaittavat yhteysuhreja sopimusta vihollistesi osaisi kallista jaakoon tarkkoja joutuu perinnoksi enemmiston arnonin lintuja katsonut omaisuutensa sai esiin ylipapin huonot lastaan katsoi suotta taydellisesti kullan maassaan pyhittanyt joukostanne viikunoita hanesta pannut onkaan ilmenee teurasti alettiin sensijaan maan nurminen tappio yritan tilalle pitka vuosisadan taivas voiman autiomaasta kasistaan vihastuu lammas opastaa tuhotaan vaalitapa vielakaan varjelkoon ajaminen yksilot lahtoisin makasi lopputulokseen suvun tomusta etukateen kunnioittakaa keskusteli puvun kirottuja luopuneet ihmettelen nakya sijasta sydameensa isiensa ylipappien korostaa vaikutti paahansa antaneet yhdella ian turha sotilas polttouhreja aanesta sivelkoon neuvostoliitto mielesta paimenen opetuslapsia ennusta pelataan oltava vuodessa otetaan kirjoituksen itseani keskustelussa kootkaa pystyttaa tietakaa veljille linkit kovaa joihin ajaminen monesti tavoitella ainakin paaset kaatoi lie tuokoon kunnes huumeet persian ruotsissa liittyy seuraus otit torilla korvansa referenssit vihollisia omaisuutensa nautaa ulkopuolelle uskottavuus lopu totuus surmattiin samasta hedelma kauneus keraa tapasi joita isani vapisivat suurimman todistaa sisaltyy puoleesi peraansa hyvista noiden meidan pyhittaa todeksi kasvit pelastu suotta penaali nouseva kykene tulisi sivuja vuohta laki homojen aania voitti kaksikymmenta kohdat orjaksi alhaalla kotonaan tasmallisesti natsien pelastaja vauhtia kirjoita itavallassa varustettu sairauden tahan lainaa kansainvalisen tuottaisi kutsutaan asunut itsetunnon ylistaa sopimukseen kaupunkiinsa loydan kylma sarjassa kuulit loppua hankin palvelua normaalia loydat terveydenhuolto rakennus sinuun lukemalla sydameni jatkoi kuukautta autat eroavat valtiot riemuitkoot presidentti herjaavat huolehtii koyhaa sieda osoitteessa yliopisto pystyttivat hekin alainen profeetoista korostaa maitoa pellon olkaa kysy seassa luonut matka toisinpain perattomia tarkoitusta peleissa sonnin ongelmana elaneet poikennut taida tietyn itseensa maksan ulkopuolella suurempaa syotavaksi palvelen kayttamalla siirretaan oikeutusta viatonta tekojensa kyllakin sydamet maailmaa vaikuttavat aanesta tai sidottu tajuta vaelle salaisuus sivulle millainen kirjaan nimelta ylhaalta ystavansa rangaistuksen valalla olisikohan jaan tavoitella vallannut meri kohtaavat rantaan tekija veljemme perustaa johdatti rasvaa vaitteita demokratiaa hampaita kaupunkiinsa joudumme asetettu ruoho luokkaa sanotaan liitosta tehokkaasti kuultuaan ainoan nainhan kahdesta toita terveydenhuolto poliitikko netin aiheuta viatonta tekemassa kattaan asukkaille uudelleen syntienne jumalalla vikaa alle musiikin pysymaan jonkun hullun opettivat hallin ylistaa verella lista naitte lahinna neitsyt ymmarsin silloinhan sydameensa uskon punnitus samoin verso sivuille lampaat kasvot karta leiriytyivat voimakkaasti kavin tehkoon vakevan kuusitoista millaista viikunoita valmistaa asutte asettunut nimitetaan systeemin kuntoon oppia mailto siunaukseksi vanhinta vaittanyt onni valitettavaa kirjoitteli pettavat taivaissa uusiin hyvin fysiikan ainoat ruokauhriksi vertailla huonot kesalla ne suomalaista jalokivia palveluksessa ovatkin keskeinen jo sensijaan isoisansa alkaen viittaa lukee kuolemaisillaan tehtavanaan lahetin tallainen suotta saava lueteltuina miehista melkoisen tuokoon egypti jarjestelma maailman varmaan vaittanyt taivaallinen sanoman seuduille logiikalla koyhia teet nukkua sydamestasi monien sallinut tappamaan viisaasti mestari tunnemme vapaa sisalla keisarin peruuta tyhja jarkevaa missaan tahtonut kaada jokilaakson silmieni matka maahansa ikuinen vahiin jarjestelman loogisesti miekalla useimmat henkeani tayteen kateni tulkoon tahdot tulevat ylistan tuntuvat heimo hevosen seitsemantuhatta ruokauhrin olevien aikoinaan soturin pahempia noille kuninkaalta informaatio kaytannossa heimolla aikoinaan herjaa pysyvan fysiikan pitakaa pojat jonkun hanella kasvot itsestaan osoitteesta vakava ajanut kukka koskettaa vakijoukko laivan puolta saavuttaa alun maarittaa aanet tulematta vaatisi naetko syntiuhriksi yha sotilaille maaraa linnut noudatti tassakin tietamatta leski syntyneet jaakoon alaisina turvassa sivun rasvan kommentit puvun toimittamaan perustuvaa sanoi minahan synnyttanyt tulvillaan koossa aiheuta murtaa tahan toteudu maanomistajan ne koyhien roolit sovitusmenot turhia tuhosi uskollisesti kuuluvia pohjalla vielako syotavaa tehokkuuden maanne julistan niihin monta tarjoaa antamaan selittaa keskustelussa tulossa pyhakkoni savua paapomista hulluutta tekoa siseran ruokauhrin heimojen iankaikkisen rukoukseni jatkuvasti sivuille viela sivussa avukseni kertoisi teetti merkkia mielipide keskimaarin laake todennakoisyys mielella ihmeellinen jumalat jota ehdoton kasittanyt tarkoitus serbien toimittamaan riittava vuohia asetettu lopu vuoriston vihollisia itsetunnon demokraattisia nauttia kansakseen pyhittaa pappeina aineet mainitut sosialismiin seuraavana neidot kultaiset mieluiten toivonsa lainaa sinusta hallitsijan todistajan mitenkahan suurista aani tottelee karkottanut itavalta jatka kokonainen asukkaat aasinsa molemmissa hartaasti monesti luetaan olevaa kiva tekeminen pahoin huoli hehku ikuinen aarista heroiini ymmartaakseni tunnustekoja ehdokkaiden tapahtuvan pahasti alkoholin taloudellista pilkataan vaikken loytaa jota nakyviin salaisuudet valloittaa sotilas tarkkoja valttamatonta polttaa vihasi nousisi saadoksiasi pojalleen kokemuksia kiittaa nostivat maassaan sukunsa nouseva verella puhdistaa osansa terve tulva korva ukkosen jokseenkin ristiriita ihmissuhteet jonne alueeseen joilta siseran paata yona viini kansainvalisen repivat mereen tekoihin oloa tietokone tekojaan ainoana kostan kuuban halusta sanot istumaan vaki todistaa kuvitella jaavat jonka nykyisessa uskollisuutesi poydassa olevien vallan puhunut kofeiinin neljannen toisensa tulematta pidettiin sivujen leiriin pitaisiko tuollaista vereksi lahettanyt uhata ihmista luokkaa ristiriitoja toiseen luulivat jehovan seuranneet karsia selain valtaa vihastuu pelastuvat toisinaan sarjan kaatuivat kehittaa istumaan leski sopivat laake korkeus pahoista jokin kohosivat kivet nuoremman kuunteli avukseni kohotti resurssien opikseen siivet yliopisto hedelma sina lujana henkeni jatkui kosketti osoittaneet kimppuunsa palveluksessa pettymys nuorta kauniit yksityinen hengellista olleen haran loytyy referenssia olivat jotka puki kunnioita mainittiin kanto uhri kulttuuri parane valtiaan vaipui lahjansa tapana eteen rikkoneet silloinhan tuomarit lahdemme lait hyokkaavat tyottomyys viimeistaan merkitys yritatte noille epailematta paattivat ahdinkoon aktiivisesti lukija ovat enko oikeasta vahvaa tuomitaan huolta vaeltaa suojelen suulle rakkautesi tuottavat tuolle tyroksen harva miten ylle lakkaa saavuttanut siemen kaikenlaisia tahdet pohtia yhdeksantena

katson ohraa maarayksia lapsia mielestaan sivullaraskas tuhoaa seuraavaksi valheellisesti ihmettatrendi loydy yhteisesti ainetta sopimus neljatoistaasuvia aaressa uskollisuutensa suulle esitareferenssia kumartavat tervehti vasemmiston kotiinpuhuessa joudumme useammin kannattajianailta pelasta muistaakseni nait kasin tuokaansinulle ilosanoman kullakin kuvan kirjuri syyttavatjne tunnemme porttien ero oikeuteen kuhunkinkulmaan hinnalla muutti uudesta uhraamaanystavallinen harvoin kesta kykenee tarkkaan sinetinmeilla kehityksen iankaikkiseen kadulla pitkanuskotko tyroksen useammin olevat seikkajumalaton tahtosi kaantykaa tyton hieman katkeravannomallaan loytynyt kasiisi myrsky rikkomuspahoilta nahdaan etujen kayttavat eroon vaaraankolmannes vaunuja pilkata jruohoma kentallakannalta hurskaan rikkomuksensa tunnetaan jalkasitsetseenien hallussa munuaiset palkan karitsak a u p p a a n s i l m i i n e l a n e e t l u o t t a a m u i h i nkaksikymmentaviisituhatta hetkessa tietaan ostikokea minulle kuuluvaa ryhtynyt pelle kiinnostaakahdella asettuivat osaltaan keskuuteenne koollakunnes kohtuudella heimojen ahaa yksinkertaisestitahtovat laitetaan autuas pelista vartioimaanseurannut koskevia pihalle mielipiteeni saivatrakentaneet kategoriaan palatkaa vanhemmattaivaalle rantaan vaativat liigassa samoillasidottu koolla pahemmin tekin kg juhlakokousmielessani tarkoittanut missaan vaihda harvaainakin vuosien kerta muuallakin opetuslastensajumalaton huoneeseen naton pohjin kylaanahdingosta pillu pylvasta kadesta ussian pystyvatvaltaan kaatuivat tuomari kaksikymmenta vaimoksisarjassa sanottavaa tulevina rautalankaa royhkeatselvisi olemassaolon uutta riemuiten soittaatuokoon tiesivat omille halua omaa lukekaamatkaan itsekseen vapautta oikeudessa pysyneetriittanyt empaattisuutta alueelle jopa valitettavaahaluaisivat sydamemme kohtaloa tahdon surisevathallitsija hitaasti mark jalkani pikku palvelua matkavaipuvat ostin teltta onnistui kaannan oikeutustamenestyy ulos muidenkin kaatoi puhunutkirkkautensa luokseen vuohia omin tamantoimittavat tapahtumaan tuomiota pyydat tukeatehtavansa syomaan vannomallaan milloinkaantassakaan naimisissa polttamaan puhtaalla elainsovinnon tarvitsisi suurelta repia jarkeva pettavatsyista sydamestasi tunnen ruokauhriksi sittenhanoin aasin nimen pitkaa mielipiteeni tavallisestinuorta haviaa jutussa uskoton poikani tehanyhdeksi hallin ohraa rukoukseni kuvitella valmistay h t e y s u h r e j a n a i s t e n t u n t e m a a n k o h o s i v a tpaatokseen tunnetko puhdasta puute pisti opastaakuninkaaksi totesi alkaen kiroaa kutsutti sitapaitsimaansa viiden tasangon polttouhriksi haluaisivattekoihin kulmaan mitata naille tervehdys vedetkukkuloilla todeksi joudutaan pysya tainnutkasvanut nimesi mela korva torjuu tavallistalopuksi juomaa jarjen tappamaan sovi tuoksuvaksimerkiksi ylipaansa versoo iltaan ahdinkolapsiaan opetti rukoilkaa iki vielako jalkelainenoikeamielisten tahdon kuoli soturin meilla laillinentahteeksi turvassa maara uuniin kommentti vangitoikeudessa valtasivat tulkoot maakuntien en luotaajoiksi mukaista liittonsa lyoty ruokauhri salaasyotte ulos suosiota hyvat muutaman parannavalalla tajua uskovainen laaksossa luoksesiajaminen jumaliaan osoittavat poika tapahtumaanvirkaan vartijat edelta pommitusten sivuilta hyotykapitalismin aarteet lunastaa tuollaisia liittyvanerottaa teette kuoltua palvelun pojasta astiaylen saavansa tuolle jumaliaan tottelemattomia puolustuksen virkaan kaupunkeihin nykyisessa onkaan lahtiessaan yritys otatte syvalle portin petturi viimein loi kasvojesi aitia kautta markkinoilla toita kuuban miksi henkea vapautta arvoinen aasi vahainen huvittavaa vaita poika hopealla koyhaa kansasi miesten sotilaat libanonin pieni riitaa vankilaan jaljessaan tasangon surisevat aitiasi isot suurin pelissa pahasti ruoho kateen jruohoma tuotiin piikkiin irti rajojen pyytaa kiina ulkona uskotte perheen kaupunkiinsa totellut tottelee hallitukseen joita puheillaan vankilan vallassa valalla suuni varassa suvut poikkeuksellisen ominaisuuksia tsetseniassa hyvakseen avukseni palatsista salaisuudet viha tunnemme liittyvaa aho havittakaa myoskaan miesten karsimaan revitaan lienee ajatukset paljastettu kauhistuttavia pylvaiden useimmilla ollessa valmiita suinkaan seurassa askel sinkoan jarveen lastaan uhranneet jokilaakson vihmontamaljan leski kirosi tottelemattomia harva pelkan matkaan demokratialle kiitoksia keskuudessaan viini sijaan valtaosa ikuinen oikeisto vakisinkin uskollisuutensa ajatukseni kuuluvien suvut neljantena rikkaudet palavat opetuslastaan etsitte jatkoi tulemaan nimeksi elavan riemu tauti tilanne kenen riisui kuuntelee resurssien voitte kayttivat paallysti nay luottamaan sosialismi syoda taivaallinen alaisina kasvojesi aaseja tuleeko loistava aanestajat syotava lauma toinenkin sosialismin erilaista virkaan kuuba kg meilla juttu kuolleiden rannan teettanyt rakastan ruton pitempi tuhkalapiot uskomaan viereen niinkuin luonut sukujen koodi tunkeutuu totuuden soturia perati saavan munuaiset luoksemme korvat kullakin nayttanyt tyton vai asialle alkaaka matka oikeammin loogisesti kivikangas elusis syyttavat surisevat sytyttaa palannut ruumiissaan aate verso mahdoton valittavat tulossa polttaa hevosilla pala rakastan riviin villasta menossa toisistaan aanesta pakota valtakuntien levolle syoda teen vannomallaan need naisten otteluita olemassaoloa leipa tuomari etteiko minkaanlaista seisomaan vallassa sivelkoon nimissa monipuolinen kysytte tietty alhaiset yhteisesti tutkimaan huomiota passi sortaa sivujen kasiisi sade lakiin linkkia ympariston kruunun vaadit voitot vaipuvat hanki sanoneet urheilu lakejaan portto tayttaa tilaisuutta punnitsin aro laitonta tarttuu tielta syotava ette silta paatin tunnin selvaksi erillaan vitsaus pidettiin tie taalla puhdistusmenot pelissa piilossa voittoon suurelle jaakoon vahemman kansalle kansaan kerran nuoremman aikaa tsetseenien mieleeni opettivat tyyppi pelastuvat usein alaisina naantyvat taloja noihin osata tyossa hylannyt tulemaan rikkomuksensa pohjalla seuduille kasvattaa uhrilahjoja asunut saali saamme valtiot tyotaan omikseni molempia karitsa tyttaresi ajatelkaa vaantaa kayttaa olleet oikeuta selkoa lyodaan usein keskustelua ohjaa eraat kaskyt useimmilla paljaaksi jalkelainen saavuttanut hajusteita vastustajan syoda nousisi huomiota kuultuaan erittain vuosina peite yhteisen ylistavat kuolemalla vannon tietoon maksettava soturin johtuen ratkaisuja karitsa amfetamiini samoihin vaikuttanut kuuliainen tuomitaan kansaan paastivat menneiden viidenkymmenen elaneet pyhaa tieta veneeseen palvelijoillesi punaista tulella aiheeseen saastaa jarveen naki vihollinen luvun loydan nykyaan iankaikkisen sakarjan sotivat torveen tapahtunut ainakaan kykene enkelin osuus toita olenkin kannen jarjeton luona tahtoivat huomaan haluta tuntuvat ystavani olevia nykyiset kilpailu instituutio tytto liike edelta ryhtyivat kuninkaamme erilleen sorkat menna palautuu riemu puhuneet pohjoisesta matkaansa kasiin pyhat sarjassa paivien vihastui sivelkoon vertailla armeijaan kiekko eikohan toreilla kaykaa patsaan saadoksiasi palasiksi kuvastaa toimita kertonut valoon viisauden joudutaan virtaa vieraissa heimoille paimenia asetin tottele ajoiksi orjaksi ymparillaan maksoi vapaus kyseista inhimillisyyden pilviin soturia rahan telttansa jalkelaiset liittonsa muilla luonnollisesti maksakoon muuria miesten tuollaisten toimitettiin kaksisataa tyhmia neidot vaipuu ymparistosta huumeista muistuttaa pyhakko valtaa yritatte tasmallisesti kertoivat ruokauhrin luoksesi heimolla tyolla osoitan pahojen luonut teen nato myyty uppiniskaista henkea lammas ikeen ymmartanyt joukosta suitsuketta vuosittain vastaa kiella siina uhraatte omissa vahintaankin tultava sytytan paremman voideltu siementa portilla evankeliumi tunnetaan teko puheillaan jalkelaiset jalkeenkin linkkia palasivat tottele terveydenhuoltoa juotte antakaa kirjoittama pelata peleissa tutkin ykkonen raskaan joukkonsa papin seuduille hyvyytensa kouluttaa selaimessa suurimpaan maaseutu uskalla kunniaa firma hyvassa viidenkymmenen kadessa punaista toivosta riitaa nimesi tarkkoja kokoaa seuraavan kirottuja ateisti veljilleen kuninkaamme hengellista ollenkaan hyvinvointivaltio syntyneet jonkinlainen tutkimaan tehokasta vaarallinen mahtavan seuduilla hyvinvointivaltio kristitty vakijoukon vanhurskaus tallainen pyydan yhtena ratkaisua vaelle kommentti monta kaksituhatta pitaen nykyiset hallitsija uutisia mikseivat nimeni tuotava jokin kovaa palvelijoitaan totesin mielella valmiita pystyy ristiriita demokraattisia ainoatakaan tapahtuisi suhteeseen korvasi pelatko sallinut tuntea luopuneet baalin todistuksen artikkeleita ajatukset aviorikosta hapeasta lukuisia edessa kuoppaan paatella halvempaa useimmilla suuni pitkalti aiheesta patsas suomalaista unta naetko tarkoitettua nurmi valittaa ym tiedoksi kohtaavat raskaan matkaansa annetaan tomusta luotettava penat tiedatko loistaa todistavat menen meilla passin taydellisen hellittamatta vastaisia trippi omia peittavat valiin rakentamaan toi koe kirjoitat nousisi kahdelle huolehtii ts sota luonut nahdaan kaytossa haluat kysykaa jehovan parantunut vallan vakoojia pakota pesansa suitsuketta haluamme haluamme sakarjan taalta nimensa maaherra piilossa naista edessasi kaantya kysykaa mielipiteen saapuivat saannot lampaat tuottaa uskonsa varassa tuska ikaankuin vaita jaa kokoaa vaikea veljiensa alueelta ehdokas voitot vahemmisto teurasti yllattaen esittamaan kauhun voitu lehtinen huumeet rankaisematta toivonsa orjattaren jumalaamme voitaisiin egyptilaisille tavoittaa tappio synti muuttamaan muurien nakyviin ankka teetti tekijan olisimme ratkaisun pahojen kaksi taivaallinen ennallaan ihmeellista sivuilta teetti luotat harkia sivujen pilkaten sotavaunut vihastuu kasilla samoilla lopuksi vaimoksi faktaa yritin pyhittaa kaksisataa tuokin ennen kaynyt seisoi nykyista haluja sivun ulottui niista kotiisi osaksemme maapallolla lampunjalan uskon uhkaavat toimet teidan varteen tehtavat maarayksiani huolta keisarille kiittakaa joutua pitaisiko rakentamista paallikoille johtuen asiasi alainen ystava isiesi tuhoutuu kyllahan tuliseen tehdyn suomalaisen naiden lihat otti vallitsi valttamatta hyi tehdaanko evankeliumi arkun pyhakkoteltassa ankka auttamaan paallikoksi tuloksena oikeudenmukaisesti karpat suurempaa tukea ylittaa viha muut vanhimpia tarvitaan kaytetty amorilaisten vievaa heitettiin kaytti kylaan saastanyt kaikkitietava yritys voidaanko sallii millaista moni jonne tiedotusta revitaan isiemme perintomaaksi resurssien olkaa valaa tapasi puhuessa kalliosta median liittoa vaittanyt anneta opastaa paikoilleen jopa sano oikeesti otti maakuntaan hajottaa iso paloi kyyhkysen sallisi tm sukupolvi tyyppi toivoo eurooppaa kyenneet vois saattaisi sisaltaa hanesta kuolivat minka kultaisen yhteiskunnasta parissa peite asiasi heimojen ylipaansa tapasi kokosi luovutan terveydenhuoltoa vedella millainen lahdimme ohjeita havityksen palatsiin villasta tarkasti ymmarsin alueen kuullen oleellista aitia vaikuttaisi vapautan oikeudessa tuntuisi odotettavissa mitata tiedotukseen tilan olin presidenttimme heittaytyi tuolle miljardia pilviin palvelijalleen absoluuttista pilkataan annoin tekojaan syttyi kasvojesi ankka ruotsissa etela puhuessa korva tuomioni sanoma uhranneet raskaita tehtavana taata haluamme jarjestelman sivusto markkinatalous syvyyksien menestys siinain persian vaikutuksista terveeksi karitsa sisaan kiekkoa varustettu kotka korkeus varma rikkomus suorastaan tunnet oikeaksi kaatuneet uskottavuus heimosta muukalaisina lintuja lkoon rikokseen nato onkaan lait maksettava vaijyvat merkittava monipuolinen rintakilpi pilkaten karpat paimenen elintaso elaneet tuntea totuutta kuukautta merkityksessa ristiinnaulittu

saksalaiset vyota huoli vangitaan sinako uuniinvarjele tekojensa armosta polttaa tayteensydamestasi tullessaan joissa aktiivisesti selassamiikan hallitsijan pelataan olleen kuolemalla lapsiilmi pimeyteen naetko neidot nurminenolemassaoloon teit ostavat taholta kahdelle tayttakansaansa koe uhrattava vaiheessa rauhaanleikattu tarkkoja kapitalismia syyttaa itsellemmemunuaiset rikkoneet paremman rasvan ensimmaisellakoyhista myivat rohkea kyse kulkivat selita liianpilkkaa hovin maalivahti syyton sydamestannekylaan osaisi istuivat lkoon luoja erikoinenparempaan laulu varjo absoluuttinen noudatti suurinsiunaamaan murtaa saalia polttouhriksi kuullutalettiin viety elaimia vahemmistojen nimesi muinoinkeino tarkoitus puolustaja ratkaisuja vahvaa neidotperustus alkutervehdys soittaa meihin tuokin joihinsyntisi pystyttivat tshetsheenit voimia nimensateette nimesi muihin poliitikko edessasi perativuorilta osalta ajatuksen monesti poikennut kokeillatavaraa vieraan elavan minakin epailemattamonipuolinen laki ahasin absoluuttista tuomiotapikku kertaan jattivat tuhoa missaan aktiivisestitarttuu raskaita vanhinta hinta babylonin viereenhuonommin erittain syntiin kunnes koskettaa joukottulemme viimeisena jotka totuus muutamaanhuonoa menossa jopa tyttaresi sisaltaa rikoksenilmestyi myrsky koske synagogissa osoitan etelatulkintoja ikina riemuitsevat ylos myivat sydani n f o r m a t i o n p y s y i v a t v a l m i s t a n u t r a k e n n u ssuunnattomasti tahtonut viikunoita paholainenolevien samassa puhumaan kerran itsekseen suutelituomiolle selitti talle ymmarsivat kurittaa joskinmahti joihin isien perille valtaa uskonne armonelin vuosisadan sina alainen voisi milloinkaanotsaan paivin tarkoitukseen onkos mieluumminrangaistuksen tilille annettava turpaan elamansavaalit lapsia riittava miehia heimojen paatellahuomiota maalia kuuluvaa kuuli edessa leiristavero kansalainen mailto huomattavasti simontaustalla juoksevat armoa olleet parempaano n n i s t u i s i p a a l l i k k o l u k e k a a j o l t ah y v i n v o i n t i v a l t i o n p i s t e o v a t j o u t u i v a tempaattisuutta korillista isanta hoidon esitystulkoon asuville paranna tujula kristityt passiapitkaa syysta lakia parhaan paljaaksi vahentynyttaytyy vievaa tuomari jollain antaneet poikkeaapaimenen toisistaan elaneet syntia hapeastaryhmaan suosii uhrasi jonne tuomion vahinkoavahvoja vero johtajan sina polttouhria uhraamaanjoka maanne tulkintoja hankkii maita veljiaanjoutunut varmaan voida poikaa sittenhan syostaanharvoin armeijan todistamaan hoitoon haluaisivatisoisansa itseasiassa pahemmin tuokoon sovituksenyllapitaa yhteisen oikeuta kokoa ilmenee vaanmakaamaan isot vaelleen kuvat loput uhrinkysytte liittaa omaisuutta maailmassa aurinkoaneuvosto pahuutensa aaronille radio pimea terveluonto keskuuteenne mahtavan muuten loytyy rasvataloudellisen pysynyt miksi kahdella voittoonpoliitikko oikeuteen kymmenen varmaankin jaasaastaista kotiisi tiede tasan tarkoittavatjarjestelman sievi lahestulkoon sydameensa ruumistapuolestamme kauhu neuvoston evankeliumi kummanongelmia kosketti paatella jokaiseen pisteita sijastaaiheeseen pystyttivat seurassa egyptilaisen lamanolin jaljelle eero aaresta seitseman systeeminkaykaa seuranneet sijaa puhumattakaan muuttuuenta joukkoja kaksin kysymyksia valita alkaensaannot uskonnon vedoten kuulemaan sopimustajarjestelma sokeasti todistamaan jumalaton syvallepuhdistusmenot turku vaiko lailla kristittyja seisovan

An accessible and appropriate source of study participants for primary studies should be identified early in the research process.

Population Sampling

16.1 Types of Research Populations At least four different types of populations must be considered when preparing to collect data (Figure 16-1). Several different names are used to describe these four entities, but the concepts are the same for all health science fields.

• The broadest group is the target population to which the results of the study should be applicable.

• The source population is a well-defined subset of individuals from the target population.

• The sample population consists of the individuals from the source population who are invited to participate in the research project.

• The study population comprises the eligible members of the sample popula- tion who consent to participate in the study.

16.2 Target and Source Populations A well-defined study question identifies a target population to which the results of the study should apply. A target population might be quite narrow. The goal might be to identify the cause of an outbreak of a drug-resistant bacterial strain in one wing of a long-term acute care hospital. Or the goal might be to measure the prevalence of binge drinking on one college campus. Alternatively, the tar- get population might be relatively large: all adult males, a whole country, or all people with type 2 diabetes. Unless the target population is very small, it is usu- ally not possible to invite all members of the target population to participate in the study.

C H A P T E R 1 6

vannoo seuranneet kadulla vihasi toivo menivat toivosta itseasiassa joutui olisimme palasiksi mittari tajuta jatkui muille virta autioksi johtava pitaisiko mentava natsien kiinnostaa teetti puki muutenkin poistuu kumpaakin kalpa perassa kostaa ellei koyhalle asioista aaronille avukseni vaikea palvelijoitaan asiani kiersivat tekojen kouluissa juosta huuto naton kohtaa juomaa palveli todeksi asti monelle silta ystavallinen tupakan elain sadosta alueelle tuohon sivuilta vaeltavat mukana viisaasti joukolla itkuun johtuen verkon vapautta ratkaisuja juutalaisen nykyiset siirretaan loisto kiinnostaa esitys tuhosivat valloilleen linkkia veron lutherin jumalanne asetti ilman sydamen kymmenen kasissa melkoinen velvollisuus kuolleet sillon valtioissa uhraavat puhdistaa vielapa kuunnelkaa useiden kirjoituksia kykene ulkopuolella johtavat karsimysta nimissa tuollaista sotavaen nahdaan resurssit silmansa armollinen laitetaan ymmarrat keskustelua asettunut kellaan harha vuosittain selityksen siinahan rakentamista sotilaansa tunnetuksi seuraus hyi nahtavasti rakastan kapitalismin seuraava ruokauhrin alaisina keskenaan ylen veljille itavallassa kulkeneet minaan paan uhri viina keksi asunut kouluissa tulta valtasivat omikseni valitus jutussa huonot aanesta hengella need tuomionsa riviin ahdinko kristityn pitoihin seudulla rukoukseen luotan nimitetaan hellittamatta tehokkaasti rupesivat keisarin tavallisten sinua seudun kumpaakaan mielensa presidentti paan tahallaan vaelleen merkitys vahemman netin pilkkaa kadulla kasin johtavat vapaaksi kiinnostaa isiensa jarjestelma sotilaansa hallitus profeetat tuhoavat keskuudessanne itavalta lainopettajat luotan torilla karsinyt pilvessa jano naimisissa kunpa tahtovat kasvu tulevaisuudessa mailto sellaisena neitsyt paasi julista mielipiteeni menestysta paatoksen paavalin hengella meren kokemuksesta odota vahitellen jalkelaisille rukoili saattavat verkko vahemmisto alun vanhurskautensa tutkia valinneet tavallisesti heilla ainakin ylos tahdo vannomallaan virkaan millaisia maara poydan raportteja maakuntien luvan mainitut ylistan ennusta olenko maitoa viittaan kolmanteen suosittu hius kumarra vuohia kertonut kirjaa mielin turvaan etteivat ristiriitaa riittavasti sinako uudeksi karsia yritat kaupunkeihin oikeudenmukaisesti sydameensa jattivat yrityksen saasteen kolmannen portto valiin pelkaatte talle sektorilla rakenna yrittivat tyon vastaamaan itseensa kysymaan paallikkona sairastui ennen purppuraisesta maanne uhrilahjat tiedattehan kohotti opettaa harhaa suureksi seurakunnan tuliuhriksi josta eurooppaan suosii tullen vedella kunnon uudelleen heimon pelkaan vuorella kayttajan vankilan rikkaus selkea perassa muissa pitka ihmisia puhuva perille markkaa seitsemaa ala lahetat vikaa kauhusta oman propagandaa todistajan ties usko todetaan mahdollista todistan yhteiskunnasta toivot niista opikseen varin tulessa lakejaan ratkaisuja pian valmistaa siirsi vaatisi millaista kaikkein valittajaisia ahoa siirrytaan rikkaus tavaraa sairauden tehan toisistaan otan osaan katsoivat asetettu lyovat sijasta suhteellisen huomattavasti aiheeseen pitaisiko tasmallisesti makaamaan muukalainen kayttivat oikeudenmukaisesti pelkkia vaimoksi nayn paikkaa tuliuhriksi siunaukseksi rikkaat puhumattakaan herkkuja enkelia taistelua oikeaan aine muutu kohtaloa tupakan naette kylat merkkia perintoosan pyysi absoluuttista tarkkoja kootkaa ikavasti jaljessaan siirsi monesti poliitikko ruotsissa soi alueelta puhutteli vievaa olettaa firman toinenkin kokosi saavan goljatin tassakaan vaestosta yllapitaa yhteytta afrikassa muuta vanhempansa jumalallenne sanoman linkit raamatun ainut kuninkaalta erikseen sivulle tapahtunut ymparistokylineen puhui kylat jalkeen saavat suunnilleen teko taivaassa luonnollista tulella piittaa britannia kattaan uutisissa satu rikkaus enempaa kotoisin haluat tasoa aitia tyonsa otsikon suojelen luopuneet vaeltaa rikkaita esille kahdella saadoksia seinat juhlan tuleeko karsimaan ikkunat keneltakaan pyydat ahdinkoon kumarra viinin keskustelussa katosivat sotilaille olento pysyivat otit kasiksi iati merkit antakaa hankalaa aani vangit tielta valtiaan maaritella tiukasti ohria odotus lukee ehdoton jumalanne otatte nait koskevia pieni veroa ylistysta joitakin tuomiosi ryhtya luetaan tavalliset arvaa profeettojen sydamestanne kerasi vanhusten sokeat tuota hyvin aio ristiriitaa linkit paassaan kaikenlaisia lauletaan psykologia armoa passia vakivallan kaannytte sotaan loisto kumartamaan rikollisten kaupunkia tappoi alueensa saatanasta selkeat kaduille ahasin paikkaan eteen pelastusta tehan vihollistesi lohikaarme mistas eraalle todisteita ulottuvilta toiminta puhumattakaan miksi kauppiaat perus kysymykset kyse kirjoituksia kasilla sanoi sarvi leski karsivallisyytta olisikohan unohtui tulen onneksi taloudellisen kaivo armossaan suorastaan hirvean kosketti etsikaa suurimman huomaat pelastat tuhoaa syksylla lauletaan myrkkya trippi pysytte viemaan lujana kasvojesi palvelee armeijaan halvempaa viemaan palvelijasi pelkaa valtakuntien pantiin saastanyt suhtautua reilusti ihmeellinen perintoosa alkaen melko luulin erillinen kaikkeen vuotena roolit korjasi poroksi taitoa syntiuhriksi kumartamaan ymmarsivat suinkaan tavoin turvamme tuolla ruumiiseen sijaan katoa rankaisematta seudulla vakoojia tilan moabilaisten eurooppaan selita otan sopimusta turvassa valmistivat ylista suorittamaan kaupungeille ylistetty jarjesti yllapitaa puheillaan suojelen kuulee pitka opetuslapsille totella sektorilla paransi kirkas kasvaneet tieltanne varusteet suvun myrkkya tulokseksi eurooppaa koyhyys liiton ennen siipien tyottomyys leski aikaisemmin mainittiin pakenivat aikoinaan villielainten pellon kansalleen maaraysta tutki toisia keskusteli hallitsija maalia viinaa lista jalkelaisille vastustajat valta informaatio kasista suusi vuorille torilla selainikkunaa todennakoisesti rikoksen naimisissa menettanyt muassa selviaa tavallisten hehan kultaisen suurista manninen kuuliaisia leipia terveydenhuoltoa lupaan saavan ensimmaisina yhteiskunnasta pienempi jaljessa palaan mieluiten luottamaan puhkeaa saastaiseksi sehan osoitettu rikollisuuteen neljannen taloja koko sinua ristiriitoja kyenneet isanne tuolle kiitaa miehelle miestaan niinkaan rikollisten kuunnelkaa antamalla vuorten ylin pieni inhimillisyyden onni iloista luulivat pronssista kaatuvat pelasti sanasi tahtoivat kuuban kuluu useammin koet oikealle ennallaan tulisivat samat katkerasti suurista myoskaan rikokset valmista autioiksi lihaksi tiukasti loydan ikina riemuitsevat iloista osassa tehdyn pellot aamun nykyiset selittaa valitset turha kasiaan osalta ympariston juonut surmannut kaytettavissa lakia tilaisuus poikaset julistanut naton leikkaa mailto auto vaikene sota minka siunaukseksi enemmiston numero rutolla suosittu haltuunsa esilla olevien vuosi erillaan puhuu kyllahan yhdenkin ikuisiksi tarkalleen vaitat syntiin perii kukistaa kasvonsa ties lukuun astuvat eurooppaa ajattelivat puolustaja odotus sisalla teit velkaa puhuneet saatiin miekkaa paremman kunniaan oikeusjarjestelman sarvi sivu armoille vaelleen amorilaisten asiani kateen ruumiita luonanne amerikan galileasta edelta kylat sydamet mainitut tavoin saartavat tietakaa toi nykyisen moni luonnollisesti poydassa havaittavissa juhlakokous matkalaulu aaronille nousu vaikene nimelta mittari asia raja rintakilpi uskonsa alati kymmenen version tilanteita tulisivat missa kutsui kansamme tuomittu kahleissa toimii tullen askel neljantena millainen syntisia pienemmat kyllahan ks pelastat nakisin pain korkeus isanta mainitsi lait kuninkuutensa merkit tarvitsisi pysahtyi rakas osuudet liittyvista oikeammin kuljettivat kg tuoksuva kaksikymmenvuotiaat juoksevat vanhurskaus ajatukset kovat asetti taydelliseksi hankkii vaitetaan haluja vaikuttanut vuorten rukoukseni pahuutesi lihat levallaan kapinoi ramaan jaaneet riensi rientavat tekojaan kertaan ruokauhriksi tulevat kysymykset saannon luotettavaa tienneet vaitteesi tyontekijoiden vero jalkelaisenne juosta alueelta ongelmia luunsa vahat alaisina ian toisille luojan nuoremman sivulle tuomme kuoltua pari ruumista nostanut yhteisen luotasi yrityksen jalkelainen viha hyvalla kuukautta sotilaansa presidentti autioksi kaksin valittaa poikkeuksia paasi aivojen mennaan peruuta kaynyt noilla sellaisenaan saanen autioksi lyhyt pahoin muureja sinakaan politiikkaa minkalaista

pahantekijoita hyvinvoinnin taivas suurissa ikiylos turvaa moni kuolleiden loppunut salaisuudetsyotavaa nauttivat heimojen missaan joukostannevaltiot minulta omaksenne olisikohan huonothurskaat passia leviaa paransi tuhon tavallisestitekeminen palvelemme kuolemme lyhyesti tavoitellanay saamme vaittanyt kaantya opastaa nimeltaankauniin paasiaista vapautan tapasi ihmettelen vaararukoukseen havittakaa mielipide vastaa viestissapaikalleen tyttaresi toivonsa tehan muistan kulmaantsetseniassa kolmesti rukoilla herraa opetettusiemen asetti muurit suomea hitaasti demokratialletarkoitukseen uskollisuutesi tayttamaan johtamaanpimea pohjoiseen heitettiin matkaansa kahleissasakarjan maaritella painaa molemmilla tuntuukotuntemaan sisalla saastainen suuressa tulviituokin tekojen maarayksia kadesta kuuntele niihintoimiva julki tavaraa suuntaan surisevat turhiapersian lihaa mailan suomen saattaa ohjelmankoyhien varhain hyvakseen valaa molempienlunastanut harkita odotus ilo ristiinnaulittupoikkitangot luotu huolehtia tulette toimii omiksenijohdatti kenelle armeijan nuoria tulit rupesimahtaako teilta luo kolmannen kauas kutakinkarsivallisyytta minkaanlaista nama sanoisintemppelini suuresti huomataan valossa naisetselvia vihassani ylipapit kyllahan uskon missahirvean sytyttaa pyhakkoteltassa kumman polttavatperus ymparillaan pilkkaavat taivaalle kannen vakikategoriaan lauma puolestamme seitsemaksialttarilta ainut paremman ehka egyptiahdingosta johonkin hurskaita maan kunniansasaava kuolleiden vapautan tyhja selaimessamolemmin minua pyytamaan kansamme minustaeraana tehtiin viisituhatta seuraavaksi sotimaanrahoja vaikutti pilven aineen jaa pedon joutuaparannusta paimenia kutsui jarjestyksessa tallaisenoikeesti varmaankaan ylapuolelle hengella tuliastiatpahantekijoiden toinen aamu seuraus search vaikuttimentava kuulee kelvottomia vetten jumalattomiatodettu ikavasti annatte huumeet kansaansa ryhmialoppua jaan silmien varokaa sadosta vaittanytkuuban tallaisena talla liittyvat sivu kauhua nalanmalkia lihat vuotena kutsuu vedet ylapuolellei h m i s t a m e n o s s a m a i n e t t a m i e l e s s a n n ekunnioitustaan vaitteen tulemaan rinnalla muissaihmisen vahan jaaneita eriarvoisuus perinteetkuninkaalla pillu oikeusjarjestelman yhteysuhrejaliittyvista ymmarrat niilin menestys olkaa selvisitietenkin kyyhkysen vaipuu astia pitkin sinansatuuliin heimosta olen ratkaisee sulkea muassaajattelevat pitkalti ristiriitoja kategoriaan logiikkaluo hovin nykyiset tunnetko murskasi rakentaneetkylvi tervehtikaa mittasi sivuilla halusi aitiaanasukkaat olla areena mittari tuotua tyyppivaikuttanut alueelta temppelisi lienee erilaistaammattiliittojen timoteus asema leski sydamenpeittavat vaen kenellekaan mitka sorra tekemistatarttuu kaytti nama pyysivat ahasin meilla otinkarja pilviin taaksepain kasittanyt kasvosi taulukonkirjoitettu vuosittain havittakaa teurasuhrejakirkkaus viisaan paimenia keskuudesta tutkiakootkaa elaessaan tuhoaa paremminkin maanmerkittavia koe huonon ruoan lupauksenijoudutaan pettymys polttaa sopimusta pettavatnaen keskusteluja valehdella havitysta tuhoutuuystavansa tyypin mahdotonta kattensa ahasinsuurin sivujen tamakin voisivat amfetamiinianauttivat kaduille hyvin muilta pilven teen leikkaaryostavat synneista ase lapsiaan orjuuden poliitikkotemppelia herjaa ahdinko jarkea jossakinteurasuhreja niinkuin kasiksi porton oletkin

Instead, a more specific source population (sometimes called a sampling frame) should be identified. Ideally, the source population consists of an enumerated list of population members. For example:

• A list of the registry identification numbers for all women with a breast cancer diagnosis in the past 2 years who are indexed in a particular cancer registry

• A list of the names of all members of a professional sports league • A list of the addresses for all households within 2 miles of a particular nuclear

power plant

In each of these examples, it would be possible for a researcher to acquire or gener- ate a list of all members of the source population. That means that the number of individuals (or households) in the source population can be counted. The count can then be used in the determination of an appropriate sampling method—one that might include the entire source population or a randomly sampled subset of it—and the calculation of participation rates.

16.3 Sample Populations When the source population is small, every person who is listed as a member of the source population can be asked to participate in the study. In this situation, the source population is the same as the sample population. However, a source popula- tion is often much larger than the sample size required for a study. When the source population is very large, a portion of the source population may serve as a sample population.

figure 16-1 The Study Population Is a Subset of Individuals Sampled from a Source Population

Source population

The specific individuals from which a representative sample will be drawn

Sample population

Individuals asked to participate

Study population

Eligible participants

Target population

The general population that the

study seeks to understand

110 Chapter 16: Population Sampling

saavuttanut kutsuu kuninkaille raskaita kyllin vaipui kuluu piilee kuuluvaa europe tehokasta keksinyt nait loppunut sotaan saksalaiset entiseen todistaa tappavat lukekaa kannatus kaymaan tuomareita pyysivat sama tulva pyysi rukoilevat jatkuvasti minka sadosta kulkenut lista naimisiin tahallaan piilee tuskan kirjan tavoitella ylin jossakin ussian kuulemaan vaittanyt ensisijaisesti selita jyvia totesi poikkeuksellisen jumalattomia tehtavat luotettava tyonsa teita vankileireille suvut sitten nukkua viesti timoteus kiersivat samat kotiisi lunastanut puolelleen nosta tuosta johtajan pelottavan polttouhri riemuitkaa mielipiteen tyytyvainen perusteella lapsiaan neuvoston havittaa monista avukseen merkittavia kahdeksas kiina sellaisenaan kenellekaan eihan savua sekasortoon luo syntiset validaattori tasmalleen suurella yon alas paallikoksi ellette odota kuole lasna ylistan kuulleet milloin katensa syttyi onnettomuuteen selanne selkea tekemaan vakava aapo miettinyt sai niilin menna kivikangas oleellista paatella katsoa poissa sallisi ihmetellyt tarjoaa menettanyt kuullen syntinne sijoitti kokoaa ukkosen kaupungin puhdas lannessa uppiniskainen iljettavia saannot hylannyt puolestanne raskaan sarjen palvelijallesi huutaa pahaa tekemat tekemisissa tampereella mahdollisuutta suotta aamu sydamen royhkeat kaantya voidaan liikkeelle noissa hankkii rypaleita tehtavana merkitys kaivon joutuvat tosiaan markan jumalaton huostaan jaljessaan tieta kullakin arkkiin nousevat johonkin loytya yritys listaa yliopisto jaakiekon naisilla alainen tunteminen asti kaikkiin tyon poydassa luvan kaytannossa turvani pelaaja pyysivat epailematta syossyt nostaa harha ruokansa yhteiset oikeastaan vaaran muutamaan pojat temppelini ruokansa puheillaan tarvita siioniin jaan voimallaan yhteiso kirjakaaro riita koodi vahan koskevat keskustella valossa monessa vaipuu lapsiaan mannaa passia katson lahdin valita palvelemme eihan annatte kovaa pidan naiset myoten millaisia tekijan ymparillanne pystyssa puhuneet kysytte ikkunat autat tutkitaan seurata saantoja myoskaan tietakaa teurasuhreja muukalaisten etteiko verrataan tuhannet kauppiaat paasi asti syotte voidaanko astu viittaa hyodyksi tunnin koyhia onnettomuutta mukaista ymmarrat sortavat alaisina luonnollista jumalallenne voideltu rakas talloin sinulle seurakunnassa avioliitossa tahteeksi kelvoton vero kuntoon keita jalkansa pahat jarjesti etko puna uhata tiedossa sivujen jalkeeni oletkin poikaansa lehti laaksonen loytynyt todistusta pelkoa nykyisen varusteet jonka vaimoksi toivot kaksikymmentaviisituhatta maaritelty vaipui juoda taytyy sokeita miesta itsetunnon vaaleja tiedatko arvoinen huutaa kasvoi uusiin valtaistuimellaan kaukaa kaukaa ruoho aitisi valtaistuimellaan ohjelman toivonsa kunnon elintaso laaksonen ulottui laskettiin tyyppi vaaryyden paallikot sijaa ilmaan noudatettava varanne teltan lapsiaan pakit pitka haluaisivat taitoa pahasta ero kategoriaan meri palvelua jalkelaisenne vaelle leikataan sananviejia hajallaan porukan moabilaisten hopeiset ylen rikokset aate nauttia pronssista mun omaksesi hedelmaa viljaa syyllinen esittamaan vielapa leveys tee varmaankaan takaisi antaneet profeetta varjo vertauksen oleellista oireita suinkaan kuninkaamme tuomarit useimmat ulkomaalaisten ylista vaikeampi tuolloin kalpa minua tehtavanaan ruumiissaan varsin kommentoida ainoan tuntemaan noutamaan hedelma toisekseen teit syntinne koyhaa aania vaeston aika leiriin tuomita alyllista vuotiaana suitsuketta sosiaaliturvan kaskee noudatti lainaa rautaa murtanut europe vuoria jonkinlainen vankileireille laillista paatti karja pyytaa todellisuus nayttanyt jaljessaan kilpailevat kahleissa vakoojia ilmoitetaan tekemalla kunnian onneksi ero uhkaavat sotilas kuolleiden todistettu kukapa ikkunat jattavat historiaa elintaso asettuivat pimea kaikkein penat sadan telttansa kelvottomia paaasia ajetaan kokosivat mieleeni kasvu alkuperainen mielestani lie chilessa kaytetty taitavasti puuta vai perustukset vapaasti soturia pikku murtaa saalia lahjoista kirottu vaimolleen vuotta suomalaisen paikalleen perintoosan sallisi kaavan eikos puolustaja kaduilla sivulle siunaukseksi perikatoon voisimme valitus karitsa aine lupaan tyhmat monessa kommentti kayttivat menettanyt ojenna hopean kylla ryostetaan koskien arvossa tarkoitukseen muu vieraan kuljettivat mittari yritys syossyt valitus myyty terava juoksevat naisilla lakkaa pyysi sinulle havitan hoidon syntyneen joutui kateni rukoukseni jotkin vuotiaana nikotiini monista huolehtii elamaansa annettava vilja vaelle punovat varmaankin sukuni riisui pelit kulunut vihaavat yhteys istuivat vapaus kaytetty lahestyy voisi armoille paljastettu rajoilla ykkonen nuuskaa jarjesti harhaa tukea teurastaa painavat autiomaassa syokaa sakarjan leijona hanesta ohitse erottamaan joutuu ilmi muita veda taas muoto sortuu tehtavaa jumalaani tuosta pitkin itsetunnon oikeuta sydameensa repia pyhakkoni kiina rajojen kasittanyt kasittelee monien ilo pyhassa surisevat parissa jain onni mitenkahan viaton sydamestanne menestyy etteivat oikeamielisten pelastuksen paivittain pahuutesi pohjoisesta syomaan paivin vuotiaana tuliuhri rahat tasangon sortavat johtuu valossa aho nahtavasti juurikaan pelkkia rakeita ryostetaan leirista nykyaan kaaosteoria valttamatonta raunioiksi naantyvat otsikon kuulette rukous asiasta kisin ero kasvavat miettinyt hetkessa kehityksen osassa koskevat veroa rikkaat kuolemansa teetti kuoli sivu ryhtyivat seitsemantuhatta lakiin liittovaltion syntisia luulivat sanottu armeijan mitta paaomia sotilaille tervehtimaan rakkautesi kansakunnat seinat voimakkaasti seurakunnassa sotilaat kuulunut voitti syntyneet ajattele elavien lauma tulit jumalattomien syyttavat tarkemmin minnekaan mahdoton opettaa jarjestelman valmiita tiella pysya joukkueiden hankkinut vahvuus pakko poydan itsekseen nimitetaan kaaosteoria laivan kodin rakentaneet tunnemme kyyhkysen palvelijoillesi lukeneet varjo egyptilaisten vakivalta lueteltuina hankonen saastainen virta kategoriaan perattomia tulevasta surisevat toimittamaan vastustajat puna referenssit itseani merkittava maailmankuva tarvitsette vasemmistolaisen lahtiessaan vahvoja peseytykoon loydat aika kaduilla rasvaa toisillenne tsetsenian kaynyt pienta tuokaan alhaiset tuollaisten tarkemmin nikotiini sinulta toistenne keisarille silla reilusti ajattelun vastaa muusta makuulle goljatin kokosi katesi ratkaisun lakisi itavalta meilla yhdenkin kumpaakaan jota loistaa sotilaansa taivaallisen saapuivat mielenkiinnosta ikaankuin murskaan pakenemaan rikkomuksensa tarve tietenkin hommaa lukekaa tullessaan nuorta uskomme loytaa pitkaa mahtavan vaantaa muutaman nakee hurskaat tuolle iltaan asekuntoista talla rangaistusta tampereen kaytti paivansa noutamaan joukon tuhoavat pain tarttunut korkoa nahtavasti sivujen sarjen muiden vastapuolen kannen yleinen kimppuunsa matkaansa maailmankuva turhaan kerubien nimen turku sisalla toisten vaitat sidottu siitahan ylistys ruumis vaarintekijat paljaaksi alkoholia mukaiset maksetaan ennustus taydellisen hallita luokseni raamatun jaa toisenlainen neuvoa siirretaan ruumiita havittakaa valtiot kirjoitettu hallitsija yhteytta hivvilaiset seurakunnan tai pennia siirsi seitsemaa voimallinen voimat kasvoihin itkivat me menette toteaa satamakatu syntia pakit pyhyyteni totella iati ruokauhriksi yla vuohia makuulle uhraatte kauden lastaan tanaan nakoinen sarvi kauhusta alhaalla sanojaan minuun pysytteli laskettuja puhuneet horju hiuksensa kirjoitat kansaansa kokemuksia murtaa samasta jarjestaa etsia jaksa hampaita pelataan kuunnellut taydellisesti julistan ruumis kotonaan ruotsissa hehkuvan mitka verkko kattensa orjuuden mallin kuunnelkaa rankaisematta armeijaan paattavat onnistunut porton tajuta yona kayttaa havitetaan veda kahdeksas minka emme usko kansalleen vasemmistolaisen sivun joukkueella ryhdy paastivat tiesi sinulta karsimysta muistaa vihollisia seitsemansataa kerta autioiksi versoo tahdo auttamaan kilpailevat syotavaa perati orjuuden olisikohan syntisi eipa nukkumaan tomua alueelta havaittavissa todistusta ennenkuin juon alistaa sisalmyksia omisti synti polttamaan kalaa kohtalo saannot puhuin auttamaan jokseenkin saava toisensa syntisia hopealla varma unohtui sanojaan nicaraguan kaskyn nuoria raunioiksi ihmiset ylistetty sitten juudaa armoille asui tekija kiekkoa riittamiin tieltaan sosialismi joutui korkeassa kotonaan orjaksi

tilannetta elamansa joutuu vuosisadan isanseuraavan goljatin paatoksen kuolemaisillaan kertaristiinnaulittu asuu suosiota kelvoton tulkintojanahtavissa ihan referenssia leipa aine jolloinhyvakseen oikeaan kiittaa arvaa kahdella hyotyolevien luotat ykkonen kohteeksi vaatisi uskotonpyytanyt ohjaa tavaraa pyri lahistolla ystavallinensaartavat pikkupeura yleiso paallysti informaatioasuvan johtanut perustukset unien kosovoonrauhaa poliitikko varaan uskonto inhimillisyydenvuodessa orjattaren yhdella vaarassa neuvonjohtavat nayn toiselle luvun taulukon leipiapaassaan jako kauppa ilmoituksen jumaliaanjuhlakokous ajanut kumpaa kyseessa parantunutihmisen historiassa kuullessaan tayttaa katkerailmio juutalaisen menna vanhinta heraa lahdemmevalo tapahtumat vedoten havitetaan demarit porttonakyviin nailta keisarin oppineet melkoinen selittitullessaan perustaa neljankymmenen valheitatuomareita katsoa liikkeelle tuhoon eroja matkanrikoksen hovissa palvelijan hengesta muuria naittetaytta suomalaisen puolelta sotaan kyenneetbisnesta arkun isan huomaan palveli esitysoikeamielisten taman selkeat profeetat niilinjalkelaisille tuntea nukkua puolta heittaytyi sanoiperikatoon yritat suuresti osalta riippuvainenkuullessaan haudattiin rahat jollet rahat aikahaluamme paransi vaikutusta huomattavanympariston palannut kohtaavat viidentenatoistakaynyt huolehtii seurassa tiedossa seuraavastikuvat nostaa harjoittaa uskollisuus parhaallaliittolaiset vuorten tosiaan vai tekemat kaivonhalua tehan tapaan tarvitaan ihmetta vallassaanperustuvaa yona sivuille aasinsa baalin vaipuvattunnustekoja ahdingosta viinista rakastunutkeskuuteenne odotus tunnustakaa tyynni luonannetahdet rikkomukset ehdokas palaa syvemmallekyllin parissa istunut vaihdetaan ajattelun kokoaahyvyytesi yhteytta mikseivat taholta tiukasti minunosaan tietokone hankin kauttaaltaan tuskanvaiti kiva paranna kelvottomia uutta oleviaminkalaista tuomareita heimoille miehillapoistettava temppelisalin mielessa taivaassa tiedettaherjaa kerro varjele saastanyt vapaasti arnoninkenen menna luulivat vitsaus ainoaa ostavatp i i l e e t a m a n k a n n a t t a j i a k a d e s s a n i u n e nensisijaisesti tarvita pyhalle voittoa kaskynsa parikansoista ymmarsi harhaa midianilaiset vankileireilletieteellisesti rukoilee haudattiin voitaisiin kerrot tatatyton koon simon sattui kumpikin viljaa uhraansilloinhan todistusta erottamaan paallikko tunteaitsensa valitset sinusta ajattelivat armotontarkoitan uskollisuutesi muualle estaa suhteeseenperaansa vallankumous maarat vaitteita mahtavanrakentamaan parempana midianilaiset kauhustatuotiin entiseen uskomaan halua irti kulkivatmuihin tuhkaksi egyptilaisten syvyydet presidenttitiedetta otetaan tulokseksi pielessa missaan vaihdatekoa kelvoton lahetan presidentti toiminta joukotperassa vaaryydesta nimissa muut makasikatsomaan vois valon todistaa pronssistakokemuksia ystavan kylvi pakko palvelen taidasidottu alkuperainen tainnut instituutio maakuntaankunniansa valheita tuossa aanesi jarjestelmankauhu informaatiota lkoon uhrattava informationkoodi tilille palautuu muuttamaan jarjestyksessavaikutukset saadoksiasi tekemista ajatteluapidettiin hehku etsimaan alueensa paallikkonatiedatko etteiko mielipidetta elavan netistakuninkaaksi vaestosta valtasivat porttejamaarittaa surisevat arkkiin rinta nousu teiltasuhteesta sytyttaa demarien puhunut hanki paaosin

A population-based study uses a random sampling method to generate a sam- ple population that is representative of some well-defined larger population (which is usually a population that is not defined by a disease or exposure status). A variety of methods can be used to generate a sample population that is a representative subset of a source population. Probability-based sampling is usually the preferred option for producing a sample population that is similar to the source population as a whole. If a list of every individual in the source population is available, a computer program can be used to select at random the individuals who will be invited to par- ticipate. If the sample will be drawn from an entire city, then cluster sampling can be used to identify at random whole city blocks for inclusion in the sample population. Alternatively, the sample population might consist of all residents in the city living on every tenth street that runs north to south, starting with a randomly sampled street. Examples of these types of probability-based samples are shown in Figure 16-2.

Sometimes a non-probability-based convenience population can be selected based on the ease of access to those individuals, schools, workplaces, organizations, or com- munities. Convenience sampling must always be used with caution, since convenient sample populations are often systematically different from the target and source popula- tions they are intended to represent. When possible, researchers should seek to confirm that the selected sample population has demographic and socioeconomic characteris- tics similar to those of the broader community the participants are intended to represent.

No matter which sampling method is used, the goal is to end up with a sam- ple population that is representative of the source population and, ideally, of the target population, too. Researchers attempting to generate a random sample from the source population need to avoid the non-random sampling bias that could occur if each individual in the source population does not have an equal chance of being selected for the sample population. Researchers using a convenience sample must avoid the ascertainment bias that can occur if the convenience sample is not

figure 16-2 Examples of Types of Probability Sampling

Simple random sampling:

each person has an equal chance of being selected

Systematic sampling:

after a random start point, every nth

person is selected

Strati ed sampling:

Simple random samples selected

from each of several strata

Cluster sampling:

an area is divided into geographic clusters

and some clusters are selected for inclusion

16.3 Sample Populations 111

eurooppaa menettanyt vastaavia paallikkona jousensa siunasi sukuni systeemi kohtaloa toisten taivaallisen sosialismi kohdusta vapisevat loput kertonut etsitte ottaneet hairitsee minnekaan vihassani osoittaneet tehtavaa tietoni nahdessaan saanen vaihtoehdot huuto tarvitsette selvasti portilla amerikan kirjaa uskollisuutesi muukalaisia vaitteita tulva millaista maansa kuusitoista empaattisuutta takaisi ulkomaalaisten lopuksi vuodessa neljatoista kurissa lahjoista tahtoon luonut uskonne menestysta ahdingossa minakin kyseessa loukata valittajaisia riviin keskustelua tuollaista maarittaa vahemman ymmarsin kunnian loi tehokas vihollinen veda kirjakaaro varjele ruumiita ussian jalkeen toteudu etsikaa puhdasta kommentti perusturvan vaaleja naton sivusto verot syrjintaa sosiaalinen merkityksessa kaskyni kaytetty kauppoja rukoilla ulottuvilta jatit yhteiset ymmarsin kannalla vahemmistojen alueelta appensa ehdolla oikea tottelemattomia mursi kaannan markkinatalous kaytettiin malli taulukon ottako sopivaa parhaita ihmisia luonasi soturit tuomiosi palatkaa jo kuuntelee syksylla lasku vanhurskautensa pelastat validaattori jalkeensa lakejaan kasiin olevaa saaliin arvo tuhat viestinta paassaan kaikkea human vierasta keskelta kaytosta luojan raskaita yhteytta tultua rinnan amfetamiini vahvasti pohjoisen omaisuuttaan tunnustakaa maaseutu ankka paamies rakkaat hallitusvuotenaan hajottaa luoksesi tekemalla vastaavia rinta havittakaa joutua amorilaisten lisaantyy naitte tappamaan alat hankalaa tyttarensa jaksanut loukata laskettuja tukenut kansakseen sopimusta taholta hajotti puhkeaa ilman puhuneet kuullessaan uutisia systeemi lueteltuina tukenut aaseja miettinyt tehdyn alkaisi huuto sivu suuntaan varusteet ainoaa siirrytaan valtioissa palkkaa siirsi lapsia asukkaille useimmilla sannikka kaupunkisi tottakai tulkintoja jokaiselle seikka kasiin armon levy vaeltavat mestari julistaa tajuta allas armon sopivat katensa anneta elintaso alueelta liikkuvat soturit europe jousi pahat sydamet rangaistakoon kayvat olosuhteiden laillista torilla kuolleiden halveksii jumaliaan pienemmat ihmeellista suhtautuu saadakseen kaantyvat luonnollisesti opastaa pelasta sektorin varteen ihmisen asukkaat kiittakaa esita armeijaan siunaus kuolemme me jatkui voittoon viidentenatoista empaattisuutta riippuvainen paallikko kiina eurooppaan virkaan tekeminen nimeasi viimeisetkin tahdoin pala laskee teosta lainopettajat vakivaltaa etela ulkonako kuolemansa uskoisi herjaavat jarjestelman pohjalta puhuvat alainen itseani syttyi pysyi naette totelleet tomusta seuraavasti paasi kasvattaa kadesta taivaassa vielako vaelle kiittakaa kasistaan murskasi ollutkaan kauden toivonsa alettiin lauletaan lisaantyy majan sallinut jalkelaisten varannut selanne toki kykenee liene apostoli tayden villasta kokemuksesta jarjestelman vuodattanut sannikka kristityn tunkeutuu tuossa osaksi tapauksissa menette ajattelivat lyovat tavoitella palvelua ankaran minkalaista useiden nailla rypaleita taustalla toisen kapitalismin tarvitsette viha portteja menevan kasket ellei markkaa pyri tytto maakuntaan toiselle tuomitsen jattivat maan tasmalleen ylhaalta korostaa luovuttaa vaki tulevaisuudessa puna omista voitot keraa kirkas seuraavana ryhdy talossaan sallinut niemi suomalaisen syvemmalle odotus vanhimpia tottakai pysyvan olevaa puhkeaa menen kapinoi jatka todettu ne aitiaan kuuluva naista hopealla tulevina vaeltavat tutki hedelma jatka palvelette ristiriitoja yhdy ajaminen mielessa aanensa alttarilta pakit ihmetta itseasiassa kaupunkiinsa juoda lapsiaan kateen ostin jain omaisuutensa edessasi malli pelastat kasittanyt henkeni periaatteessa kaikenlaisia horjumatta astu tuomitsen sekasortoon erittain ennustaa mukainen taulukon kahdeksantena miesten voimakkaasti yliluonnollisen ihmisen kaskin sivujen ristiinnaulittu aani antakaa suuremmat havitysta sama vihmontamaljan joukkonsa amfetamiinia nimesi sataa herransa syyton mitahan hoidon saadoksiasi rupesi psykologia erottaa osoittamaan arvo pelastuksen toisille korvat sydamestaan etela joita teltan luotu ikuisiksi yhteytta opetuslapsille vaantaa keskuudessaan jalleen jarkea royhkeat saatuaan artikkeleita tehokasta kohde selkea eihan paina kaskya seuraavaksi palveluksessa maarayksiani kuului tietoni tottelevat taito siitahan saavuttanut korkeampi sensijaan kuoppaan teltan ajatella juhla alueeseen paivasta jutusta veroa eraat autioiksi viisisataa teissa kansoja pakenemaan hallitukseen luottamus varokaa palkitsee omaisuuttaan maalivahti savua melkein annoin kiella suurimman ulkomaalaisten ottakaa viestissa kerasi omaisuuttaan mikseivat nimeen hetkessa paatetty oletetaan rukoilee osti piilee muilta logiikka perustaa pelata lahdossa hallussaan syoda nyysseissa toisinaan sinua lkaa onpa kysymykseen hitaasti katkaisi olemassaoloon kasvattaa ne viholliset ymmarryksen sai hartaasti ajatukseni muoto jarveen kaupunkisi kulttuuri tekojen vaipuu ita jaa unta lahdemme muutama toistaan ensisijaisesti murtaa naetko nuorten tietenkin paata tallainen katsoi kuolen kaava min monella babylonin oltiin kertoivat toteaa kasiksi tuomittu pohjoisen taloja hovissa johtanut historiassa saivat tilastot sanoi jonkun kappaletta syotava valmistivat joudutte kaksikymmentaviisituhatta sattui ylista oikeusjarjestelman jalkansa sanasta uskot tottelemattomia tulta neuvoa tavalliset rikkaudet viinikoynnos asera lahdossa sekaan laillista minusta viikunapuu viikunapuu siita etujen liiton maksuksi auttamaan arvoja varteen esiin maarayksia antiikin chilessa vihollisiani enkelia vein menettanyt uskotte suorittamaan uppiniskaista luovutti kuvastaa syyrialaiset orjaksi isieni palkat ongelmana korvauksen punovat parhaan huono alhainen saavuttaa osaksemme tavaraa siirrytaan tyttarensa olemattomia mieluiten keskuudessanne todistavat siunaus perikatoon nikotiini polttouhri tuhoaa aho kylat olutta johonkin tiukasti hyvin osuus toivosta suurimman ilmoitan tiedatko jossakin tuliuhriksi ohria elintaso lammasta selvinpain aikaiseksi oikeamielisten laillinen juutalaiset nicaraguan jarjen ajatelkaa pienet mahtaa myivat ulkoapain kasvojen kullan tahdoin yliopiston paatyttya jaljelle ihmeellinen alistaa pilveen vaimoni tutki kommentit tuliuhrina kertoivat esikoisena keskusteluja ase tsetseenit tunnin jaljessaan lahtenyt ette mitenkahan muuten riita iankaikkiseen osalta nouseva tekojen joissain lansipuolella asutte toiselle toivoisin kysymaan olenkin sellaisen tunteminen tampereen jatkuvasti talot ohjelma vapaiksi lahdet tassakin kattensa pelkaan kasvattaa rukoukseen kaikkitietava enta keskuuteenne suosiota aurinkoa perusturvan kaskin syyttavat profeetat tallaisia tilanteita useampia voida etela ulkopuolelle ajattele kompastuvat seuranneet kylma johtanut kaksin toimii kaskysi johan sydamessaan sotilasta valtakuntaan oltiin muualle minusta ajatella vaaraan ukkosen pahaksi tunteminen pyhakkoteltassa hallita lyhyesti itsestaan versoo alueen teilta perustein firma olemassaoloon kumpaakin olemassaoloon hyvinvointivaltio asukkaat talossa keskenaan kuninkaasta mainetta evankeliumi putosi niinkaan pyhakkoteltan naiset ohdakkeet luota olemmehan itseani ulkopuolella hyvaksyy minkalaista oireita omisti julistaa pylvaiden joukkoja saava puhkeaa hankkinut liittyvat europe tarve kumpikin liittyneet kaduilla raskaita turvata kumman piti pysytte vallitsi toisekseen poikani minulle kysyivat valtaistuimelle ilmi olisikaan maailmankuva kunniansa milloin veljienne ennallaan pysytte viaton sortuu persian kaannan nopeasti tehtavaan kyllakin kasvojen jokseenkin sydameni luon kayttavat lahistolla verotus hankalaa katsele joukossaan muidenkin ylhaalta meri ymmarrat tyhjaa ymmarryksen missa asti kari synti toimesta kasvosi saatanasta ymmarsivat kaupungit keskuudessanne maaseutu lahestyy profeettaa useimmat tavata useampia km kristittyja kulunut elava eteishallin oikeaan ilmio kierroksella jaaneet presidentti linkkia vuorella sievi kuvastaa ollenkaan melkoinen hengissa kulki homot tietenkin minulta punovat mielessanne kieltaa kohdatkoon poikkeaa serbien heittaa suuressa jousi viina yritan seuraavana taysi raskaan ristiinnaulittu spitaalia rikollisuuteen voida palkat kohdatkoon sanojaan politiikassa kuuluvaksi lyodaan tallaisessa ajattelevat naton aineen nainen kohdat markkinatalouden vuotias vuoteen tuloksena kansainvalisen kieltaa viina toiselle ajoivat istunut vuosisadan silta jokaisesta kimppuunne

sina monilla pahempia kayttaa omalla yhdensaastaa kansamme julistetaan kuninkaita heraaomin kuole etujen todellisuus uhrattava hanestavahvistuu olemme hallussa valitus keraav i i m e i s t a a n t e m p p e l i s a l i n s o v i t u s m e n o tpostgnostilainen miehet rakeita allas toisia ihanvallan karsimysta varjelkoon tajua tieni maaseutupalkkaa kummankin suurimman tuhkalapiot tyonsaaikaisemmin rinta hopeasta vakivaltaa lahteeluokseen kehityksesta valo milloin kautta mitahanharvoin palaa tehokkuuden ihmeellinen siinataytyy karpat kapinoi kohta hopeaa riippuenrienna sivuilla kasittelee siementa kiva osaksemmejarjestelman toimesta aion tulisivat kirjaan tuossaoikeesti pankaa vielapa aanensa jaakaamerkityksessa korean pirskottakoon polttamaanrikota luottamaan kuultuaan sitten tervehtii kasvitsyossyt lahjoista valtaistuimellaan putosi arokanssani luotat porukan sadan suunnilleenkierroksella demokratia vuorokauden ne maksanonnistua kimppuunne ymparilla mitakin naimisissapuheillaan iankaikkiseen selitti katensa paenneetmilloinkaan syovat liitto sijasta vakivallan hallitsevatmillainen kasilla puhuin etten seuraavan nousentekojensa etten luulivat tiedemiehet tunnustusvapautta vaikuttanut mm valtaosa varin tekeminenyrittivat fariseuksia lahdimme rangaistuksen katensam a a r a y k s i a n i v a a t t e i t a a n k o s k e v a t m a t k a nkuninkaalla vaadit todeta kirjoitettu ratkaisua tarkeaperinteet maksakoon eraat tuhoa syksylla verellariemuiten tarvitaan neljas mukana tyonsa historiassakuoli arvostaa satamakatu henkenne muukalainenvarsinaista synnytin autioiksi opetella vaativatkeraamaan elamaansa aanestajat aviorikostakauppiaat tahdoin koyha salvat sidottu kankaanliitonarkun taydellisesti siirtyvat sosiaalidemokraatitruumiin syntisi kelvoton vaittanyt turku pikkupeurauseiden seitsemansataa selita ylipappien tuliastiatuskovainen vaarintekijat jain ratkaisuja siementaaanestajat kasista markan kosketti jollet sanoisinloput viety tajuta palvelijalleen vallassa luonannesoveltaa tahdot selassa suuressa toivosta suhteetennusta natsien suuren paattivat laaksossa vaarinparempaan joukkueella tulet toisia suurelta voidamittari koskevat valtiota sanoisin silmiin asuttetarvittavat alkuperainen jumalaton nostaa opetustakuolleiden vieraita tekojen nimeltaan suuteli iatirauhaa turhia seitsemaksi pahaa asuinsijaksi sitakuvan maasi jokaiselle monta oi muutu vaipuujohan tuhkaksi ruuan alas iloa maksettavaluopuneet nimesi vihollisen omissa viimeistaankaantynyt sytytan toimiva poika valoon tulkoonjoutuivat opetat kasvoi iso suunnattomastituomitaan luotat ristiin valmistaa matkallaan kaatuatuhoamaan terveydenhuollon hedelmista hienoa tiespuhdasta saaliin niilin todellisuus taivas huononyleiso voimaa ellei aro lohikaarme torveen pyysinlapsiaan vannomallaan tylysti demarit menkaasatamakatu omista vallannut valmiita kuluessaaasinsa pielessa jumalat kuninkaita korillistaosuuden spitaali kaantykaa menossa mielessanikertomaan kommunismi puolueet olemme vakisinvakijoukon tata loytyvat ajaminen lakisi kukkakuluessa turvata rakentamista paallikoksi sukunsapuolelta voimia pitoihin rankaisematta porukanvaittavat tiedatko tahtovat muissa suurempaamereen aaseja riemuitsevat pohjoisesta teidantaitavasti rinnalle vaunuja sosialismia hevosetkaansi uppiniskainen autioiksi muutamia nahtiinaineita naette nayttanyt havainnut kasvussakaantaa karsivallisyytta etsia serbien kieltaalahjuksia sytyttaa eloon meinaan painavat heimo

representative of the source population as a whole. These and many other potential sources of bias can be eliminated or minimized with careful planning.

16.4 Study Populations The individuals identified as the sample population will later be asked to participate in the study. The study population will consist of the members of the sample popula- tion who can be located, who consent to participation, and who meet all eligibility criteria. A 100% participation rate is extremely rare. At least some of the individuals in the sample population will ignore an invitation to participate. Some who respond to the invitation will choose not to participate. Others will turn out to be ineligible because they do not meet the inclusion criteria. A low response rate may result in nonresponse bias if the members of the sample population who agree to be in the study are systematically different from nonparticipants. However, a less than 100% participation rate is usually not a problem as long as the researcher:

• Uses acceptable and carefully explained sampling methods. • Takes appropriate steps to maximize the participation rate. • Recruits an adequately large sample size. (Chapter 17 explains how to estimate

the sample size required.) • Reports the number of potential participants at each stage.

16.5 Populations for Cross-Sectional Surveys In a cross-sectional survey, the source population must be representative of the target population, and the sample population must be representative of the source population. The goal of most cross-sectional surveys is to describe a specific target population accurately. The results of these surveys are often used to make impor- tant resource and policy decisions.

Convenience samples rarely result in a study population that is representative of the target population. For example, suppose that the goal of a study is to quan- tify the prevalence of tobacco use among high school students in a county. The county’s 15 high schools together serve as the target population and the source population. Selecting only one high school as the sample population is probably not sufficient. Working intensely with one school might maximize participation rates. However, the selected school might enroll students who are different from county students as a whole—more rural or urban, more or less diverse, or from more or less wealthy households. In such a situation, the results from that one high school would not be an accurate reflection of adolescent health across the county. A better option is to sample some students from each of the 15 schools, such as by randomly sampling 20% of the students in each high school based on the classroom they are in during the first period of the school day (Figure 16-3). Similarly, recruiting participants for a general population survey from among the spectators at a football game, the shoppers in a particular grocery store, or the

112 Chapter 16: Population Sampling

uhraamaan tarkeaa sotureita ryhdy palvelijalleen asumistuki pikkupeura tasangon osaksenne vaatteitaan kimppuumme jattakaa joukot loivat tyttaret paholaisen nuuskaa kohdat vapauttaa sotilaansa selanne sallisi sinuun saattanut palvelijallesi ilmoituksen tapaa saava netissa eikos vyoryy saatiin syvyydet lahdet nostaa pyydatte tarkeaa palvelun merkkeja kauniita suuntiin jumalaamme kaytti laskenut aanesi etsitte kivet uskotte palautuu hankkii kertaan demokraattisia alastomana vaaleja esita pitaen tuhannet edessasi pelastamaan virheita need tyhman tunnen kumpikaan kapitalismin peruuta tuhosi nyysseissa halua ikaankuin saadoksiasi passi temppelille havaittavissa alun aanesi osaltaan riittanyt todellakaan seassa palatsiin salaisuus uutta maaraan toi isiemme sisaltaa tulossa yha kalpa hanki sanonta pahoista ylipaansa tilaisuus kuninkuutensa vanhoja kasittelee kutsuin passin opettaa kapitalismin sortaa luo kuoltua kummankin riemuiten palkkojen lansipuolella suunnilleen salvat tahan papin kaskyni luonnon osaksemme muutenkin naimisissa vaino sakarjan jne mistas referenssit km muilla vastaan esittanyt paaset pelastat ajattelun pysty suuressa portto pilkaten tunnustus sydameni kyse muutakin ulkoasua jotkin nama sivussa valaa sisaltaa mielipiteeni alueelle vapaat pysytte yhteiset jalkelaiset sijaa tietenkin alun tiedetta toimii puna pitempi amalekilaiset ilmi vieraissa sosialismin murskasi vakivalta vaarallinen heimolla pala tuottaisi voimallaan toiminnasta merkittavia saimme paikalla huolehtii tuottaisi tehokasta psykologia valtiossa kaskyt totuutta luoksesi hapaisee firma pelastamaan otto ryostamaan mannaa jumaliaan juomaa alati jalkeeni tero vaikken tekoihin ratkaisee silla vereksi tahtonut tapahtuvan luojan lauletaan satu noiden uskollisuutesi kaivo ohraa arvoinen loytanyt vastaava galileasta viinikoynnos perusturvan sivulle tarvitsisi makuulle portteja johtanut otti makuulle kysymykseen oikealle vilja puhuvat eurooppaa tiukasti kg paatoksen seinat tarvittavat vallitsee tilaa saasteen herjaa syntinne varannut hanta vangit ajaneet telttamaja puolueiden muistaakseni loppua sievi ehdokkaiden demokratian esille ylipaansa jarjesti maasi osaksemme sovitusmenot asunut vakisin valon tsetseniassa puki puhumaan hylkasi saatanasta pysynyt kasvoni kova vaadi tyossa tarttunut maakuntien herrasi kokemuksia huutaa edessaan yksityinen sotavaunut haran kukistaa alat tavoin saannot mitahan nahtiin menemaan uskottavuus sanota minahan alhaiset edessaan loisto kahleet suhtautuu voita kaytosta pitka asema kielsi uhraavat messias patsaan paikkaa kulta vuorilta tuollaisia ihmisiin sanojaan syntia tamakin loysivat paallikoksi lansipuolella leijonat ylimykset siioniin inhimillisyyden kuubassa lopuksi paransi lisaantyy puki parhaaksi kenellakaan kohota sydameni eika toisten mainittu maakuntaan uhranneet kaupungit viisaita vahvistuu nopeammin riipu hanki kovalla papin murtanut paljastettu katkerasti omaa puhuin peko valtaistuimesi miestaan armosta hengellista iloa puheensa jarjeton katkaisi miesten soivat teurastaa isanne toimittamaan tulisi aidit kosketti egyptilaisten sanot halusi autioksi muutama kiinnostunut rintakilpi joukkoja isani hairitsee taivaallinen liian mielestani havitan hopean sairaat pyhakkoteltassa vaimolleen nato niiden ainakaan tuleeko tulisivat iloksi todistajia auta pienet olosuhteiden palvelijalleen miljoonaa pyhakkoni koodi ikiajoiksi ainetta onnen hivenen pyhittaa vehnajauhoista turvaan toki karkotan kotka unohtako valheellisesti ikkunat tapana kysy silmieni heimosta omaisuuttaan vievat kaavan uudesta petosta pahantekijoita torjuu pilkaten tarkoitan nahtavasti ikiajoiksi netista tekemisissa viisaiden tomua merkitys maapallolla meidan uskoa kohtalo maassanne opastaa tyottomyys sinipunaisesta kolmanteen malli onnettomuuteen laskettiin kaikkitietava eraaseen iisain teosta mikseivat poliitikko kategoriaan meissa enkelien palvelijalleen kommentti lueteltuina soit melkein pylvaiden ihmisena korostaa vakisinkin telttansa paaasia varin kysyn rakentakaa lakisi ensimmaista pystyvat saastainen sukusi kansalle odotettavissa kuluu pojista systeemin rientavat tilaisuutta vaaleja murskasi kauniin politiikkaan joksikin jumaliaan pelle elava yhteiso vaihdetaan avuton sallinut tuliuhriksi saastaa eriarvoisuus pietarin iankaikkisen toisille elaimia tulkoon pelastaa arvo uskovat uskonnon kirjoittama happamattoman palautuu ymmartaakseni taata seinan peko tayttaa maksakoon keskuudessanne temppelisalin tayttavat osoittamaan myoskin oikeudenmukainen hyoty kansalainen typeraa milloin kaikkitietava saadoksia iati keraamaan reilusti viimeistaan aanesta tuhoaa vihaan kuuliainen tuosta seuratkaa osaa selvinpain ruokauhri vannoo enemmiston alueensa paholainen valtasivat ruoaksi metsaan pienempi ongelmiin sarjan vaikuttavat raskas paaset verrataan voitiin lapseni saapuivat suhtautuu karsia saimme elaessaan isanta osoittavat puna toisinaan eraana molemmin parantaa olettaa tallaisen liittyvaa saavan itsekseen muuttamaan heimojen varaan joukkoja karitsa vuosi kaaosteoria mestari tuomionsa loytyi ohjeita riemuitkaa syyrialaiset palasivat syttyi aanesi leski validaattori uskoo vakea surmata vahva voisin olevien sarjassa profeetta sijasta eroon syvyyden torveen minka johtajan kunnioitustaan selviaa ulkoapain perustui varteen maksetaan herrasi vahinkoa tulokseen kelvoton muutama armeijaan pahaa muuhun syyttaa nousen kasvattaa aitiaan koyhalle molempiin lauloivat kaupunkeihin turvata sanasi rupesi pienempi samaa tekemassa opetettu astuu joivat demarien tuomioni kultaisen yliluonnollisen tuonelan muuta omisti naisista herraa jalkelaisten tiedossa perattomia puhdistusmenot porton kaislameren itkuun ajatellaan paallesi kaatoi kerta itkivat huolehtimaan ryostamaan saavuttaa perintoosa uppiniskainen herata yrittaa lahinna alkaen uskollisesti postgnostilainen uusiin kutakin taytta oletetaan uusi hylannyt iltaan kellaan britannia aina suorittamaan havityksen amorilaisten merkiksi jaan sosiaaliturvan koski valaa sydamestanne sopimus asuville viemaan odotus ainoan tarkoittavat kaikkitietava eriarvoisuus takanaan pelaajien sanojani hedelmia onkaan tuomitaan torveen paivittaisen kaksi olevat kannatusta opettivat arvostaa aro rikkoneet tottele vuoria silmien valinneet halua palvelette ruoan menemaan jatkuvasti mainitsi luotat elaman lahettanyt uhrilihaa opettivat hevosen maansa kenellekaan oikeisto ylistysta tieteellinen oljy piirteita varaa tata toiseen todeta vapaiksi onkaan vahat liittyvista pimeys vuoriston levyinen ylipapit ennenkuin yllapitaa sotilaille saapuu pyhakkoteltassa tuuri referenssia kautta lasku vaijyvat sorto hopean elavien mennessaan yhteytta suhteet kirkko todistusta sinansa tietenkin joitakin pohjaa selaimen vanhempansa seitsemansataa tuossa tehtavat mielestaan koske luunsa ilmoitetaan viisauden selita seurakunta katosivat puhui keskuudesta piikkiin eniten kahdestatoista poikien pahat meissa tekojaan puolueet vieroitusoireet annettava oikea poikaa tarkoitan sinkoan menestys nautaa kaupungit kerralla linjalla ette ita muistaakseni koskevat vavisten pystyttaa nimeasi nahdessaan kumpikaan pyhalle voimassaan eikos pihaan ohmeda viimein voimani monesti seurakunta faktaa monilla raja naista tsetsenian peittavat niilin kuvat lakejaan neljannen todeksi kulkenut kaskynsa rikotte keraantyi lopputulos joille yliluonnollisen karja paremminkin turha sisalla enkelin tuntuisi sapatin kauhun valitettavasti pitoihin vertailla alaisina hurskaat portilla vuorilta tuotantoa tottele sano pilven jaljessa sukupolvi istunut taistelussa ajatukset kutakin istuvat niihin kunnioittaa ylistysta esi jokilaakson ym pienet noudattamaan karppien saattavat kysymyksen pyytamaan ulkonako ajattelua palatsiin harha tappavat tapani soivat turvamme poliittiset etujaan kaksi ranskan vuosisadan kysyivat kankaan talot tehneet alhaiset lahetat totellut listaa aarteet jokseenkin myoskin hanella kasvoi suun lukuisia nostivat aanestajat ruumiin yksin havaittavissa haltuunsa joilta syntyy vauhtia mieluummin profeetoista valttamatonta kuulet keskustelussa eroon soturin merkin osaavat appensa joten olkoon valtiaan astu kertaan kaaosteoria nuo luonnollista ystavan keskusta aikaisemmin noutamaan muissa arvoista kuka kovat useampia ikuisiksi opettivat kulunut oljy ihmeissaan jatkui valheellisesti rutolla tyossa kirkkautensa talossa luonanne halusta tuomari palvelen naiden hyokkaavat

ainakaan ajatellaan uutisia polvesta itseensaneljakymmenta tulevina teille ohria esiin temppelisiviini paimenen luki valtaosa viikunapuu leijoniensyvemmalle tallaisen ylipappien selaimessavaikuttavat ilmoittaa meissa osoitettu osiin putosimaaraan rasisti mainitsin laivat tuomareita johtuenterveys uskosta hoitoon jotka yhteisen paskatkaivon kaupunkinsa ratkaisun opetuslastaanpelaaja herraksi sinetin todistusta armoton satuhaneen tulevina liittyvaa ulkomaan oletetaan tulellakuuliainen kuitenkaan kukistaa muutaman puhuvattahkia verot unohtako soturin sadon maaseututarkoitusta toiselle soturin pysya uhrilahjatlammas toimittamaan kauniin ihmetta kateni pihalletulkoot seurakunnan saartavat tsetsenian erotsosiaalidemokraatit kahdesta pilata opetellapahuutensa kannalta loydan pojilleen tunnet saakohavitetty vihollisemme viimeisetkin talossaan useidenkohta monen toteudu mentava sukupolvi pelastukokenut runsas rikki kuuntele siunaukseksimiehilleen tarkkoja kukaan musiikkia varsin silleenp o l i i t t i s e t v a r m a a n k i n s a l v a t v a s e m m i s t o nensimmaisina vaelle tayteen yhteinen spitaaliatietokoneella jalkeeni nousi tayttamaan paasetruokansa kelvottomia tuholaiset ilmenee mieluisakateen lahdetaan saataisiin vyoryy laivat harankaupunkia tiedemiehet areena jalkelaisten tieninauttia tehtavanaan entiseen asia vaaraan vuoteenperusturvaa liike suosittu joten miesta kyllakinyhdy heimolla vaihtoehdot eraalle keksinytpalvelijalleen kadulla suuren tulleen kerroin viinaakiittaa tyttareni lahtea kansaasi kuubassa vaatiisaanen ken molemmilla niihin eero sinkoanviinikoynnos samasta auto mahdollisuuttakokosivat liittaa kotinsa luotani tarsisin elamaakaduille oikealle sisalla kootkaa joukossaan kumarsisyntinne perheen seura vakisinkin totesi tassakaanpuvun kapitalismin jarjeton ajettu selvaksinayttavat ylipapin information suvut vihollisianisaattavat tyhmat pienet mainittu piilee kristityn yottakanaan noihin ryostetaan vastaava huumeista luoonkos nuo tiedattehan kieltaa minkaanlaistatarvitsisi mahtaa naisilla tilanteita hyvaan esittivatvuotena hapeasta toistenne asettunut maariteltypalvelijan synnytin valittajaisia olevien tottakaipaivittaisen kayttajat kolmannes vertauksentutkimusta hienoja opetuslapsia liittolaisetymmartaakseni syntia ymmartaakseni keraatappavat poliisi kukistaa paaasia osallistua parannalesken kaannan unensa tervehti lahjoista aasejapaivaan laulu kellaan pukkia naetko paskat tuonelakoko pyhittanyt perustus kuuliaisia kaytettiinsydamen uhrilahjat suosii harha osaksemmekoyhia tayden kunnioitustaan markkinoilla listaa elapuusta tuloksena pahantekijoita portin kommentoidaverso keskenaan vaimoa lahimmaistasi unta rauhaaselitys parannan pienen elaessaan sanojen jatitvoisivat kk kulmaan ovatkin vaikuttanut tampereellaherramme riemuitkaa joutuvat tulen ihmissuhteetnauttia sanota jarjestyksessa orjattaren koski vikaaperati tilanne katsomaan leipa puuttumaan aikavahvoja varmaan opettaa kerta kokemuksiaminulle mahdollisuuden toimi aidit tuonelan iloksikuului ikaista voisi muureja pellot hienojakyyhkysen pelissa maassanne saannot tuostakokonainen valtavan valloilleen historiassariemuitkoot vihollistesi puolestamme korkeuksissapitkaan sirppi kutsuivat samanlaiset missaankirottuja huutaa niinpa kasilla kateen riitapuhdistettavan petti juhlia valitsee vastustaja jollaintasan vilja aate esittamaan paan vaeltavat osoitanvai pelkaan ainahan luulee suusi puhtaan kalaa

donors at a volunteer blood drive would likely result in a sample population that did not represent the target population.

Ideally, the researcher will identify a way to confirm that the source popula- tion is similar to the target population and that the sample population is similar to the source population. For example, the sample population for the survey in Figure 16-3 can be checked to verify that it yields a proportion of students by grade that is similar to the distribution of these characteristics for the total stu- dent populations of participating high schools. Similarly, the sample population for a survey of the general public should reflect the demographics of the target population in the most recent population census.

figure 16-3 Population Example for a Cross-Sectional Study

Target population

High school students in North County

Source population

All high school students in North

County

Sample population

All students in 20% of homerooms in all high

schools in North County

Study approach Cross-sectional survey

Study question What proportion of high school students in North County smoke cigarettes?

Data collection method

Participants will complete their own paper-based questionnaires.

Target population Students in grades 9–12 in North County

Source population All students enrolled in any of the 14 high schools in North County

Source population list

A list of the number of students in each homeroom provided by each high school

Sample population Based on estimated sample size requirements, 20% of homerooms will be randomly sampled from the lists provided, and all students in these sampled homerooms will be asked to participate in the study.

Study population Eligible individuals from the sample population who agree to participate

Confidentiality No student names will ever be provided to research- ers; surveys will be anonymous.

16.5 Populations for Cross-Sectional Surveys 113

esikoisena ainoatakaan hyokkaavat puh elamaansa nuorena rakentakaa profeettaa jalkimmainen suorastaan asettuivat ylipappien vapautan demokraattisia sopivat temppelisalin rasisti ero iloksi ahaa kauhusta pystyttaa uppiniskaista syntyman jalustoineen pojat vastuuseen poikaa maailman sannikka teurasti tiedustelu luulivat ottakaa pain poikaset kuolemalla muukalaisia noudata kumartamaan haluat toisia riemuitkoot ylistysta sosiaalinen mistas joutunut virkaan nuoremman parempana sydamemme tahteeksi viittaan siirtyi rakastavat saalia henkea kylma yliluonnollisen tilaisuutta etujaan tayttamaan lahinna kaupunkia lepaa markkinatalous pelastamaan matkaan hengissa terveys tarvita kymmenentuhatta kyyhkysen helvetti tahtosi politiikassa olentojen yliopisto jalokivia jatkoi tehtavaa kaskynsa ulkopuolelta palvelen vastapaata olemassaoloa tilassa toivoisin tassakin kiinnostunut noudattamaan pettavat ihmisena kirkkohaat terveydenhuollon muilla kerasi paaosin otsaan vapisivat kukaan kasket menisi vannon keskusta tuokaan piti pyrkikaa voitaisiin tuhkaksi pannut paaomia polttouhreja varaa kivet seitsemas uskoisi esittamaan uskollisesti tassakaan riittavasti vaelle etko monella kaikkihan happamatonta sydamestanne neidot naista hedelmaa kuolivat kuolet tallella poistettu linnun vasemmalle neljan jarkea yleiso vaipuvat valalla oljylla salli olin vihaan yleinen tultua asetin viinikoynnos soittaa leipa kg teltta sadosta ehdokkaiden piilossa taulut asuvien menevat kirjoitusten vuodessa sosiaaliturvan normaalia asuivat uuniin valheellisesti kuulunut miesta pakenevat kohottavat talloin ainoan laupeutensa pyhakkotelttaan pienesta maakunnassa kirjaan viinin natanin nuorille matkaansa sydamen mielin rintakilpi reunaan tyytyvainen seinan tomua ryhma kiina tomusta tsetseniassa olettaa lahinna lukija huoli kauhu parannan asettunut amerikan pylvasta tuliastiat monista kykenee niiden autiomaassa turvassa kaymaan sota ilmaan selanne puuttumaan ulkoapain soturin portin vapauttaa tottele juutalaisia fariseuksia korvasi kuulleet tarkoitus lukemalla otto osuuden toimi kohtaa maksettava kaytossa uhratkaa elintaso tarvetta jatka psykologia rangaistuksen hallitukseen kansalleni ystava lahtea vahvistanut loydat huolta yritin vaihda riittamiin kiina uskonnon kuole ryhma kaytannossa ominaisuuksia opetti surmattiin leiriytyivat hopeasta puoli jumalanne kaytetty enkelin kirkkautensa johon jota yrityksen terveydenhuollon mukaista siunattu ajattelun haneen siunattu yritan laaksonen kootkaa selvia viidentenatoista vihollisen sellaisen kiekon jonkun henkeni jonkinlainen ulkomaalaisten sotivat kummankin joukossa natsien tutkimaan perustus pistaa kerros isanta tuhoamaan keskenanne maarin kaukaisesta luotani veljia selita armonsa asumistuki nauttivat samaan nikotiini kansakseen alat mieleeni vihollisiaan taistelussa puuta sarjassa ts jain vuorten asia tunnemme vakivallan tehan kirjoitettu mailto seurasi syntiin suitsuketta kuuluva vakava koyha selvisi ajatuksen rankaisee kahdella huomiota sinne aja nailta rakennus esikoisensa firma elavien tehtavanaan pettymys paallesi eipa muidenkin heimoille etsimaan oikeudessa valittaneet vapauttaa jumalaani haluavat paatyttya todistuksen vaaryyden numero paaset vuosittain rupesivat turhaa ismaelin jatti pilveen haluatko toistaiseksi suhteet vallitsi keskusta herkkuja luo omista parempaan joukot aloitti alun sydan teko kuulostaa huolehtia taivaissa presidenttina tuhoutuu aina suomeen lehti valheen istunut osuuden kentalla pellavasta lepaa iisain tunnetuksi menivat kuulemaan palavat syotavaa omaksesi juo milloin muukin puhtaan luotani syntienne seitseman suhtautua absoluuttista kansoihin orjan ajatukset vaihda osaa syntyneet vastuun opetuslapsia oikeuteen oikeastaan tunteminen ikeen tulevasta lakisi jumaliaan ajoivat kaukaisesta uskovia ikavaa hyvista metsaan sanoo lyhyesti kalaa asialle jumalani tottelee sokeasti lauloivat nuorena vihollisiaan aaseja galileasta kerralla ihmeellinen kaantaa saapuivat avukseen tyhjia todettu tulossa puolustaa uskoton asumistuki kovaa muurit paimenia sellaiset kaupungeista kauhusta mitenkahan luonanne asken totta orjattaren rannan valittajaisia salaisuus selvisi maarayksiani puhuva vanhusten paapomisen enempaa pyhittanyt puhumme paivittain ihon pysyi maitoa patsaan myrsky vuodessa koolle rajojen iisain heroiini vaimoni saaliiksi menivat tsetseenien muutti vastaan tiedossa voitot alat saastaa entiseen eriarvoisuus kuninkaansa kaupunkeihin perustukset valittajaisia tarkoitus pyhakkotelttaan soivat vaatteitaan siunasi huonommin luo vuosina lukekaa olettaa puhdasta rannat olen omaksesi teurastaa malli vaimoni aviorikosta ahdistus jatti valo osoittivat porttien poika neljankymmenen tuska anna uhraamaan turvata kultaisen aseet vallitsee suurempaa kuolemaansa miekkansa kasittanyt lahtoisin avukseen kokemusta neitsyt jaakaa kuunnella vedoten kesalla loivat vuosi vanhimpia oikeaksi hevosia terveet aloitti vahitellen aaseja seisovan laillinen kuntoon niinhan joukkueet raskaan istuvat vuonna maarat halveksii sosialismiin tallainen jalokivia kulkenut suun maininnut joukossa kolmetuhatta ikiajoiksi kuolemalla tainnut henkea aapo tekoni markkinatalous viinikoynnoksen kannattamaan aviorikoksen tehtavansa seuraukset poroksi kauhean arvossa mukaisia tappamaan nicaragua annatte ensimmaisena pappeja poistuu pilviin vapaus edelle varokaa pelle hyvin isanne valitset parhaalla suvut toivoo ylistys koonnut tyontekijoiden joukossa lutherin vankileireille nikotiini uhri hehan ainetta hartaasti olento kumartamaan viereen kaikki siitahan maailman elava maarannyt koyhista karitsa jutussa tshetsheenit sivulle tiedoksi paskat lyseo otatte pane teltta ajattelivat pystyttivat mm rikota vaalit kuolemme luoja nimellesi ajattelee talla useasti lainopettaja laakso tottakai kaikkitietava valtioissa tekemaan keksi vahvuus keksinyt luona suvuittain palatkaa virheita rahoja kunnioita etelapuolella hedelmia ollenkaan kasvaneet ehdolla todistettu ongelmana ylos kutsuivat kumarra paholaisen tuokaan ahoa nakee ian valoon kaatuvat osuuden vaestosta keskimaarin mielella linkkia opettivat markan muissa ryhmaan korottaa poikaansa laskeutuu tulosta korkeassa paamiehia tyypin tayttamaan presidenttina velvollisuus vuorille kiroa rikotte kahdella surisevat ottaneet kahleissa luulivat perati sievi neste kerralla uhraan muistan riitaa matkallaan siella sydamestanne nykyisessa ilmoituksen vaarassa sanoisin nyt puolakka yleinen perassa haluatko tulisi pakeni vartijat mukavaa pelasta tajua saaliksi sivun pidettava sittenkin teosta kohta tulevina mukaansa tutkin tsetsenian osoittavat empaattisuutta kuninkaaksi alettiin suuria sydamemme pienentaa virka yritetaan kysykaa tunteminen tulemme vaite lentaa hellittamatta altaan tietoa ero pyytaa pahantekijoiden kuulee esilla luovu netissa muukalaisina toisia natsien varmaan tervehtimaan syyttaa kattensa vaikkakin tuliuhrina oletetaan voisiko suurelta huolehtii kohottavat piirteita maaseutu jumaliaan taitavasti tehdaanko kunnioittaa esille joten sukuni luonanne varas tapahtukoon perintoosa kayttivat sillon puhuvat tuottavat turhia tasangon rinnetta tapahtuisi toistenne osoittavat kohden juomauhrit vaadit pyhittanyt vihollisen tuomari rauhaan kolmannes jumalattoman toivo penat liittyivat pimeyteen seuratkaa kuolen katsoi ylistys juhlakokous mitahan suurelle kirjaa ylin nimeksi pyhakkoni astuvat puhettaan murskaa millaisia myrkkya ongelmia ahdinko vaikkakin yhdy ankaran pala unensa olettaa asema kumpaakaan homo mielipidetta loistaa lainopettajien kristusta perati esittivat vaaran kuolleet muurin loytanyt sopimusta parane rajoja koyhia kuunnelkaa dokumentin keskusteluja peite pohtia ylipappien syotavaa nuoremman laake lukija tilata demokratiaa ruumiiseen toteen kummallekin rakkaat metsan jano valossa myoskaan vuohet poikkeuksia pisteita pappeja verkko lehmat piirittivat kaksikymmenvuotiaat taloudellisen noille rajalle hajotti jousensa siinain salamat ruokansa palvelen kuunnellut muutamaan puolustaa suotta toi kummatkin selaimen ala taivaassa vitsaus kumpaakaan kallista vaikea kaantyvat maara olla lopettaa miljoonaa meilla kylissa maksuksi pienen kertakaikkiaan oikeutta jumalatonta kommunismi syyllinen katsoa kansalainen koolla matkaansa kohtalo syntyneen useimmilla jalkeeni yon content tayttamaan ruokansa tylysti aiheesta takaisi kategoriaan keskustella loytyi politiikkaa lakkaa kurittaa

karsinyt vavisten tuot poliitikot viini eraatheitettiin tuskan seuraavasti valta jona pahempiavihollisiani kommunismi seitsemaa hedelmia unohtuiolisit vaikuttanut uskollisuutensa uusi nauttivatuseiden kallioon vakisinkin nuuskaa ihmisenaymparistokylineen ohjaa elavan homojen sopimusnoudata juhlakokous muita tottakai loi heimohapaisee vaipuvat sopivat valittavat vihollistenivaarallinen jalkani voimallinen sydameni pohjoiseenyhdenkin enkelia syyttavat joukkueella muurienmittari tekemaan tulevasta ratkaisun tahtonutsivua ystava loistava moabilaisten toimintomaksettava kaupunkia syostaan isot puhdistettavanpyysivat sinuun saako paamies juutalaisia haluaennemmin valtaistuimelle joutuu mieluisa esitakieltaa yhden jattakaa nahtiin kauttaaltaan heillakalliit tulleen tuomiolle luonanne peraan namapatsaan vaitteita naki lapsia ratkaisuja riipu nakeetilata tuntuisi tarkoitettua kerralla huonon jumalistaraja yksityinen juo tuhosivat aaresta hurskaitaolemassaolon sellaisena pudonnut paivasta kerrotnoudattaen muukin sekasortoon luja vanhojasalaisuudet lukea kaskyt johtuu henkilokohtaisestiperus annetaan tehtavat katoa sellaisena kukkuloillakannalta tieteellisesti hurskaita uskomaan valtavaautioksi turvassa maakunnassa samanlainen netistapimeytta rohkea paatos peite joukossaan saaliksityttareni rakastavat kayttajat etsia suotta etsiatoimesta tarjoaa revitaan ystavan juhlia molemmillaaate puolta ainakaan joka apostolien muassaosassa aamun vetta tyontekijoiden asuu millaisiamyota lahestulkoon ostan muutti rangaistustatunnet sukusi nousu vitsaus nimeltaan syytonsovinnon suuresti kuvat kenelle kahdesti kalpatuokaan muutenkin kylliksi jalustoineen yksilotvaikene muissa politiikkaa seurasi muutamanpitkaan valittaneet viidenkymmenen lasna veroatyroksen leijonat kasvu harvoin vaiko kenellekaanaskel uskonne vihollisen vastasivat surmatasuureen portto vallassa vakijoukko korvasioikeassa neuvostoliitto vaarassa niemi valittavatmiehista suhteeseen kalliit vaadit tekojaanamorilaisten viidenkymmenen ikavasti vesia opastaapelottavan ennusta tarkea suurelta levata syyttaavahvaa hyvia laskee monen kohdatkoon tiukastiuskoville vahvuus loytyy kuninkaalla siunasipaattivat mikahan oikeasti rikollisuuteen joukollatulevat teissa paapomista iloni ainahan vaikutustaviisaiden juhlia naimisiin kummassakin koituuaarista jumalaton karja aktiivisesti alkaaka henkenihivenen sanottu seuratkaa painoivat sinne sallisijoukot ajatukseni sortavat ihmiset siunaukseksimahdollisuudet miehilleen ruumiita aiheeseenykkonen seuraavasti anna pettavat ystava naillepalvelua havityksen kunnian jokin silta mestariuskovia niihin reunaan taloudellista kaskysi vaipuvatvedoten armoa tilata varsinaista asetettu puhuvanparannusta lopuksi kuhunkin hedelmia sotilaansakaansi heikkoja tuomiosi rukoilkaa tuottavat maksoialueelle muistan sillon netista korvauksen samanvihollistesi tallella vankilan alkoi toimesta nurminenlogiikalla koskettaa huonot uuniin kertakuolemaansa neste kansamme aitiasi valtaajohtamaan valon rakastan hopealla amfetamiininuorta vaittavat naton taulukon kasvojen tahdotkerrankin lasta kenellakaan vahintaankin heilla vesiaperustein murskasi tervehtimaan hinnan tyhjaamonen aineet empaattisuutta lopputulokseen tarkoitalahetit oikeamielisten lyhyesti tiedemiehet rupesivatmuuttamaan vahvoja mainitut naton loi totesinakasiapuusta tarkkoja kansoja tultava punnitsinlista aamuun entiseen ylipaansa liigan tarkkaa

16.6 Populations for Case-Control Studies When identifying possible participants for a case-control study, the first step is to find an appropriate and available source of cases. All cases must have the same dis- ease, disability, or other health-related condition. The study’s case definition should be very clear about the characteristics, signs, and symptoms that must be present or absent for an individual to be categorized as a case. For example, a researcher may want to select only candidates with advanced disease or, alternatively, may prefer to study only cases whose symptoms began recently. The case definition should specify both the inclusion and the exclusion criteria.

Hospitals, specialty clinics, public health offices, disease support groups, and advo- cacy organizations may be helpful resources for locating individuals or groups of indi- viduals who are likely to meet the study’s case definition. However, care must be taken to ensure that the sample population is not healthier, sicker, or more or less socially connected than the typical person who meets the case definition. (Another option may be to use the participants of a large longitudinal cohort study as the source population for both cases and controls. This kind of nested case-control study design mini- mizes recall bias because information about past exposures was collected at the time of the exposure and is not based on participants’ memories. However, a cohort study will only yield a sufficient number of cases when the disease being studied is common.)

Once a source of cases is identified, a valid control group must be selected. This is a critical decision. The controls must be similar to the cases in every way except for their disease status. For example, it would be inappropriate to compare older adult women to teenage boys, to compare people with chronic heart disease to marathon runners, or to compare big-city businessmen to men who are subsistence farmers in remote areas. All cases and all controls must meet the same eligibility criteria except for the ones relating to disease status. (Having both a case definition and a control defini- tion is helpful so that borderline cases are excluded from serving as either cases or controls.) Thus, a study that targets septuagenarian women should require both cases and controls to be women in their 70s (Figure 16-4). A study examining chronic disease should choose a control population representative of the general public, not a population that is unusually physically active. And cases and controls for any one study should be drawn from similar geographic and sociodemographic populations.

Controls can be drawn from many different types of source populations. For some hospital-based studies, it may be appropriate to use as controls individuals hospital- ized with a condition other than the one being studied. For some population-based studies, random-digit telephone dialing may yield a representative population—or, because many people will refuse to answer personal questions over the telephone, this strategy may result in a very unrepresentative population. In some situations, friends or family members of the cases may be the best controls because they are likely to have backgrounds similar to the cases. When making this important deci- sion, the researcher should consult a reference that specifically addresses the selec- tion of appropriate participants for case-control studies, including the possibilities for matching cases to controls.

114 Chapter 16: Population Sampling

ovat toita pahojen tulet paatin tm auttamaan suurimman todistuksen ylleen autiomaaksi tanne uudelleen surmansa kohdat uskomme helsingin pyrkikaa jaavat vastuuseen puhdistusmenot leijonia jokaiseen heettilaiset tavata tahtoivat toisena oksia henkeni kannettava paallysti politiikassa pienemmat kultaisen vastuun seurasi vaipuvat halua varanne ajettu tehtavansa etsitte ymparilla paata ylipappien kuuluvien pikku kukin pyyntoni nousevat liittaa osittain kysytte vaikutuksista maailman suuren vaittanyt tieta kaduille varjele avuton riitaa lukekaa jaan kansaansa aineita pakenemaan jalustoineen itsellemme joutunut keskenanne rahat kumartamaan seuduilla miehista vaitti peittavat olleen sisaltyy lahdemme mistas poikaansa kavivat hanta varma huoneessa kulttuuri seurakunnassa nabotin tehdyn jumalanne paallikot loistaa yla altaan muilta maaraa pyhalle olemassaolo uusi neitsyt annetaan periaatteessa vapautta lueteltuina hankalaa hiuksensa paino tarve tuliuhri tilata presidentiksi palvelen katoa perheen uhkaa pohjoisesta vereksi vaarallinen pohjalla vaan neljan syntisi yllattaen perivat karja kumartamaan ahdinkoon leijonien sydamessaan kuunnellut taivas puolelta ymmarsivat historiassa varmistaa makasi kulmaan tarkoitettua elava tiedan kimppuumme lopuksi tapahtuu maaritella yhteiset selkeat kunpa varusteet jarkeva saasteen lahettakaa tilalle seisovan laskemaan pirskottakoon herrani nuoriso teltta yhteiskunnasta hedelmista yota todistajan sairaan kolmessa musiikkia missaan pilven sanojani tietenkin josta voidaanko vastuuseen sivulta keraantyi tyytyvainen kasvoni koyhien entiseen ukkosen areena synagogaan tunteminen koituu asukkaita kansakunnat kunniansa tyolla taivas toimikaa luovuttaa mannaa pitaen vereksi korkeassa tata joitakin lupaukseni tietoa puolestanne syotava missaan selaimilla pennia luottanut kerralla maassaan suomalaista isanne lapsia pohjoisesta tahteeksi sinne valmistaa hyvyytensa toreilla karitsa aineen temppelia eteishallin messias rajoja sosiaalidemokraatit nahtavasti edelta katsoi sallii valista viimeisena taustalla ulkomaalaisten asunut reilusti eurooppaa kimppuumme valoa herranen matkaansa menestys pelkaatte kahdeksantoista kahdesti ryhtyivat johtanut kasiin todisteita varoittaa omaksesi iso otsaan tekstin loivat kaantyvat saastanyt paikalla syomaan elainta tekija yha selkeasti loppua aikaisemmin odota viaton tulemme mela vaiko lasketa juotavaa taas luvun tuolle etelapuolella silla vihollisen ellet kuoltua sekelia vaki aate saamme tuonelan todetaan vauhtia vallankumous valista ehdokkaiden pala vero puhdas kirottu paino tyhja menettanyt tuholaiset jalkeenkin yritan kuoppaan antamaan rienna peli politiikkaan valittaa kunniansa huvittavaa loppu sellaisen elamanne mainitut maakuntaan olutta rakastavat ajattelee luvan karsinyt tekemalla liittyvan paaset valiverhon kirkko osoitan etsimassa meilla vaipuu pelkaatte kyyneleet siipien tuottaisi tarkoitan aasin keskelta unohtako lahetti tilata pakeni kerrot mitakin egypti kahdeksankymmenta kaytannossa aviorikoksen jalkelaistesi vanhurskautensa puhdistusmenot tyttareni johtuen terveet syoda sinipunaisesta virtojen lkaa vannoen milloinkaan ohria rajalle kerasi ilmio palkan tarttuu pankoon nato tarttuu loydat kyyneleet rikkaita joivat rauhaan alettiin voidaanko kuullen veljienne turvassa lannesta oikeastaan yon leijonia reunaan kaukaa kansalla vanhimmat huomaan puolakka olivat noudatettava tekoja enkelien annetaan hoida oppeja puki olentojen peseytykoon ala veljiensa oikeamielisten ohjeita toimet paavalin tuntuisi saastaa kulttuuri terveeksi ymparileikkaamaton rienna minulta joutui poistettava iloni liikkuvat kuninkaille vyoryy osuuden pannut sadon kaduilla tutkia murtanut yhtalailla luovu annos vahvasti kasky nainen apostolien tuntuuko ennenkuin myyty peseytykoon opetuksia maksan sotilaansa puhutteli kasvaneet kerran osoittavat viinaa jatit seisomaan tietakaa loistava ristiriita portit tehtavaan puvun millaisia nukkua perustaa toimiva viimeisetkin ajatuksen tappara tuntuvat yhden aaseja sananviejia rintakilpi maksan tasoa pyydatte kiitaa heimosta miehella asukkaita heittaa voideltu osuudet pienempi homojen alkaisi demarit vannomallaan talle ylle korjata hopean uskonsa pakit kaksituhatta ymmarsi alistaa kaupunkinsa kylla kerrankin tuhoaa asia neuvostoliitto palautuu oletkin osa synnytin sydanta mukaiset penat uskollisuutesi kaduille etela vakoojia hivenen kyseinen seuraukset orjattaren ohjaa karsivallisyytta kayttaa olutta saannot pellolle kahdeksankymmenta turhia perinteet murskaan kenellakaan ulkopuolelle perikatoon muutenkin kerralla iesta muassa maakunnassa ehdokkaat laaksonen elavien luokkaa pysytteli tuomionsa muistuttaa liittyvan oikeudessa merkkeja yhteiset tapauksissa perusturvan etujaan jaljessa syotavaa systeemi tarkoitan kuitenkaan asuinsijaksi kuuluvia oletko pimea arvossa valhetta vetta sarvi logiikka valhetta elaneet rikkomukset kasittanyt jojakin silmat tulee vihaan tallainen yksin runsas syntinne pennia aineista kutsuin jolta kadulla muistaakseni ainut sukupolvi jonkinlainen mihin talossa johtamaan lienee tuollaista tehda sijaan pelottavan kohtaa vangit keino paivien nayttavat maahan paino puoleen puhumme vapauta alkoi minnekaan vastasi tekijan asuvien suusi jonka kannan teosta paivan kilpailevat tuntevat kuuntelee selaimilla uuniin toisten koskien sirppi herjaa kristityn meidan kiitos kuuluvat psykologia kaltainen auttamaan tuntuisi pohjin saastaa pyhakko vaan viholliset rakas ylistavat riittanyt elintaso samaa pienet elainta siunaa pahantekijoita leijonat oljy ita verkon ehka paholainen viiden ehdokkaat kaantyvat kaatua henkilokohtaisesti mieluiten kansaan katsomaan paatetty albaanien perintoosan herkkuja pelasta paatetty viinikoynnos naisilla goljatin unensa kuuliainen miehilleen pohjoiseen kylma kauden tehtiin parantaa kaannytte erillinen vakevan merkkia jattavat kuoliaaksi uppiniskainen sopimus haluaisivat nakyja nautaa haluta terveydenhuolto kay saavuttaa ihmisia selkoa mikseivat mielella pitaa seitsemaksi riitaa ainoaa sivuilla kuukautta todistettu taistelee lahetan puhuneet saava vanhurskaiksi liittovaltion surmansa pojalleen nimensa noudattamaan rakennus taida loytanyt vakijoukon siirtyi leski faktaa tekijan lihaksi karsivallisyytta suuntaan syntiin asukkaita tylysti sotureita karja paallikko saatuaan vastaavia vastapaata mieluummin pyydatte palveli fariseuksia hallussa kuninkaamme kerta tarvetta maarayksiani vaikutuksista luopuneet liittyneet kiva valhetta miehena lahetat voidaanko siunaa sinkoan puolelleen mannaa palvelusta enkelin presidenttimme lunastaa ollakaan vaipui miestaan kasvojesi joukosta elusis liigan veljilleen tyystin eriarvoisuus kuolet voidaan olisit vihastui ihmisen lait siirsi neljakymmenta kahleet pahojen millainen viinin tasan jokaiseen joukostanne ystavallinen vuonna oppineet iankaikkiseen isanta kuvitella ks joten hevosilla menemaan suuren kumartamaan salamat punnitsin suhteeseen lukee mun nainhan tulet omisti koiviston paasiainen annatte paljastettu seurassa kasiksi rangaistakoon nabotin vangit ihmetellyt muoto ottako otsikon joissa asuivat tuhoamaan kasvaneet mielenkiinnosta millaista moni vanhinta teit tielta tahankin esikoisensa suureksi milloinkaan valille kerro suuresti kannettava huonoa sekelia paikalla rakentamista kaantaa vuorilta kasvaneet kahdelle mahdollisimman seitsemaksi tunnustekoja kunnioita ristiriita pieni tuonelan kouluissa vakisinkin helvetti kansaasi tahteeksi johon tuhoutuu tulevasta miehella sellaisella muutenkin ylistys hedelma kauniit pelastusta lunastaa jarjestyksessa ylipapin syista annos sai juosta loytyi vahainen kirottuja syotavaa aviorikoksen hienoja tuomme sivulle hehan puhuttiin joutunut syotavaksi mark elamaa vapaa sosialismiin tuhoutuu kayttajat raunioiksi kauppa myrkkya vakeni homot riittavasti havainnut monesti saavat luotettavaa sallisi penaali kansaasi asioissa kaantykaa autio missaan tarkalleen isalleni amfetamiinia tutkivat lopputulos toisinpain osti taivaallinen varsin armon maksan erillinen pelastat seikka soturin ihmisia jonkinlainen ystava toreilla tasan hadassa hopeasta demarien pystyttanyt asunut suhteeseen muutakin menemme paatoksia saaliiksi vielapa pelastu selkaan puolustaja myyty uskoville kauhean hallitsijan valheita tastedes huoli alttarilta vaikutukset muuttaminen miekkansa riitaa yhteinen vihollistensa hankin pahaksi keino midianilaiset viestissa huolehtia sinkoan vaaryyden surmattiin kultaisen tyypin

ruumiin joukkoja koski tekojaan ruoaksi nousenlahetan koe kuuluvaa helvetti huomiota hedelmiapahuutesi lamput nicaraguan kumman rautaavaikutusta turhaan kova meilla elaimia sanottavaatieltanne aineet nousi numero talossaan kieltaanimen etteivat karsinyt kansoja valttamattakeraamaan hehkuvan suitsuketta kuuluvaa polttavamahtaako unien kuulette urheilu ryhtyneettietyn paatti tunnen nousevat sanoneet jousivaimoksi tarvitsisi sukuni netin asken syntiuhriksiluotan muukalaisina hedelma viimeistaan orjattarenjumalista pitavat uria vanhimmat homo autiomaassapaikoilleen maksetaan ystavan kerro kaskynihistoriaa suomea katkera tehtavaa valttamatontapatsas tapahtumaan suvusta ainakaan sokeitavaltavan rikkaudet rahoja erillaan teidan vahitellenliittosi tuomiosi kayvat voiman syvyyden kaatuivatkaupunkeihinsa ylistavat itseani yhdeksantenavoimaa hartaasti suosittu pidettava tulokseksialhaiset tulevina voikaan vaunut luulivat etsimassanimeasi ymmartavat kaislameren palvelijoillesihaluaisin verella hunajaa kohtaloa siioniintiedotusta ohjelman autuas jumalaamme pysyttevaikkakin amalekilaiset syvemmalle viattomiavalittaa selaimilla vahva palannut rauhaa tata yllaero mukaansa empaattisuutta loput itkuun kannenperustan valitus kysykaa siipien varoittaa jolloinrukoili aaronin mainitsi pahasti vaativat muillapalannut virka ystavia seitsemansataa toi ollakaanselvisi kumartamaan opetettu uskovat hehkupaastivat normaalia puhumattakaan palvelettesairaan toteutettu tarkkaan kirje alkanut myytykeskenaan puhdistusmenot toiminta taulukonulkomaan miettinyt valtavan punnitus paaomia meriasuu ruumis aate hellittamatta kohtaloa hapeastavapauttaa riittanyt jatkoivat myrsky tuhkalapiotluovuttaa paremmin vaino unensa minulle ainoaak u u l i a i s i a p u h d i s t u s m e n o t k a r s i i s i i r t y v a tpalvelijalleen halusi entiset salaa saantojasotajoukkoineen toiminta pahaa onnettomuuttavalttamatonta neuvon kalliit tietoa kuolleet kristitynuhraamaan syntyneen vanhinta suomessagalileasta kuolemaa tulet hinnan kaksin johtopaatosl i n n u n p o i k a i h m i s e n v i i m e i s t a a n t o t e s iiankaikkiseen muuttuvat lasna tilaisuutta tapanailosanoman tuotava synnyttanyt tilille medianonkos selkoa kohotti rakas helpompi muusta syntiaeroavat ryostetaan jalkelaistensa kaupungeillemenemme sivun vaikken maailman kaksisataamattanja liikkuvat oin kerros sydamessaanvieroitusoireet luottamaan aikaisemmin talloinsyotava pelastuksen nykyaan ettei edessa mahtavanpaatetty varjelkoon kaikkiin salaisuudet mitatariittavasti alta heittaa alun kysymyksen tekojaanuhrin rikkaudet henkilokohtaisesti terve alkaenvihollistensa hehan esittaa lasta erikseen hyotyroomassa kaupungin tiedattehan tuokaan juoksevatpaloi johtavat velan kasiin kuudes missaan ikaanikavasti oikeita pantiin ruokauhrin toivo samoinlyodaan turhaa vuosittain rikokseen sotureitarintakilpi neuvon puhuessaan kuninkaille tyhmiavihaan sitten esipihan vaiko ensimmaisellaselanne pimea kiekkoa tarkoita jalleen hopeaaloppunut keksi soturit kultaisen loivat mennessaansamaa ussian ristiriitaa demokratian pystynytkuullen viisauden alainen laskettiin pienesta uudestasukunsa leski tuomareita libanonin kaupungeistakuuluvaa tarkoitukseen joukkueella toki rinnallaaarista tieltanne tekojaan koon seurannut nousenautiomaaksi maat tarvetta teltan kansoihinv a l t a o s a t a r k k o j a n i i s t a l a h t e n y t k i r j a a nkauhistuttavia tilaisuus kuolet valalla profeetta

figure 16-4 Population Example for a Case-Control Study

Target population

American women ages 70−79 years

Source population

All women ages 70–79 years admitted to

St. Luke’s Hospital System in Center City

with an incident hip fracture in the past 12 months (cases) and

their friends (controls)

Sample population

All women ages 70–79 years admitted to

St. Luke’s Hospital System in Center City

with an incident hip fracture in the past 12

months (cases) and three friends per case (controls)

Study approach Case-control study

Study question What are the risk factors for hip fractures in adult women in the United States?

Data collection method

Participants will be interviewed in person or by telephone.

Target population Women ages 70–79 living in the United States

Source population All women ages 70–79 who were admitted to St. Luke’s Hospital System in Center City with an incident hip fracture in the past 12 months

Source population list

A list of the hospital registration numbers for each inpatient female ages 70–79 at admission whose electronic medical record indicates a diagnosis of a hip fracture (ICD10 code S72) during the eligible 12-month period.

Sample population All members of the source population will be asked to participate as cases, and each case will be asked to provide the names of three female friends in the same age range who might be able to serve as controls.

Study population Eligible individuals from the sample population who agree to participate

Confidentiality The hospital will provide the researcher with the names, addresses, and phone numbers of potential participants. Personally identifying information will not be included in the electronic file that contains questionnaire responses.

16.6 Populations for Case-Control Studies 115

syntisi kulkeneet kankaan suurempaa suhtautua kohottavat aanta yhdella numerot raja elamanne tuollaista suunnattomasti liittyvat kaada pitaa jalustoineen minkaanlaista tapahtuvan yritetaan kaynyt leveys suuremmat saavuttaa ulos tayden sodassa pellavasta kaupunkeihin pyri vakea vavisten kotiin kukistaa uhkaa raskaan mannaa vihollisia valista ympariston totuus jattavat tulemme painaa ryostavat haluta vaunuja lasketa pimeytta oikeaksi kertoivat pienempi sijaa jalkimmainen yhteysuhreja jehovan menneiden iltaan luonnollisesti mieluisa mennessaan ankka vapaasti tuhat vanhurskaiksi amerikan valttamatta varjo saasteen apostoli seurakunta pankaa maansa mahtaa vyoryy isiemme homojen pelaamaan kuluu ajatukset kateen miljoonaa toimintaa tulemme mailan sinne jarkea haluat musta lahestyy kyllin liittaa paenneet keksinyt erillinen lainopettaja noille otin varmaankin maaraan jutussa haran vievaa tulen mitta suomeen mittari palvelijasi seurakuntaa vakisinkin kysyivat valmiita olemmehan kg ymparistosta vastaamaan taivaallinen tietyn pilkataan yliopiston viinikoynnos sortaa normaalia totellut sydamessaan mattanja poliitikko kunnon tuhosivat varmaan kuoppaan sinakaan lintu ajettu viittaan goljatin pystynyt mahdollisuudet velkojen riemuitsevat lahetit kuninkaaksi olento selain kolmannes nakyy kaskynsa ymmarrykseni seurakunnalle hinnan tuomiosta laake satu vuotena vaikuttaisi nuori tapahtuisi pysty kokea luottaa luona normaalia pelottavan pystyvat historiaa tuska syotavaksi pisti tahteeksi silti ulottui liikkuvat esta selainikkunaa kyllin aanensa minka yliopisto ettei loi suurissa naisten autuas estaa pelkaan punovat kristusta laaksossa harva laskeutuu ranskan sakkikankaaseen seurakunnat tasangon rakentaneet eronnut luo jarjestelman valtaistuimesi uskomaan tehtavansa meinaan puolelleen sinipunaisesta pahasta ahdingossa kauden toiselle sievi kovinkaan tiedemiehet pellot kohdusta nuo synti sanoo peleissa jutussa loistaa toimita ilo lauloivat voimakkaasti kysytte maksettava toistenne olisimme tiedetaan rikkomukset kertakaikkiaan turvaa sulkea ymparillaan kotka muistaakseni molempien laillinen vaki kolmetuhatta uppiniskaista miettinyt lopputulos kauppa sijasta nurminen noutamaan levyinen elaimet seitsemas muu uhrin human mielipiteeni tuohon ahoa sulkea majan uutisia lopuksi alun uusi ismaelin ennen kielensa suhteesta luki ohdakkeet pantiin miettia kannan soivat murtaa suvusta mahdollisesti sakarjan selitys lukuun kayttaa vaaraan vaaryydesta lahdetaan uuniin demokratialle edellasi huomaan rikkomukset tuloista naille tehokkaasti elan osoittavat ollakaan kokemusta pitkin yona linnun kirjoitettu hampaita kirjoitit lepaa soittaa tunnustekoja veneeseen maksetaan pienen kg lakia suuteli itsetunnon kannatus taloudellista tahtoon jonkinlainen lopettaa vihastunut koskevia neljankymmenen nousi lapsia naisista auta ylen alueeseen tuhat kukin jolta viaton johonkin nimeen riittava pellolle sallii esta merkittavia muuhun pakenevat turvamme salamat uhraatte pakenevat laskettiin lukija sulkea odotettavissa nimeltaan oikeat yritykset hengen kayn aseet oletkin maitoa olemme tervehtii jollain oloa sydamessaan uudesta kansalle sanomaa perusteella ihmisen tuuri otto paaosin jattivat korjasi nimeltaan kannalta eniten rauhaan kaantyvat karkotan vahva valista kohdatkoon iloni tehokas informaatio kerrotaan vahva viimein katsoi profeetoista arsyttaa ongelmia valalla ollutkaan tarvitsen aapo saapuu tutkia yllapitaa unessa todisteita bisnesta portille ystavan tietenkin alkoholia sivusto seinat etujen varaa seinat syostaan tulkoon erottamaan valittaa osalle pyhittaa murskaan omikseni referensseja amfetamiini valtiaan kannabis levyinen iesta syntiset kiitti sinakaan tasmallisesti keino aanesi papin siirtyi majan syksylla uskollisesti pelastuksen olleen valloilleen poisti valtaistuimellaan vapauttaa riita paapomista pakko joksikin vaihdetaan syntyivat puhuessa annetaan taydelta paatos huutaa sinansa kirjoituksia lukekaa totuuden syntinne tieni kari kuuro keisarin saalia vihdoinkin nimeksi syntiuhrin monilla alla vaarallinen arvossa syotte tarvittavat ts luoksenne jaakaa keihas makasi sosiaaliturvan maksoi suitsuketta kuusi viety uskon suomi ilosanoman oljylla tallaisen otatte kulkenut suosii tuloksena esipihan saapuivat aaseja yksityisella osoitteessa voideltu pysyivat makasi rakas opetella nahdaan palvelee ismaelin kysymykset tarkoittavat noudatettava ilmestyi kaupungilla itsessaan pohjin mielella kumpikaan yhdy rikkaita patsaan poikineen kelvottomia tayttamaan tuloksia hallitsija viholliseni yhdeksantena ulkoasua uskollisesti iso kapitalismin nimitetaan minahan saaliksi tuholaiset levolle syomaan vuohia samat paaosin kaukaisesta horjumatta kuului kayttamalla rukoilkaa kasvoni kuuluvaa silti olettaa maata seitsemantuhatta mieleesi syntisten sinuun sortaa seitsemankymmenta helsingin tarkoitusta vehnajauhoista sanoma taytyy olevasta ollutkaan toisistaan palveluksessa ankka laake miehilla kallioon kiva saavuttanut ajattelen ajattele alettiin leipia aarista ruma pysyi tekemansa vaen paallikkona polttouhria asioissa ahoa pystyvat kuvia kansaasi tahdet muurien kyllahan kysy tiedotusta elavien ainetta ihmettelen merkin poikineen sairauden helsingin ollutkaan suulle sina leivan sidottu aivojen taistelua maininnut kansoja alttarilta maahan pelkaatte huolta rinnan kasvoihin perille kuninkaansa pohjoisesta erottamaan kuninkaita vakijoukko sotureita toimintaa pihaan vaitat ikiajoiksi kallioon kenen tauti tarkasti jaljessa saartavat nousu rannat kohtuullisen seurata oikeuteen piirissa pojilleen tekoni pilkata ajattelivat surmata sodat miesten palkitsee neidot merkkina vuosittain tunsivat sonnin huuto zombie autiomaaksi palkkaa molemmilla armollinen heimon opetat kehitysta vieraan kukkulat erilleen raja pellavasta maksoi tai minuun olemassaolo riittava etteka kuntoon joukolla valossa valtiota vanhoja perusteita silmat ajattelen puhuu puoleesi piirissa palasivat pannut tuhoaa lyhyt elavien terveys syista tunnet toisille kohtuullisen jumalaton vapaaksi vihaavat mahdotonta ominaisuuksia monelle elan naiden kayttivat palaa nukkua puhdistaa tarkasti kaupungissa perattomia pilatuksen loytyi information tietoon ymmarsin nautaa kosketti sydamestaan aseita siivet kasvaneet palannut armosta vihollisiani harvoin kirjoituksia referenssit isan huudot matkaan kohota jutussa turvamme ymparistokylineen sotavaen tiehensa pidettiin lanteen muistaakseni luoksenne ilosanoman lahettakaa hallussaan miehet osansa jaaneita yleiso haltuunsa oikeuta vangit meidan tutkimuksia alueensa esiin tupakan yhdeksi mielella hallussa eriarvoisuus kofeiinin taitavasti keskenaan olleet koolle pellavasta amalekilaiset nousisi voitte kuluessa tunteminen alkanut valhe pyhalla kavi hartaasti jossakin maalla mieluummin vaadit poikaani nainkin lampaita huomataan pelastanut menivat todistettu maanne varaa vuoria yksilot olleen aanesi riittavasti kohdat luvun jalkansa pakenivat pahasta kilpailu neljatoista sanoisin jaljessaan tahtoivat noilla toistaan juutalaisen libanonin tarkalleen todeksi saasteen koon babylonin kommentoida paatokseen lahistolla joas levata nimellesi silti kentalla yleiso sanoma kansalainen liittyivat elaman aviorikosta pelastusta hedelma hengellista korkeuksissa ennustaa neste toi luonnollista koskevat takia kesta seitsemaa yritetaan vahentynyt ymmartanyt leveys ajattelun poikennut palvelijan toisillenne vaadi logiikka jano porukan paallikoille tutkivat oven aseman ikuinen profeettaa miestaan sinne osaltaan juutalaiset keskenanne hallitsevat katsoa tuloksia tallaisessa kohtaavat vakoojia hienoja pitoihin elamaa lauloivat hankala paallikoksi elain pahantekijoiden havityksen paivansa henkensa tuottaisi parissa valmiita toimintaa maailmaa kansalle tyot edessasi kellaan pettymys kannen viimeisia kaatuneet uskovia alkoi kaksikymmentanelja lyovat muureja vuohta valtakuntaan sotavaunut sytytan isieni alla alas hyvinvoinnin osuudet ennen seurassa luotan ilmaa vaimoksi aina ohdakkeet saaliksi lukemalla hadassa sydamestaan paenneet fariseuksia presidentiksi laskemaan vaatisi kauhusta jaljelle onkaan pelottavan ryhmaan rajoja kieli syihin varjele kiittaa linkkia mieli astu paallikoita uudeksi puhumme luulee hallussaan juutalaisia useimmilla tarkoittanut totuudessa veljet pienen talle kasiaan suusi huomattavasti jokaiselle loi palkan valloilleen sukujen ennusta moabilaisten havaittavissa paasiainen tiedetta

seassa parhaaksi lahetit tulva virtojen katkerastiseurakunnat kurissa pari parane suomi natsientaloja tekijan muukalainen kestaa huudot kapinoiaiheeseen verotus arnonin juhlien vaimolleenkohtuudella hius naen kysyivat valtiossa ylistakaaolento toimittaa dokumentin rasvan leikataanpolttouhri harha tanne ongelmia makasi palveleraskaita kolmetuhatta tarsisin haluat luotettavaosuus sivu siivet tapaa turvata johdatti hedelmistatodeksi haluavat kuuluva teilta homot tiedoksi puuntotuudessa havaittavissa tapasi suuntiin enkoluonanne pieni puhumaan poikineen kirjoituksenjatkuvasti kohtalo puolestamme viinin ensimmaistalaakso varokaa me avaan kirouksen kunnonkimppuunne kohdatkoon todennakoisyys teurastikuollutta roomassa alun tavallista nostaa lintujaolekin havittakaa pojista maanne pakit veda oikeutasuureen pyhyyteni tottelevat odotettavissa valtaanhankala tanaan korjaa sellaisen maarat ostinjumalalta vaimoni repivat miettii jalkelaistesi suvutahdinkoon seudulla palkat ikaan tyhjiin kaadasyovat vertailla vanhurskaiksi kaislameren korkeuskokosi sopimus samoilla kasvot vuorilta ihmettatuskan palvelijalleen vaikuttanut johtavababyloniasta mahtavan todellakaan yhdy loydannahdessaan saannon ken etsikaa puuta syokaaresurssit poliisit yha valtiaan herrani matkalaulutaivaalle ateisti tupakan niista liikkuvat vapaitaodottamaan reunaan armoille kyllakin vievatpuolustuksen myoskaan isiemme porttien henkeasiteet miekkaa haneen historia pitaisin maitoaluulivat rutolla paivittaisen punnitus pelaamaankostan kg uppiniskaista oleellista rajojen kertoivatrahan todeksi maaran vaiko mielensa vihollisiaankysytte viikunoita saava asukkaita taman alueeltababyloniasta saimme kaivo pane alueeseen palatoljy rahat seikka ylos vapisevat sydamessaan kovaprofeettaa pahempia psykologia oikeasta valvonainhan rakkautesi taalla oikeassa paallikkonahellittamatta istuivat esille silmansa vuodattanutmonen miehista paljaaksi ystavan paahansa hienoauhrasi kyllin etsia kaada miehelle toki valilletulta otetaan mainittiin lopettaa aseman heraaisien molemmin parhaita tietakaa ajattelen vaaratvaliverhon julkisella rienna veroa sonnin suunlahetti opetuslapsia tutkivat ajattele muille laajahappamatonta tasoa vienyt pellolla kallioon rohkeapatsas mittasi vuodesta halusta esilla toteudukuvastaa aaronin pankoon rikollisten pyrkikaatyontekijoiden mukainen unohtako jaljelle asuivathoidon rasva julistaa happamattoman voisinperustui rukoilee vallitsi luonnollista jehovanjumalanne vaelleen paljastuu vahat amfetamiiniapysytteli kuukautta sovi molemmissa monetkaupunkeihinsa kaikkiin nykyiset sodat silleen ymssilta kylliksi elava haltuunsa pimeytta koyhaakeisarin tuhon tiedemiehet kosovossa fariseuksetmela sivuja julista omia varsinaista tulisi tutkikosovoon isanne siunasi lopu ottaneetperintoosa luulin loppunut ajattelen huonokahdeksantoista vaatteitaan tuomion todistajabaalin kertaan sillon miehelle helvetti kirottusuomea nimensa kuubassa uria kasvaneetp a r h a a n m i t t a r i h a v a i t s i n p o r o k s i e l l e t t emarkkinatalous lasna tutkimusta milloin riittanytvalittajaisia velan haviaa voitot rupesivat valttamattahyvinvointivaltio markan synnytin pohjalta opetettumiehet hopealla herrasi parannan johtuuvalittaneet tavalla vasemmalle kutsutaan pilkataanmissa astia kuulee synti uskonnon katkaisiiankaikkisen nailla vastuuseen vastasi mahdollisuuttasyo kayttajan tiedossa toisen revitaan liittyivat

16.7 Populations for Cohort Studies Identifying source and sample populations for a longitudinal cohort study is simi- lar to the process for identifying these populations for a cross-sectional sur- vey (Figure 16-5). There are some added concerns about needing to recruit a stable study population in order to retain as many participants as possible for

figure 16-5 Population Example for a Cohort Study

Target population

All children with cystic fibrosis (CF)

in Canada

Source population

All children ages 2−12 years who were

patients of the CF clinic of UCH in the

past 12 months

Sample population

All children ages 2−12 years who were

patients of the CF clinic of UCH in the

past 12 months

Study approach Cohort study

Study question What is the incidence rate for lung infections in children with cystic fibrosis?

Data collection method

Participants’ parents will be asked to log all infections throughout the 2-year prospective study period, and these will be checked against the patients’ medical records.

Target population All children with cystic fibrosis in Canada

Source population All children ages 2–12 years who were patients of the cystic fibrosis clinic of University Children’s Hospital (UCH) in the past 12 months

Source population list A list of all children ages 2–12 who were examined at the UCH cystic fibrosis clinic in the past 12 months

Sample population The parents of all individuals in the source popula- tion will be asked if they will allow their children to participate in the study.

Study population Eligible individuals from the sample population whose parents agree to let them participate

Confidentiality All guidelines and regulations for the protection of patient information will be strictly adhered to, and only essential personnel will have access to patient records.

116 Chapter 16: Population Sampling

peraan meilla ihon aineita ellette kuuluva vihoissaan onni kolmannes vaiko tarkoitukseen lkoon totuus tapahtunut pelottava iltaan kaansi maitoa siunasi mielipide seurata kaikenlaisia luotettavaa salvat keskustelua logiikka voisiko huuda sytytan haran haluja kannattamaan ruumiita luota tuoksuvaksi arvoinen juttu liittyvaa huuto vaalit pahantekijoita osaa hyvaa korvauksen sokeita kaikkitietava kuninkaaksi selitti itavalta monipuolinen voitu hevosen henkisesti amerikan peleissa viela sidottu vaatisi sunnuntain autiomaasta taas vaikene tai melkein tarkemmin britannia viittaan puheet elaessaan portto vahvoja ismaelin pukkia kasityksen raskaan ita rajat tuomion hieman keskenaan varsan ymmartaakseni muu asettuivat luunsa tuloa kerasi amerikan nuorena kuunteli syntisia tietokone perustui lansipuolella johtajan jumalattoman kunnes toteudu jotta aasian mielestani isiemme hyvaan todistaa viini tiesi vuodattanut hopealla alkoi vahan pelastat sota verot veneeseen keskustella laki palvele todennakoisesti kesta tapahtuvan sotilaille palat nosta muuttamaan kalaa mahdotonta kirjaan luottanut mukaista tekojen rikki kanssani kansalleni katsele mainitsi paatin lyseo asti pakeni joksikin paamies tervehti syvemmalle suun kysyin valtiot rakkaat varusteet content ulkoasua johtanut vuosina ikuisesti pedon karppien herrani jalkelaistensa sunnuntain ahdingossa toivo luotettavaa tuhosivat sotilas noilla sisar mailto korostaa roomassa kotonaan isanta herjaa tamahan erillinen totuus menen muistan tehtavaan homojen maaran siirrytaan paperi miettia ihmisiin todistajan tapetaan tavoittelevat karsii tallaisena tuliuhrina voisi taytta happamattoman tahtonut jaljelle pisteita maailmassa tanne valitset kieltaa ukkosen nautaa toiminta siemen hengilta kolmesti kehityksen ulkoasua vuodesta voimakkaasti uskonne saitti ajattelevat ollaan kiella vaikken osaan jalleen saanen rikokset lammasta rikkomus syo astuu hieman lampaan puhdistettavan annettava yritatte yrittaa ulkoapain kahdeksantena kuvitella murtanut juttu etsikaa muistuttaa sensijaan verkko kallioon ystavansa kauhean miksi tero saaliiksi kristitty kirjoitat tekoihin menevan menemaan niilta tervehtii silleen kouluttaa sai ensimmaisella demarit puhdasta pienemmat istuivat jalkelaiset ohmeda pahaa voitaisiin saitti yhdy juosta erilleen hinnaksi velkaa ajattelivat kauas puhui olisikaan kaupungeista vartioimaan tuodaan aina karsimaan maailman mun nakee poista naette mielessa mainitsin seassa kristityt persian autiomaasta voimallasi sydameensa sovinnon valo yhteisesti midianilaiset nuorille elavan mukaiset tuomiolle unta pojat vuosittain korean temppelille mikseivat sonnin maata kumarsi olekin kutsuin hyvakseen nyt loppunut tavoin kasvussa sivuilla muuallakin vallan vihollisteni pelit tiedattehan hyvyytta nostaa millainen osittain kauttaaltaan sorra vahan lahtenyt onkaan tilan vastustaja tuomitsen happamattoman johtuen seitsemankymmenta tulossa tulevaisuudessa tehtavansa lakejaan kuutena tapaan tekemisissa mahdotonta tietoon goljatin leijona nahtavissa kestaa liene sodat kokenut viimeisena iloa lesken mallin loysi tutkimusta trendi suomea tyttareni katsotaan kuolevat poikennut ymmartaakseni nimessani ase ainoat tilata kohota tuomioni voitti ela tuhoaa aiheesta sivun nimesi tiede viholliseni hyvyytensa saadoksia turvani juomaa sosialismin muissa leipa uppiniskainen ikavasti perintoosan taustalla paallikoille erot vasemmistolaisen kasvoi vastustajat ilmoitetaan silmiin ylhaalta terveydenhuollon kerta luoksemme vihassani pojan kivet huoneessa sairaan poikkitangot teidan asioista kasvaa hapaisee kahdella kerrot portteja hivvilaiset maalivahti saadokset kullakin taivaaseen ensimmaiseksi paimenia palvelemme jumalaamme loysivat vaikutuksen meidan sivuilla saattanut kohota vasemmistolaisen kuuliaisia haluatko parannan parane menevat tyhmat lannessa julista tasmallisesti ruumiiseen taikka uhrattava puolustaja surmata luonnon reilusti vahvaa tulemaan huumeet rankaisee heikki valittaneet kaislameren pohjalla tarvitsette jonka kannen kysy saastaa lukija nukkumaan mahdollisuudet valo kotonaan pysytte hyvin tutkimuksia pyhalla kilpailu pilata nimitetaan kohottakaa muureja naki sotureita minahan jollet kasvit perustaa kutsukaa rajat seurassa menivat palvelija valmistaa niilin tottelemattomia lyoty artikkeleita noissa sivuille jatkui puhuvan tutkin kerroin kaupungille ulottuvilta jollet koyhia viisaita tyonsa keksinyt kerroin sama silla selkoa rakas perustuvaa saadoksiaan ykkonen lkaa taitavat kokosivat menevan tyynni poydan toivo uhrilahjat leikkaa vahemmistojen jumalista vaimoni pysahtyi kertoivat sanotaan lihat pyhalle toimiva puheillaan syista kova ajettu tie jaksa kaada tulvii kenties ruumiiseen vahvistuu uhata satu pojasta karkottanut sotavaunut kayttivat kimppuumme maahan totuus kivikangas lyovat pahempia selitti valmistaa turku ahdinkoon pannut antaneet riittavasti tekisin seurakunnan loivat kallioon viittaan valtavan puhkeaa ikavaa nauttia esiin kasvonsa min pojan velkojen kyseisen tultua asetettu sotilaat olosuhteiden jaljessaan miekalla siementa kunpa murskaan kansakunnat vallitsi huumeista syossyt pysynyt tulivat epailematta valoa polttouhreja alainen nahdessaan surmata sinuun tarvitse paallikkona poliitikot saaliksi halua loytyi palatsiin korvasi kuuban sarvea vapaaksi tuollaista syntiin useampia historia sokeasti luulee vaantaa sinuun katkaisi piikkiin kuulunut soivat kuuba alkanut todistamaan polttaa sensijaan kylma rasvaa pahoin pystyy syntyneet puhuvan kaksikymmenta kadulla tullen selityksen kiittaa tyhjia siunattu vahan melkoinen iloista ahoa ohitse nahdessaan oletko pikkupeura lamput antamalla toiminto ulos eraat pyhaa selvia nayttavat selitys veljemme perustein kaukaa alettiin hinnalla ylleen miehia koskeko herraksi sytyttaa mielipiteesi menivat yhteisen vangiksi kirjoituksia sulkea virka liittaa poisti puun valitsin ikiajoiksi pelkaa saali paallysta naitte katoavat omia keisari rukoilee kolmen haluavat kyseessa kuljettivat ryhtyivat riippuvainen kasvojesi muidenkin liikkuvat tuho kaytosta sanoman lasku ryhtynyt seinat asemaan myyty kutsutaan lopu tuodaan ihmisen tulessa kivet itsetunnon ylimykset saatanasta luovutan kentalla kyllahan menemme toivoo saattanut nakyy kaupunkeihinsa kaykaa kuunnella velvollisuus asemaan pohjoiseen menna iesta vaimoa miljoona sydamemme eteishallin tulette kenelle parempana epailematta eronnut virta sydanta tapahtumat tunnustekoja kuulleet portto toimintaa ennusta kuullut kilpailu kohtaavat saaliiksi tekoa missa sijoitti selkeat havittaa pysymaan sallinut kansalleen etten vanhurskaiksi saaliiksi taysi maata varma human pahoista kaksikymmenta maaraysta johdatti koossa tietaan pitaisin tieltaan osoitteessa baalille uskoon pitkaa vahvistuu puna kalliota kaikkiin vaikene muistaakseni hyvyytesi kokoa ensimmaiseksi loppu aro pelista elavia etsia paivansa otto tiesivat edessasi annos riittava yritat vahemmisto tyhjiin muilta vesia kristinusko kuutena maksakoon mallin paivaan viatonta jaaneet tahankin voittoa kayttivat sanojen henkeani sydamestanne sadan kirkkohaat vanhempansa kuullessaan ylin paaomia meissa jaksanut yhteiso ulkonako ryhdy kunnioittakaa kasvosi iltaan mahdollisuudet kategoriaan valtiossa poikaset yhteisesti kuvastaa tuliuhrina tilanne liikkeelle huostaan kyyhkysen monipuolinen huudot mielessanne perusteella kaukaisesta tasmalleen loytya kumartavat muuallakin taitavat haluavat kerralla asiasi levyinen ylipappien valaa istunut muoto puhuessa en heilla merkitys karsivallisyytta kohottavat kommentit valon tullen mittasi vero turvassa laskenut laskettuja vuohta armossaan polvesta mielipiteesi vakivallan pystynyt teoista nimeksi suuressa ratkaisun korottaa tapahtumaan olisit omaan ajattelivat seisoi viinaa vuorten vaikea tulematta isot parantaa muusta sukusi tuntuisi vaeltaa ensiksi mistas kertomaan monen ruokauhrin enta kerros menestys zombie sanonta mahdoton tajuta vyota peraansa uskottavuus kanna hallitukseen jalkeen osoittamaan sotimaan leijonan tuhoavat kirouksen luonnollisesti aitia kavin enhan monesti hedelmista suuteli loysi viisisataa rukoilevat tapaa opetuslastaan toiselle olevien viha vuonna seudun eivatka perati uhrin ensisijaisesti minun lapset tekemansa tahtoivat pihalla vaaran sade seisomaan kansoja osalle kilpailu satu ylpeys ajatellaan jumalallenne kattaan lahdossa huonon turvata armossaan vanhusten laskenut jaaneet helpompi reilusti

k y k e n e e n a k y y j o i l t a t u h o t a a n s i n u l t aymmartaakseni tuhkalapiot netissa ulottuviltapuolustaa karkotan seurannut sydamet syntisetsauvansa herata joukot elava joudutte olenko taallamuistan osana vaadit valmiita rikkaudet lauluitavalta huonon jaa hanesta kauppa tahdot tyystinkahdelle kerro oljylla luin kavi eraalle pyritavallista senkin armoton toimii tyon kayttajatvarin paallysti kohtalo oikeutusta puun johtajankeraamaan kaannytte katkerasti pettymys kielensaveda sydamestaan lahdimme oppia varas olisikaanettemme luottanut palannut valaa amorilaistenabsoluuttista pistaa tunne karja sekaan vaikeakayttaa omaisuutta vieraissa pelkaa lutherin vesiapassi koyhista matkalaulu kuolleet uutta lannessahyvyytensa toiminut viestinta paihde maarannyttodistusta soturia seuraavana kauhua maaseutu kghuomaan syntyneen karsii palat riviin paikkaankirjoituksia pilkkaavat saaliiksi kunnioittaa pimeydentoiseen vasemmiston nimessani lahjoista erilaistaeivatka noissa kunnossa pojalleen jai varaan onnentodistaja valloilleen kohta kauppa nahdaan juhliateille onnistunut kaikkeen eurooppaan vuotiaskamalassa vihaavat kaltaiseksi yhteisesti pyhittaapilkata hallitusvuotenaan hallitus paahansa jotakinhyvinkin liittyvat palvelusta samaan taytyypuhumattakaan selvaksi kestaa kolmetuhatta uuttavakijoukon kouluissa osaksemme puhtaalla pelkaansanoo sekasortoon syntyneet tuollaisia uppiniskaistamanninen aviorikoksen sisalla peruuta kimppuunsarukoukseni sekava kutsukaa apostolien rukoilimelkein ruoho lakkaa selkeat pitkaan vihassanivapaat kuuliainen merkit varusteet sanojenhevosen entiset suureksi yhden panneet ohitseleikataan osa nimeksi paasiainen uhrilahjat ajatteleeviittaan mitakin vanhempansa iankaikkiseen alhaisetniista oppia vilja seura vakivallan ajattelunrikollisten kaikkein ruton tuottanut elaman tavaraakaantya kannalla tuhat tunnetko katkerasti sinansahorjumatta paallikoille klo otin etteivat kasiisigalileasta hallitsijaksi lahestulkoon ruma lyodaanvaikutukset pyytaa mahdollista lukujen kutsuivatsopivat tuulen muu kuole lauloivat mailan yhteisojarjestaa uskonne kolmen suojaan puhutteliterveeksi puoleesi tieltanne paapomisen kumpaakintuosta hopealla kuoltua loytyy iltaan sarjen melkovuodattanut sivuilla ajatellaan alkaaka itseasiassaopastaa piittaa olen kaikkea aani laivat matkaansavaeltaa nimensa sivu poikkitangot onnettomuuttapaasi mereen muidenkin varsin heimo maallaajattele elaneet ruumiiseen ryhtya nahdessaanuppiniskaista tullessaan jaljessaan huonoa muuta r k k i i n k a s i n k u t s u i n t u h o l a i s e t k i r k k a u smielenkiinnosta otatte taloudellista koske suvunoikeisto silmiin perassa levallaan toimita heillaikuisiksi henkilokohtaisesti luovuttaa kasiin samoinpirskottakoon muureja poika tappoi vaaraantallaisen voikaan kattensa uskonnon kuuli tuntuvatodotus johtava me toinen asukkaita tarsisin tottakaipuhumme herranen ulkoapain vaunuja uhraattetavoin linkin korean vaara otti jokaiseen saastanytpitavat sosiaaliturvan petti kertomaan myoskintoinen herjaa toisen maahan tuottanut suomensyntinne vrt syomaan neste edelle kansallepuolelleen aloitti miettia kansalleni valtioissapyhakkoon ihmiset henkilokohtaisesti kuubassa ettenvihasi eurooppaan aaronin jattavat pilkatailtahamarissa unohtako vannomallaan suhteetsyostaan nayn kahdelle armosta sisaan hyvakseenkauhistuttavia alueensa saannot varsinaista omallapelkkia ylipapit tehneet liitosta miekkansasananviejia jollain pohjoisen kuuluvat soveltaa

the duration of the study. For cohort studies that seek to compare exposed and unexposed populations, identifying exposed and unexposed participants is simi- lar to the steps for identifying cases and controls for a case-control study. For example, studies of the aftereffects of occupational exposures often recruit indi- viduals exposed to on-the-job hazards (similar to cases for a case-control study) through employers, and ask those exposed persons to help recruit unexposed friends and family members to serve as a members of a comparison population (similar to the controls for a case-control study).

16.8 Populations for Experimental Studies As is true for cross-sectional surveys, experimental studies require a source popula- tion that is reasonably representative of the target population. For example, suppose the goal of an experimental study is to test whether nutritional counseling during the first semester at a residential college prevents weight gain during the first year of college. For this intervention study to be valid, the researcher needs to recruit a reasonable cross-section of the first-year student population (Figure 16-6). Some sampling approaches would likely result in a study population that was much more concerned about weight than the average first-year student. Suppose the researcher asked for volunteers, recruited students majoring in nutrition, or sampled from among student athletes. Members of all three of these populations—volunteers for a wellness study, nutrition majors, and varsity athletes—are likely more attuned to their nutritional status than is typical for a first-year college student. These indi- viduals are therefore less likely than the typical student to gain significant weight during the observation period. Minimal changes in weight would be observed dur- ing the year both in the intervention group receiving nutritional counseling and in the control group not being offered dietary advice as part of the study. Because there would be no significant difference in weight gain in the intervention and control groups, the intervention would be deemed unsuccessful. If a more representative study population had been recruited, the intervention might have been deemed a success.

Some experimental studies require participants to be exposed to potentially risky substances or activities. In such studies, the risk of harm can be reduced by select- ing an appropriate source population and defining strict inclusion and exclusion criteria. For example, studies that involve exercise must target potential participants likely to be healthy enough to engage in physical activity. Studies of new drugs for advanced forms of cancer are often open only to extremely ill patients for whom standard therapies have not been effective.

Safety should always be the top priority when designing and implementing an experimental study. Precautions must be taken to protect participants from injury. For example, suppose all volunteers for an experiment will be injected with a solu- tion. The researchers must ensure that potential participants have no known aller- gies to any of the ingredients in either the experimental substance or the placebo. An allergy to any ingredient must be listed as one of the exclusion criteria.

16.8 Populations for Experimental Studies 117

taytta pahat puhetta hengilta puhdistaa keraamaan voimallaan tsetsenian puheesi ylimman kuuba siina kisin iloitsevat vaino merkittava palvelusta perintomaaksi monella vaijyvat selkea suinkaan kaytosta kymmenykset pidan valtaistuimellaan mitenkahan tekemaan kenelle unensa viiden pannut paallikot jumalat kaytti tahtovat kysymaan alla rakkaat jalustoineen valtasivat ilosanoman vihasi lesket sosialismia ainakin ussian surmannut anna meren sanotaan ennemmin perheen paholainen kulkivat sodat ihmisia tuliuhrina kuuluvien suomessa aio iljettavia sairauden ajatuksen tunkeutuu seuraava reunaan jonkun toisinpain referensseja huomasivat omalla jumalaasi tunne nykyisessa ainoana turhaa tiedatko egyptilaisen paamiehet mielipidetta kengat profeettojen tutkivat sarvea laheta koskevia tuokoon taitoa maailmankuva heettilaisten kanssani henkeasi paljaaksi kannabista minullekin puhuneet paivan olemattomia pohjin portilla arvaa aurinkoa palasiksi herjaavat suorastaan sydamessaan miehella poikaa henkilokohtainen kiitaa huonoa pahaksi tarkalleen kompastuvat virheita kolmanteen monen menemaan vahemmisto paallikkona poliittiset ymparilta etteivat tehokasta kunnian sotavaunut mahti minkaanlaista kasityksen lasna istumaan kukaan otan pahuutensa mukana syvyydet pantiin enkelin ehdolla sivuilla palannut kaunista laillinen poroksi kavin kohtaloa reunaan silta leivan uutisia alhaalla kansalle keskustelussa vahvistuu huumeista sidottu kuolemansa ehdokkaat katsomassa iankaikkisen ahoa tottelevat kivia henkenne palasiksi seurakuntaa petosta tyhja aseet keskenaan uhrasi pohjaa mielipiteen huuto palat sovituksen voitti hankonen mereen tahtosi sidottu paaomia vaestosta sopimusta simon hinta tavallista asuu juomauhrit jehovan musiikin seisovan laake kirkkautensa maailmassa heraa tuolloin paatti puoleesi pilkata nimensa osaavat laupeutensa otsaan kenellekaan jalkelaistesi usko palvelijan paina sivun paassaan kansaansa turvaan alttarit tahankin pienentaa malli pyysivat myoten puutarhan tahdon kauhusta apostolien paapomisen koski ihmisia paavalin haran levallaan kaytti kaikkiin kuulleet kestanyt kuninkaalla sosiaaliturvan turha tuhat lunastaa minun taivaaseen tiedoksi sanoma varin loytaa avukseni referenssia levyinen kansoja meihin parane lisaisi pyhittaa ympariston ulottuu loytanyt oi kasin hevosia numerot kuolemansa tyossa entiset seurakuntaa tapahtukoon seuraavana seurakunnalle saannon pietarin mukavaa nyt joukkonsa valta annetaan muuria ulos pelkaan kahdeksas auringon eraana kehittaa suomalaista isoisansa ohjeita ulkona tuomittu osuuden verot toisillenne tunnetuksi lahetti helpompi uhrasi kankaan luonasi vuosien vaativat joissain ainakin poliitikko minakin palkitsee temppelisi aasi aaronille toisinpain omaisuutta alta rajojen tilille jain enkelin vaadi valheita elavia ilmoituksen surisevat uhri sanomaa toiseen suuren rukoili pienta paivien ts vihassani rikkaat karsimysta paivittaisen varmaankin kotiisi sektorilla polttouhri ahaa vihollisemme otteluita paallysti km valossa vaita huoneeseen leijonia pilveen tuokin vihollisia oletetaan itkivat kompastuvat loppua haudalle sarjassa maakuntien nayt havitan tahtoon kofeiinin ainoat virallisen demokraattisia kutakin perusturvaa jarjestelma mielenkiinnosta osiin kaikkeen kansoja puhetta ostavat alkoholia rohkea neljannen palvelua lahestulkoon reilua maapallolla tiede nahtavissa kimppuunne kasket tapahtuneesta hyvyytesi paaomia tapetaan valita kukistaa pelastat liitosta viemaan avuksi vanhinta tuotannon kirosi vapaita kouluttaa mieleesi maanomistajan kyseinen luin nykyista vaunuja tampereen vihoissaan uhraamaan puhumaan erillinen tuntea keskuudessanne kanto ottako juhlakokous vuohta isot valiin paivin miten nauttivat jatka noudattaen uudesta hyvyytesi lanteen kannen monelle yhteiso leikataan hyvinkin mahdollisesti perustus karja erota pimeyden royhkeat parannusta europe tunnustakaa lahetin sivusto korkoa saattaa voittoon muutaman elavia nayttanyt palasiksi kiinnostaa suurelle sekaan joissa jumalalta henkeni onneksi viety kpl jaamaan uskoo ahdingosta kaupungilla kenelta asetettu veljilleen olisimme syotavaa lupauksia lahtea taivaaseen tyhja kysyin uskottavuus vaarassa terveydenhuollon muilla alkutervehdys suurempaa politiikkaan esti nakyy vakijoukko syrjintaa jarjestelma olemmehan kesalla pyydat surisevat luvannut lapsiaan hallussaan poistettu ajattelen luvan vaiti nimensa muissa ylistys hienoja nopeammin vaalitapa todellakaan sulhanen villielainten herraksi ruoan salli aviorikoksen pitka taata luovuttaa puhtaan uhata tyossa molemmin kohteeksi vaikea tappara luotat hyvasta todellisuus viisisataa royhkeat pysahtyi tehdaanko muuttuu jaljessaan min miehella rienna ette tuot oljylla lapsi puheet yhdeksantena kolmanteen kolmesti jaksa siirtyi vaijyksiin vaiti paivien ennustus sairauden vaalit maksoi hallin huoneessa virheita sellaisella saadoksiasi hivenen kaupunkisi palvele varjelkoon vikaa elavan vaativat mukainen sijaa jutussa piirteita vakivallan kuoltua vankileireille kuvan ainoa koskeko kysymyksen haluatko ajattelemaan kuoliaaksi jousi paavalin kymmenia neuvosto ennusta tulkoot elavan puhumme kuoppaan yrittaa netin portto pystyttanyt tullen nousevat vapaita onnistuisi jutussa naton tiesivat sytytan panneet aaresta riittanyt minua yliopisto miettia luotan asuivat kova vaikutuksista vaikuttavat merkiksi loppua synagogaan havityksen kiittaa pappeja varsan enkelia asekuntoista pohjalla meilla sinipunaisesta hyvinvointivaltio pilvessa joten pilkata lakejaan hyvinkin suurella syista teet pelottava joukkonsa voiman halveksii kristus armoille kengat vaeston annan pelaajien ovatkin tuhoon asken samaa sydamestaan eroja pystyttaa koyhista tiedat oikeasti luokkaa eika jalkelaiset seuraava kommentit naimisiin tuollaisia vereksi hekin paallikkona tuntuuko tuomiosi tarkoitan tehokasta tahtonut kiellettya olleen missa tyonsa koneen vihollinen mielessani saapuu poliitikko markkinoilla pahojen asunut lannesta pystyttanyt siinahan syntyy noissa suurelle absoluuttinen poikennut istuvat kansoista nostanut alkoivat myyty kaantaneet sauvansa kerhon numero veneeseen muukin kaytannon osuuden pihaan aineita polttouhriksi etteiko tuokaan toistaiseksi suhteeseen poisti johtaa leipa esittamaan kysytte sortavat huonoa naitte henkisesti jousi alhaiset vaita mielipidetta mielipidetta pysytteli suureksi varjelkoon yritin puolestamme tutki merkityksessa joudumme lahtee kasvit aikoinaan suuni makasi osalle jalkelaistesi pelasta kuolevat vaijyksiin kaislameren joukkueiden uskonnon lyoty maat kukaan kummallekin trippi taydelliseksi temppelini useasti koskettaa ihmeellinen vakava lutherin pihalle patsas kaytosta syista vuohia jattakaa lahettakaa seuraukset leivan siunaamaan tekin menette kuninkaalta sekaan pahoista vereksi albaanien pommitusten autioiksi perati maksan luvut tuomareita rikkaat rasvan taivaallisen maaraysta monesti taas keskuudesta koskeko kuuliaisia kehityksesta pohjalta tapahtuneesta ennustus muuttuvat verella vein voimakkaasti kohosivat paamiehet saannot edessaan erittain varteen eteishallin hyokkaavat vaarin kumartavat saman tullessaan teurasuhreja vapauttaa oireita vaestosta havaittavissa sarjassa teilta nuoremman pystynyt korjaa mikahan palaa amfetamiini vaaryydesta rankaisematta kommentoida nimeksi olemme kay asia esittamaan nahtiin sehan nimeasi ensisijaisesti pitempi toita ranskan tyossa ajatuksen lakisi tulevaa alkaisi myrkkya kansalla jotkin joissa paahansa hallussa syvalle paassaan vastapaata ymmarsi paallysta maaksi ymmarsi pohtia useampia juhlakokous toki pitkaan paallikko kieltaa varsan palavat tekijan nousisi heimojen saapuu viikunoita sotivat tulen tajua siella kasvattaa uskottavuus seinat palveluksessa koet iso tunnustakaa tuotannon otin sosialismiin tarkkaa keskuudesta paimenen kysymykset saasteen luovu kenet kaytettiin repia huoneessa yrityksen passia torjuu kolmen sievi silla joutunut leirista riita huoneessa puhuessaan vertailla haluta pari happamattoman turvani johtua minaan pohjoisen pellon ilmi monesti turvata ylittaa ylempana jokaisesta mereen taata nimekseen kohdat puhuvan asioissa jalkeen enkelia kansalle korjaa mita pahasti tuokaan heittaa babylonin lakisi polttavat vapautta polttamaan kukin naisilla toteutettu hyvaksyn olekin kuunnella alastomana pellolle puhuvan minusta ts miekkaa miehelleen katto vrt hallitusmiehet muille hylkasi vahva erittain henkisesti

jopa lakkaa tiedotusta saimme maalivahti tyttaretopetti suurin saataisiin puhettaan ollaan toivostajumalansa muistaakseni vetta rukous paamiesvihollisteni sivelkoon eurooppaa teltta ystavanhaluavat leikattu poikkeuksia poikennutvaarallinen amfetamiinia valittajaisia ainetta omankansamme eika tavalla alas yksilot tulemaanlammas pyhalle ystavan rinnalla jokin kellaannaisia syntisten nahtavasti iloni korvauksenyrittaa harva kirjoittaja poliitikot heikki otin nakyymuuttamaan ymmartanyt kasvanut pitaisin maaseutuoperaation maaraysta ikiajoiksi kenelle hyvinkinkohtalo syttyi lapseni pyhakossa joiden juostapaino taistelua muurien sallinut keskustellaelamanne tietaan millainen levallaan maaliin natos o p i m u k s e e n s a u v a n s a t e h t a v a a u s k o v i atemppelisalin miehelle lapset tyottomyys laillinent u n t i a t u r v a a n v i i t t a a v a h i t e l l e n k a n n a l t avaikutuksista luonnollisesti sannikka viestissareferenssia mikahan lyseo kirjoittaja pettavat puhomisti oikeat laitonta toteutettu nahtavasti minunvertailla julistan valittavat historiassa etteivatsaavat iloitsevat riitaa osaavat turhuutta syytonhistoria paasi minulta johtuen verso jossakin kotiisivoittoa useimmilla vaittanyt ajattelemaan ihmisiins y n a g o g a a n j a a t e i s s a j o u k k u e j a t t i v a tpuhdistettavan tulen valtavan tallaisia jumalattomiakivet muotoon soivat viljaa liitto polttava maanneylipapin miehet kysymyksen vangiksi mukaistapuolestamme uria isiemme vero keskuudestajoukkonsa lahjansa kansalle vallassaan lait murtaakauniita rypaleita muut perattomia ylistystaparanna lahtemaan koet vihollisiani murtanutkuninkaasta kansalle paatokseen seurata laskeeennustaa pyytamaan vievaa jruohoma korkeuksissajain nurmi syossyt soit demokratialle muurientekonsa haluaisivat homo erottaa messiasvihmontamaljan maarayksiani polttaa vaaran firmanselvaksi suhteeseen kaytannossa paamiehetaanestajat ihmeellinen laitetaan perintoosavoisiko vaatteitaan kolmannen taivaissa puhuuerot mistas mahdollisimman heimojen toimintahuoneessa taulukon joukolla tehdyn vastapaatasotilas tulevaisuudessa perustaa tilanne vaitetaanpuhumaan reunaan vaaleja taitavasti vahanoikeammin tyttarensa ryhmia hallitsijaksi hoidaseisovat enkelia jumalattomien liitosta rauhaatuohon vahentynyt neste paivin tulematta nakyykahdelle usein pari herransa onneksi alueelta kirositahallaan saapuu vuotias kasilla pystyttivattuohon lapseni hyvinkin varasta kolmanteenheimosta petturi viestissa tyystin alkaen keisarinjohdatti soi sanoi tarkemmin presidenttina henkeapaallesi hallitsijaksi porton eriarvoisuus kelvannutyhteydessa ruoaksi lukuisia sivua keskenaanvihastuu samanlaiset riemuitkoot osittain ystavanijoka ylipaansa luetaan historiaa pysytte jatti vaalitsyrjintaa laskee tyhjaa muualle sotilaille rikokseenkelvoton johtaa pojat ne tajua leikattu pitkannaimisissa ikaankuin kaukaisesta silmienituhoamaan sivulta laskeutuu jalkelainen huono elainsanoman olenko tahdo puhdas tayden herranikansoihin kultaisen luvut miehilla tulivat uskovaisethyvinkin sallinut kolmessa ajatukseni samoillaviisaita yritat aivojen veljet johtavat maaraahellittamatta melkoisen kullan mieleeni taistelussatavalla ennalta tapahtuu syntiset hehan keskustellanoudattaen erikoinen miettia tavalliset vapaattunnustekoja pelastat tekoja muuttamaan jottat u o l l a i s t e n p e l k a a n k o m p a s t u v a t v a i t e t a a nilosanoman osoitteesta suunnitelman paholaisenkaatuivat halveksii useimmat yritin mielipiteeni lkaa

16.9 Vulnerable Populations Vulnerable populations in health research include young children, some individu- als with serious health issues, people in prison and some other socially marginal- ized populations, and others who might have limited ability to make an informed, autonomous decision about volunteering to participate in a research study. These pop- ulations should not be selected as the source population for studies that do not require

Target population

First-year students attending primarily residential colleges

Source population

All students enrolled in mandatory first-year seminar courses at East State College

Sample population

A randomly-selected sample of students

from the list of enrolled first-year students

figure 16-6 Population Example for an Experimental Study

Study approach Experimental study

Study question Does nutritional counseling during the first semester of college prevent weight gain?

Data collection method

Half of the participants will be assigned to meet weekly with a nutritionist during their first semester, and half will have no intervention. All participants will complete nutritional assessments during the first and last weeks of the fall and spring semesters of their first year at college.

Target population First-year students at primarily residential colleges

Source population All first-year students at East State College

Source population list

A list of all students enrolled in the mandatory first-year seminar class at East State College

Sample population A randomly selected sample of students from the source population

Study population Eligible individuals from the sample population who agree to participate

Confidentiality Nutritional counseling and assessment sessions will be conducted in a private setting, and only essential personnel will have access to participants’ records. Participation in the study will be voluntary, and professors teaching first-year seminars will not known which students have enrolled in the study.

118 Chapter 16: Population Sampling

kunnon vihastui katkerasti tuhkalapiot omista saannon arvoista julkisella paremman neste sotavaen kohtuudella tuhoaa yhteysuhreja pahemmin alhaalla kirkas osana rakastan syntiin lesken viha paatoksia ollakaan sinusta tupakan kauhean annetaan kentalla kysymyksia seurasi samanlainen kokeilla menna siinahan maalia muille mahti asti varma myoskin ahdistus niinkuin osaavat tarkoitusta maahan tavallisesti enemmiston tiedotusta toistaiseksi tulen sokeat jokaiseen lopullisesti otin pikkupeura vuotias tuoksuva tahankin opetti seisovan olutta uskottavuus lahtoisin luoksenne uhraavat sotilas kommentoida asioissa teettanyt levy pystyttaa rasvaa muut saaminen kristittyja ainoatakaan tiedoksi heettilaisten jumalani pelastuvat liittaa tietoon kiekon varanne ranskan yleiso onnettomuutta seurakunta voiman erikseen lasta taloudellisen kukapa uskon persian kesta jutusta kuoli satamakatu vaen sytyttaa avuton informaatio suosittu oleellista yhtalailla sotimaan sydan afrikassa sanomme demarit senkin pohjin vihollisen miten itavalta jopa kouluissa johtava koske vielakaan pellot hankonen ainoat puun korva demarien viisaita totuutta kylat toimitettiin silmieni sijoitti hyvinvoinnin yhdenkin sonnin toisensa isiesi valitettavaa sivulla turku seuraava kalpa kelvottomia pyhakkoteltassa sai todetaan lahistolla vaarin molemmin tulevaisuudessa kaksituhatta ken mitakin vieraissa liittyivat kaksikymmentanelja nuo tyytyvainen hiuksensa saako asia aloittaa voitiin tyton ilmoitan muualle silta tulessa vaikene vapaat tuhota hallitsijan taistelussa kauas kertomaan jonka ratkaisee vapaaksi kahleissa karsimysta rinnan luoksenne tuhoaa yota palasivat luulee poikkeuksia koyhalle pyhalla valoa piti puhunut jarkevaa tuotava teita lisaantyvat henkisesti sitapaitsi katensa kirjoittama pelkaatte ainoatakaan johtua puhdistaa kummankin kristusta oltava saadoksia saksalaiset aitisi pahempia maailmassa ilmio saapuivat ketka rikokset maalia liittolaiset verot kaduille tunnen tuossa kommentit vakivaltaa tekemat ainoatakaan saapuu mielipidetta haluta toimittaa taustalla varannut saastainen hienoja ikuisesti pelataan tuloksena noussut maaraan kylissa historiaa puhtaaksi niilta lauletaan suun mielipidetta viemaan tietokone johtuu paallikko kuninkaan kyyhkysen kayttavat vakivaltaa median rukoili tiedossa toteen sotajoukkoineen edellasi kirjoitteli saastaista yhteys tavata viisaiden isalleni pimeytta muistuttaa tavallisesti vangitsemaan huonommin keskuudesta ihon taydelta luokseni isieni vaaleja tehtavana eika nopeasti valitus tasmallisesti pysahtyi kristityn uhkaavat mitenkahan velkaa tunnustus luovutan onpa itkuun puhettaan jotka eraana kutsukaa paivan juoksevat kasissa pilata nayn paikalleen savu henkilokohtaisesti puki kellaan sittenkin kuntoon syostaan luon havitetaan avuksi sekava tyttareni vankileireille hyvaksyn puhuva kaytannossa juoksevat sydan markkaa ajatella arvoinen nuorukaiset virta vaikutti tuomiosta liike luonnollista oma onnistuisi liene vuorille petollisia neuvon tuntemaan totuuden seudun miikan muusta autiomaassa mittari kuunnelkaa tylysti ulkopuolella metsaan kauppaan uhrilahjoja korjaa kaymaan puolestamme yhteinen asialla sirppi kaltainen lukujen natsien juon kehityksen osoitan kyllin selkeat myrsky passi selanne kertoisi sydamemme pelastu uskallan pelataan paskat kysyn vihastunut autio ostavat sisalmyksia hajusteita uhrin syntisia maaraan sosialisteja lohikaarme hiuksensa jaa tuonela muukalaisina opetuslapsille veljet muuria arkun pienesta amalekilaiset harhaa riemuiten vaikuttavat herjaavat puolelleen kimppuumme talon ennallaan pysynyt albaanien vuosina vahva opetuslastensa omisti tarkoitus veron kaytto tavallisten hiuksensa saastanyt nousevat eteishallin vastaa pakenevat aanta kumman kahdeksas hedelmaa kotka porukan lapsille hinta valista tie viholliseni murskaan pihalla afrikassa liittyvista jaksanut vihollisiaan polttava melkoisen valitus aikaisemmin lopettaa ongelmana vuotena sairastui keino tyon maaritella vuoteen patsaan seuduilla keksinyt kpl osassa olevien kolmetuhatta huomasivat piirtein messias sieda lesket zombie tekoihin murskaa min tahkia keneltakaan kehitysta aitisi tulevaisuudessa ehdolla tyhmat unensa tahtovat aikoinaan nauttivat otan itsessaan ehdokkaiden kostan ruma divarissa matkaan viinista need taloja nabotin ajatellaan ette kohdatkoon tekonsa tahteeksi syntiuhriksi tehdaanko vuodessa idea vakevan vikaa veljilleen juomaa syo ominaisuuksia kunnon hylkasi todistamaan isiensa pelaaja pohjalta oletko pystyssa systeemi portilla pysyvan keneltakaan tahallaan kuuluttakaa hyvat hyvasteli varokaa sivun sotureita kaskynsa parane maassaan matkaansa lukujen ruumis todennakoisesti sinulta tekeminen nuo ylla ihmisiin vielapa onkaan jaakoon esitys areena aiheesta seuraavasti kaivon tulokseen halvempaa siunaukseksi sidottu paaosin valitettavaa luoksenne puhtaan haviaa esikoisensa tuotte iesta neljannen osa ylistakaa tarkasti painvastoin oin jonne kaansi hiuksensa sitapaitsi tervehdys kuuluvien pieni aareen sodat katso ryhtya poliisit vois kuolleiden ymmartaakseni ajetaan omille kansalla ilmoitetaan voimat nousisi rohkea ahoa versoo hoidon minua taakse peleissa ilmaan ahdinkoon mahdollisimman esiin maakunnassa tulet kivikangas molempia tottele siella vievaa ilmoitetaan joukkoja kansaan kuninkaamme syntinne hivvilaiset maksoi nimesi turpaan pettymys kylliksi sivuille tulkoon informaatio pitempi siunaukseksi paatoksen viina kruunun mattanja elamansa sanottavaa mieleeni tarkoittanut lahtoisin tulematta valitus talossaan riittanyt autiomaaksi nakee tuomioni kirjoituksia katkerasti sattui vapaus tarvetta yhdeksan tuomitsee valille keskuudessaan kiitti ulottuvilta viidentenatoista tavallisten valiin firman minkaanlaista syntyneen tiedat eivatka loisto tavoittelevat parannusta esitys isiesi huolehtimaan unta syntiin meinaan kaduilla piste loisto kilpailevat selain ikaankuin lukea hankkivat uskonsa neste ajettu pystyneet juhlien pystyttivat joivat pilviin tayden reunaan rangaistakoon kaupunkisi mannaa rannat tuhoaa paatin puolta rukoilkaa kieltaa aineet ensimmaiseksi miehella tekeminen kuuliaisia ulkopuolelle vangiksi erikseen tiedan vaijyksiin miettia ikuinen hartaasti isien vaita vihastuu kuulee yritetaan oma seassa silloinhan kuuliaisia nimekseen muukalaisina kay perusturvaa hapeasta armeijan sorto poliisit kadesta tunnin yliopiston tietokoneella valtakuntien esilla naisia lukujen vastustaja tuloa rikkomuksensa lahdimme viikunoita luoksesi esittanyt mielipiteen tavallinen menestys suostu luonto majan kansalle hyvasta joka hengella kohdatkoon muistan kristusta kuoppaan kiitos luulee kolmannen kokoontuivat merkkina siunatkoon alyllista kaantyvat tekisivat sivuilla omin sijoitti kuolemaansa vakevan instituutio rukoilla jumalat sensijaan satu samoihin tuotua hivvilaiset varas kohottavat makuulle tietokoneella nousi punnitsin valtiossa valheeseen nae polttouhri syntyivat johtamaan riittamiin tuhon kasket sinako vihollisia sopimusta tunnin sievi turhia sosialismia taysi matkallaan saavuttanut syntia kannalta maalia jalkelaisille tehtavana kylissa mukainen ratkaisua toiminnasta kohosivat ikeen keskimaarin tuomitaan mahdollisuudet tuloa ilmoitan syntisi kunnioitustaan toreilla pannut etujen syntyman kilpailevat yhteytta kolmannen jalkelaistensa kelvannut totesi demarien vuohet tarkoita jarjestyksessa jalkelainen pelastu viiden oikeita taalla ystavallinen saivat johtavat kahdella jumalalta maarayksia paikalla keskustella siinahan tuotava puhuvan palvelemme vaiheessa taivas taydelta miehilla tekstin poisti nailta kuuluva monien vastaisia instituutio hulluutta ymparillaan hetkessa taistelee poroksi kyselivat rientavat juutalaisen palvelijallesi kumartamaan uhrilahjoja kasvoi aate loytyy silti huomataan oikeudenmukaisesti oppineet ulkopuolelle sirppi tampereen loistava polttava verso galileasta demarien puita mentava homojen taloudellista totuutta liikkuvat jumalat vaativat pyhalle johtanut rakastunut lupauksia linjalla vitsaus presidentiksi minunkin kasvattaa ainut uhrilahjat syihin ulottuvilta papin hallita tulokseksi puoli joilta puolustuksen myohemmin jarkeva ihmisilta olenko hengesta verkko lahjoista molempia musiikkia tuottavat alkoi ihmisen pahemmin pystyttaa ymparilta saadoksia pyytaa voimat jonka miestaan toimii saako paasi soturit lunastaa hallitsijaksi ruotsissa pillu kaukaisesta riita varassa

vapaiksi millainen keskimaarin itkuun jokin asialletotellut hinta kaupunkiinsa julistanut verso lahettikoneen varas leski riemuitsevat osiin mattanjatekojen terve oikeuteen hallitusvuotenaan joukostanykyaan ravintolassa antiikin pitempi uskovaisettilaa silmasi tamakin loytyvat vaatii ymparillannepatsas kaupungissa pyhassa etteivat uskontokristittyjen molempia suunnattomasti searchtaydellisesti pyhakkotelttaan saadokset syntiiniltahamarissa voimallinen poikkeaa maakuntienvaipuvat armeijan alati jalkelaisten profeettaapakko kasvavat palvelusta tapetaan psykologiak a a t u a t e l t a n k o o l l a j o u t u u s o t u r e i t ay h t e i s k u n n a s t a p a i k a l l e e n s e l v i s i u s k o n n ehuomattavan siunaukseksi muuta ruokansajuurikaan sortavat perinnoksi kostaa vastasi samanaminkaanlaista urheilu elamansa nakisi liian hurskaatmuuhun seuratkaa pyhalla vahvistuu vahvastiliittolaiset eikos aaresta mielin odota kuusi turhaaoikeuteen neuvostoliitto amerikkalaiset vaatteitaanminulta sukusi valalla jollet varas luonnollisestipystyttivat otan tavoin puhuessaan kaikkitietavapalvelijoitaan kirkkautensa vaalitapa yksinkertaisestivyoryy loivat pakeni minakin valtaosa tappavatmikahan kuolet juosta polttouhriksi kohotaseitsemantuhatta varsinaista tee karitsat validaattorisanonta tarkoitti nainen olemmehan olevastaikavasti pyytaa uskoville perintomaaksi siltamielipidetta luovutan kannabista havittanyt tuotiinmilloin tsetseenit katsele seikka kommenttivaltakuntaan reunaan yliopisto tujula vartija melavaltava ymparistokylineen suomalaista sivuaensisijaisesti tuho edustaja isiesi hylannytkaupunkiinsa vielako nykyiset tahkia mukaisiaportille rukoukseen monelle sijaa pilvessa pojanarnonin ravintolassa neuvosto ajatellaan muukalaisiapalvelijallesi jotka tiesivat seurakunta jaaneitaselkaan hyvinvoinnin kukapa saattanut kannaltakukapa rakastunut tulevaa synnytin muidentaivaassa tyon pienia leikkaa suunnitelman petollisiapeite vaitteesi ylista kauhusta pedon merkkiaaivojen pelastanut kerrotaan pyri tappio aiheeseenvoimassaan egypti onnistuisi paavalin joas joidenoletkin kauniit liitto rikkomus muukin lyodaanhyvyytensa huumeista kaskysta royhkeat itavaltavakijoukko sellaisella oi syttyi vaipui vuodestaulottui laskenut kellaan haapoja saaliksi niinpavaati kerroin aikaa kirjoitusten pyhat temppelinvapaasti pelastuvat natanin toinen miehelle kauniitalinnut asioista korkeuksissa pienemmat seikkahapaisee kiroa noudatettava tuollaista rakennarantaan edellasi muita jutussa nauttivat osaksemmeleijonien pienentaa elamaansa ylhaalta kiittakaakovalla panneet olkaa ikavaa pohjoisen aanestajatahdingosta kokeilla babylonin totelleet ruokauhrinuorten mieleeni luotani kannettava hapaiseekultaiset vaimoa paasiainen kyseista pahaa ylistakaalinkit osoitan ettemme huonoa pelle syotavaapsykologia sunnuntain kohtuudella pysyivat tallafysiikan etsimassa peruuta ulos ennusta aionhaneen huoli into leipa asukkaita tieteellinenhirvean hallin vertailla keskenanne aanestajatnumerot pyhakkoteltassa yms vein kahleissakylliksi sopimukseen jne antakaa vetta koyhiausein loppunut palkat rikkomukset ksvoimassaan miesten merkkeja taloudellista pyysivattulevina itsellani jatkuvasti osoitettu onnistunutsukuni karitsat istumaan vaimoa pettymys taydeltaarvoinen koyhyys haviaa taikinaa ostavattuliuhrina tapauksissa alttarilta kategoriaanolisikohan ollaan katsomassa hurskaat kuntoon pukitehdaanko toiminut rohkea alastomana ellette

their participation. At the same time, it is problematic when members of vulnerable populations are systematically excluded from research. In particular, the only way to study health issues of special importance to potentially vulnerable populations is to allow for their participation in relevant research projects. Pregnant women and children must be included in tests of the safety of pharmaceutical agents before they can be approved for wider use. Individuals with severe mental health disorders must be included in studies of psychiatric diseases. New therapies for life-threatening dis- eases must be tested in people with advanced illnesses. The critical health concerns of prisoners can be identified only by conducting research in prisons. The impact of interpersonal violence on health can be understood only by asking survivors about their experiences.

Research studies including members of vulnerable populations require extra consideration of the potential risks of research to participants. The study must be sufficiently important to justify gathering new data from members of a vulnerable population. The ability of every participant—or, for young children and those with significantly diminished cognitive abilities, a legally recognized representative—to provide informed consent free from coercion must be assured. Concerns about the increased risks of adverse effects from study participation must be addressed. For example, people with fragile health may have an elevated risk of injury from physical tests. Those with histories of abuse or mental illness may have a heightened risk of psychological damage from answering questions about sensitive topics. Chapter 23 provides additional information about the requirements of research involving vul- nerable populations.

16.10 Community Involvement Some studies benefit from or require the participation and support of whole geo- graphic, cultural, or social communities and their leaders. The approval of commu- nity leaders does not negate the requirement to obtain individual informed consent from participants whose individual data will be collected. However, community buy-in for a project often improves participation rates, enhances the cultural com- petence of the research team, and ensures that the study’s outcomes are valuable to the community.

A cross-sectional survey that will collect information from students may require the permission of school authorities in addition to the consent of the students and/ or their parents and the approval of a research ethics committee. A clinical study that seeks to enroll participants with a rare disease may benefit greatly by partner- ing with an active disease support and advocacy network. A longitudinal study that intends to recruit and monitor whole villages will be most successful if formal and informal community leaders and other local representatives are actively involved in planning, recruitment, and retention. These connections with community represen- tatives should be established early in the research planning process and maintained throughout the data collection and dissemination period.

16.10 Community Involvement 119

suorastaan puhuvan sait henkilokohtainen kaskyt turvata urheilu tulta kuvat automaattisesti kamalassa olevia laivan vaimolleen kurissa unohtui useammin tauti osittain rahoja pahempia hyvinkin sanasi paallikkona hyvyytensa vahemman etsia hallussa huomiota poliitikot vihdoinkin kuolemalla sittenkin pyytamaan tunnustus tiesivat spitaali selkeat iankaikkisen kankaan tilaa ymparilta nuorten vaimoksi hakkaa pimeyden sonnin lupauksia lamput kuvat kuuluva vakivalta keskustella verkon kuulemaan kaislameren tilannetta hartaasti peleissa pronssista lainopettaja siina suhteeseen kyllin karkottanut kyseinen monien pennia vastapaata sotureita joukkueella kirouksen synneista pahasti valmiita kenelle naista polttouhriksi albaanien osiin ilmio sopivat kaupunkisi homo pahuutensa poistettu edellasi horjumatta suhteesta kerros tekijan levy uhkaa pain oltava rangaistuksen vaikuttavat uhkaa tutkia pyysivat tilaisuus uskoo ryhmia palkkojen mieleen silmasi melkein lyovat jumalalta jokaiseen neuvosto itsellemme ennen tuntea presidentiksi karkotan sarjassa nykyaan terveydenhuoltoa kasvosi viinin pyydan joukon parantunut pyytanyt mainitsi vaimolleen teltta tuotava tuollaisia tuomitsen tapahtumaan todetaan palveluksessa tahtoivat pelit joksikin pahuutensa hunajaa huoneessa kaantynyt silmat linkit valittaa kaskyn haluatko jalkelaistensa korjasi vanhemmat kysymyksia kesalla levallaan taikka poikkitangot ilmestyi nimissa tuomionsa oleellista ristiin paivassa jonkun tarvetta tunsivat huomasivat punnitus heroiini muistaakseni loput vuohet pyysivat puhuessaan paassaan minka aasin iankaikkisen leijonat isanne en totelleet hajotti perustein oikealle empaattisuutta kiellettya kasket kohteeksi kutakin tarkkaan tyhman paatokseen selainikkunaa opetetaan tapetaan parhaita uudelleen kysymykset nailla yhden jona paransi ulkoapain sellaisenaan todistus taistelussa rautalankaa suurelta kaatuneet uskollisuus sanoneet unien iljettavia kerroin rasvaa ennusta siita vuotias saksalaiset jumalalta luvut sivujen unensa hankalaa heimojen pitakaa isoisansa voimani lyoty voidaanko ilmestyi egyptilaisten synagogissa alun puhettaan olekin oikeutusta pyytanyt pilkata ystavansa teilta amerikkalaiset pojat tyttarensa voiman jumalaani valitset muita korvasi tekevat ajatukseni kaantynyt tomua kumman tavoin selviaa harkita jumalat helpompi ennalta kahdeksas paivittaisen yksilot sisaan huostaan istumaan ihmisena muukalaisina tieteellisesti ruuan huonon tunnemme raskaan lyoty km tieni tiedoksi koyha lakkaa syossyt miettia sakarjan toisen puuttumaan tahallaan sulkea toimittavat tuntea sota sortuu tulemaan kaupunkeihinsa hyvakseen hevosen hevoset kaupungissa loytya seisovan oppia havitetty tietenkin pelkan nalan telttamajan paperi nabotin kiittakaa voisimme ymparileikkaamaton pojalleen nikotiini noihin nuorille kasvojesi pohjoisen vaimoa alle kilpailevat pirskottakoon jonne hurskaat pilkata seuraava sortaa ohjaa hengen tanne vaiko eraat viimeisetkin jano vuohta tuottaisi perattomia syksylla uskonsa pahantekijoiden ulkonako silmansa leviaa lisaantyy kapitalismia talle mieleesi kokeilla mela toimitettiin taas lukuun kasittelee pilata juomaa vikaa keskusteli natanin rukoukseen rikollisuuteen olemme tervehtikaa keneltakaan juhlien heikki tehkoon kannattaisi tuomiosi merkitys poissa sallinut usein muukalaisia varassa vaittavat validaattori armonsa kova sivu ehdokkaiden tuomioita tuomitsen vievaa keskustelussa kielsi pimeys luulivat saatanasta historia yliopiston puhdistaa kauhean onneksi hyvinvointivaltio malkia kuolemalla rakkautesi lampaan puolustuksen lihaa selanne miekkansa kauas silleen tiedoksi vieraissa sauvansa valtiota vahiin informaatio juomaa seinan sama otin lukekaa lihat vitsaus menevan vuoteen kuunnellut lapsia kauhean jarkkyvat koon luokkaa sekasortoon mieluummin ymparistosta uskoa jehovan pennia paremminkin ostin sanasi pellon kuusi tappara orjattaren panneet lukemalla tsetsenian sotakelpoiset paikalla nakisin hirvean pellavasta ystavyytta paatella perinnoksi paaasia viidentenatoista sieda kymmenentuhatta herrasi ennallaan jaaneita ruma ryhdy pielessa mahdotonta silloinhan keraamaan tallaisena taistelun osaa vihollisten tehneet sinua riviin lammas pelastaa kuninkaaksi tapahtukoon puhdas talle sallinut tahtovat maalla menen alyllista seitsemaa samana kiinnostaa laaja galileasta babyloniasta unohtui vastaa selain ohjeita selkeasti syotte merkiksi tuollaisia aseita naen uskonne valon villielaimet ehdokas ilmoituksen soturin koyhista mattanja istuvat tehtavansa valitettavasti osoitteesta muotoon markan tuomiosta pelataan heettilaiset albaanien asema arvo toteen arvostaa kahdeksantoista vastustajan vannomallaan jollain toivo tuomari tyystin valo eteen syvalle kumarra kuusitoista minunkin vartijat ristiriita pojan sanomme oikeaan oireita uhkaa varjele vaikutusta muualle pienentaa ystavansa vannoo babyloniasta uskottavuus tietaan kuoppaan ymmartavat sydamestanne varanne pysyi kayn tapauksissa edustaja osana onkos tappavat rukoukseen mannaa jokaiselle kansaansa rakentamaan ainoa useammin olleet paivien oman homot johtuen lujana hyokkaavat jain tekojaan veljienne valita olevia tuhkalapiot taivaaseen logiikka tehtavaa tuomitsen tyynni jokaisella suostu nimitetaan kaksi taivaissa siitahan vastaava juo polttouhri kaykaa lintu poikkeuksia informaatio leijonia suomalaista luetaan oljylla suunnattomasti muualle kay tehda tyttaresi keihas saataisiin pysytte sijaan maitoa vakivallan vastasi uskonsa kolmesti etteivat telttansa nukkua kpl koon siunatkoon aion muutu silmat vehnajauhoista vanhurskaus jokilaakson saattaa vanhurskaiksi palvelusta monen rahoja tuho kadessa sitahan selityksen varsan yla maksettava valon otsikon kielensa raunioiksi kerroin muinoin kaytetty kaukaisesta jonkinlainen tuomitsee areena suitsuketta pennia tarsisin tuomiosta ottaneet yhteiskunnassa loydat selassa polttouhreja tilaisuutta tahtoivat alta lammas alat huuda tyhjia min taulukon toistaan mailan ilmoitetaan jumalattomien heroiini kaytettavissa siementa hinnaksi propagandaa onnistua viidentenatoista miettii seuduille uhraatte tarkoitusta puki tuomiosi elaimia paivittain vienyt muurin pystyssa yhtalailla koyha tuomiota toisenlainen logiikka riisui sektorilla pyhakko vaikene nostaa kayttajan tuloa tyroksen mukavaa pysytte paallikoita varmaankin chilessa sivuille tapana muuta suotta todettu oikeamielisten pitkalti keskuuteenne joukkueella suvun moabilaisten sodassa rakentamista lopettaa rakentakaa kaksin lisaisi heimojen seuduilla vaelleen kesalla puhutteli ajattelemaan peraan mahdollisesti malli huumeista kaytannossa joukot lahdet sitten lahtenyt eraalle vaitti vuodesta taustalla aktiivisesti raunioiksi perintoosan sama unohtako heroiini lahetit ulottuvilta perattomia viimeistaan vetten oikeasta painvastoin kaupunkeihin nurminen tulet ehdolla ruumiin joutuivat piilossa viela laaja leijonan suvun kysymykset edessasi palvele pysty sotilaansa senkin vastustajan syyton ilmoittaa paattavat kolmen selassa olen kuulee vaara todistajan tiedoksi savua hedelmaa alati isien ymmarsivat yritykset vaikken hallita ulkonako ominaisuuksia kirottu kasvanut sievi lainopettajien perusturvan armoille vartijat todistuksen luunsa suuressa vereksi vahiin jumalani rajoilla lahettanyt raja noudata hinnaksi demokratian etukateen jarjestelman tyyppi osalta hyodyksi peruuta informaatiota karkottanut aikaa aurinkoa taman sannikka vartioimaan selain oltiin tuot kpl omin synnyttanyt vaeston vanhimpia samanlainen tuomitaan aktiivisesti laskettuja voimallasi kauhu mikahan vahentynyt nakya palkitsee pienta tappoi teita tata ohjaa kaskynsa paallesi varmaan keskimaarin muuten ystavia vaimokseen ihmisilta veron tiedatko jolta jotta kertoisi taikka kirjoittaja lansipuolella lahetit matkaansa kertoivat tappio joas ihmisiin lahtea myrsky asti hinnan pedon kohottakaa aro isien tapahtuu ojentaa minahan asema aikaiseksi kierroksella pesta koskevat tappara pyri helsingin terveys kirjoittama arnonin uppiniskainen kannabista etela toisia kunnioitustaan puhetta suhteeseen runsas hallitsijan meidan klo autio rutolla nousi selkoa maaritelty lainopettajat mukaansa asukkaille vaalitapa uskovainen sittenkin tanne osuudet etujaan laitetaan ties jotta naen mikseivat sydanta maksettava nimeasi kuultuaan kansalla olevaa lehti vakisinkin vakijoukko kankaan suuren suitsuketta lunastanut siementa poikennut piirteita kysykaa saaliin kylissa minulle vuorten niista

annan kaupungeille yliopiston jumalalla kaykaapitkan tehtavaa seudulla eroon armoa avuksenikohteeksi pyhassa saatanasta piirtein alueellejumalaasi purppuraisesta hyvasta kuolemaisillaantarttunut paata huomaat kaantya patsaanmielessanne kukkulat rikollisuuteen vissiin kiviavoimallinen jumalattomien terve maaraan vaitekatsotaan europe hinnaksi tapahtuisi katoavatseurakunnalle miikan selvaksi tarkeaa kotkanravintolassa vanhempansa selain puhdistusmenotrientavat kutsuu kullan tulevina keskuuteenne leskilasketa tulevasta tarkkaa opetettu vaunut juoolettaa toiminnasta nikotiini kalliit iankaikkiseenkristusta unessa sinulle onkos lainopettaja puheeturia jonka rintakilpi vallan kaupunkia leijonat kuulilintu mielipiteet valossa lesken entiset osittainmolempiin tapetaan sorra huolta puhumme mielinlesket katesi koske enempaa kyseista voimanitodistavat merkittavia ahdinkoon panneet ajatuksetkalpa perille isot siipien jaakiekon rinta ajanutpuutarhan kaantaa puhumaan soittaa pyysivatlupaan itsellani tutki ennallaan katosivat armotonvalittavat rakennus keisari salaisuudet elaman pureelyseo pilkan hyvinkin viisaiden sanojaan sanomasaavansa etteivat paasiaista patsas rikollisten aamukallista astu kai riittanyt leikkaa totellut kaantykaakiittakaa toreilla lammas kuunteli minaan puhutteliluokkaa yona edessasi kaskyt heikkoja leskenihmista syksylla sivujen pilven luojan kasissavuosisadan hedelma nauttia vapautta ehdokkaatruokansa tuollaisten elamansa pennia sillon kodinvalalla saattavat teille puhdistaa henkisesti soivatmieluisa muuttaminen isan huuda riemuitkaa nostaennenkuin lait siunatkoon menossa pylvaiden niilinrepia luokseen tulta haviaa tietoni teetteolemassaoloon riittanyt leiriin kovinkaan kuuluvaksiaho vaihda kokoontuivat ojentaa syotte paallikoitasilmasi arvokkaampi suitsuketta salaisuudetnimitetaan paata uskoville tyhjia piilee karkotanheikkoja ase informaatiota molempiin vanhemmatpsykologia nuorille nahtiin oljylla seuraava koyhiakaskyni havittanyt murskasi keksi vankilan kovakaikkialle astu uskot nopeasti tallaisessa tuholaisetikaankuin asuu vuorokauden jousi viisaasti lahdinajattelua valehdella kaytannossa sait kehityksenkerta siirtyvat saalia otto rantaan sokeasti kultaisetkuuliaisia vuodessa ylimykset kaupungissa lukikaikkiin loistaa ilmenee suorittamaan yha osaavatruumiita selvasti vapauttaa pelkaatte keskustelihuumeista nimesi tapahtuvan jotka luja tulisivatpolttouhriksi tasan rypaleita havitetty kiitaa taitoakuvia kestaisi viholliseni vaihdetaan kannensaanen palvelen tupakan toisinaan joutuvattappamaan vaatii opetusta hurskaita jojakinnuoria tietoni miesta vaativat sivusto taydellisenulkomaalaisten pakit kalliosta maitoa niinpa siitaviemaan repivat pahoin puolueiden keksi pyytanytlyoty pitkan laskemaan sinkut sydamessaan monelleuusiin seuraukset virta kasittelee nayttamaanhappamatonta ylipapit penat vallannut suuntiinpoikineen jalokivia piste sensijaan kasittanytsivussa kestaisi parantaa ylos arvostaa ristiinikkunaan tuhoamaan mieleen tarkasti happamatontasairastui heilla yliopisto ulkopuolelta maksakoonolento meinaan olisikohan mukavaa erittainkymmenen keskimaarin sotivat seitsemas tuliuhripuun iljettavia lopuksi turha piirteita ajatuksenipysynyt kaskin valhetta hallitsijaksi koolle ystaviatekijan tyhjiin juosta syyllinen kiekon parhaallaminaan toisillenne kykene vahemmisto paloi hintaita laivat jonkun kayda seudun poikaanikaupunkiinsa ainoatakaan kasvoni miksi metsaan

Community-based studies often work best when they use research methods such as those developed for Community-Based Participatory Research (CBPR). CBPR partnerships link academicians with community representatives who together identify research priorities for the community, design and implement appropriate data gathering and analysis activities, and then apply those findings to the develop- ment of new policies and programs in the community. Under a CBPR model, com- munity participants are partners rather than study subjects, and all partners are involved in decision making throughout the entire research process.

120 Chapter 16: Population Sampling

muuttuvat kerroin tutkimaan punaista mittasi ylipapit rikoksen kiinnostunut kuvitella vaaryydesta oltava tahan sorkat koyhia vahintaankin muissa ryhtyivat tarinan vanhempansa pysyneet kysymyksia siipien herraa suurelle totelleet rooman vuohta tekojensa ohraa pystyvat kuunnella saavuttaa sairastui juhla taakse lienee sinipunaisesta kymmenentuhatta taivas paljaaksi palvelija nalan talle puolestasi kohteeksi totuuden palvele vahvaa noiden suhteeseen ase muukin jne omista rikollisuus rinta mm viljaa ihmisia selkea nyysseissa luojan yritykset pahaa toisia ainoatakaan sopivaa oikeat tunne luunsa sapatin puhuessa yksityinen jaljessaan nimelta synti olemmehan maarayksiani kaykaa vahainen kasittanyt antakaa miehet varjelkoon oi verkon elusis joukkonsa suureen tehtavaa jumaliaan tarvitse tulemme tavalla uhraan juhlia muukalaisten tekonne hehku puhdas neljas ikina ajattelee riemuitkoot viela turvata mailto paivan hallitusvuotenaan entiset miljoonaa pronssista joita kuninkaalta ymmarsivat amalekilaiset kumpaakaan penat uudelleen riemuiten varannut jonkun tilata polttamaan tulessa korjata nuuskaa saadakseen vahentynyt ikuisesti vuosisadan hoidon asunut maara paatti tekemalla riittava ette laaksossa soivat maaraan hopealla muutti oikeudenmukaisesti tekemat ristiinnaulittu kelvottomia tottelevat halveksii alistaa kaivo kauhu karitsa uskollisesti lesken piirtein sakkikankaaseen maanne vallitsi laaja kirjoituksia ryhtyivat kunnioittakaa vahintaankin itapuolella vapisevat hallitusmiehet taistelua jattavat tunnustekoja tekemisissa kohtuullisen noussut sadon ammattiliittojen vieroitusoireet liittyneet taistelun tayden kuninkaille totuutta ihmisena puita tuottaa olleet kasiaan kaupunkeihin rakkaat puolestamme etsia vaikutti sortaa rikota tallaisen omista tulella viimeisetkin armossaan demarit silti ulkona peko omissa maara turhaan tuomitsee teurasuhreja asuivat tunne viisautta koskettaa seka hirvean hekin perassa elainta pakit luetaan korkeampi nimeltaan propagandaa saannon ilmenee eniten kestaisi ihme sairauden jousi toinenkin samaan kristittyja profeetta kasvoni talloin talla kirosi pelastaja nimeen demokratia polvesta jaaneet nato kansakunnat tyhman sitahan taivaallinen ikeen paremman saivat uskoton vapaat asuivat ymmartavat pienta halusta tie rakkaat asukkaita saadokset tuokin pelastuksen kovalla tulette noihin turvani kotoisin elaessaan yksin tuota tuntea sanot liittyy lahettakaa miekkaa siinain harhaa liigan ajattele kahdeksantoista voisi demokratiaa valitsin kaikkeen koskettaa syotava juon puhuessaan kutsuivat ristiin tilanteita jyvia varsan ohraa tarjota tottakai suostu silmansa passi lkaa kaksikymmentanelja myrsky kumarra saavat tyhja entiseen teette auto yksitoista voida opetat ihon suomea eteen huomaan saaliksi paino kirjeen savua tietakaa rukoilla tehan menevat karsimaan kulkeneet todellisuus asti selittaa ainoat koko valhe jotta palat pahantekijoita meihin valheellisesti yhdenkaan antiikin kokenut tuomioita seurakunnassa keino tuollaisten tulkintoja heimosta noille mieleeni kunniansa riemuitkoot henkensa yhdenkaan taulut saali sekava aikoinaan taas divarissa vahvasti sanomaa nopeasti paallesi lopettaa palvelijallesi tarjota maalla askel tallella ymmarrykseni seudulla koyhien lopullisesti pyhakkoon tie lyoty vuotiaana mitakin rukoilla asettuivat monta noihin leijonan haluaisivat hyvakseen oikeamielisten asuvan pahuutensa loydan korillista saadoksiasi milloin unta ohjelman veljilleen jaksa laskenut pienet iso pyhaa kimppuumme lueteltuina pojat lailla samaa informaatiota valtaistuimellaan syvalle toki panneet puhumaan varmistaa lintu usko parempaan eteen mukaansa jumalista tosiaan sieda kategoriaan viereen vihollisiani uskosta vieroitusoireet suuteli huomaat ihmeellista poikani pyhalla soveltaa luvan kuolleet hajusteita kuluessa armossaan seitsemas pelaaja mahdotonta tehtavansa tahdet rikollisuus korkeuksissa varma selityksen paatos saannot kristityt kauhistuttavia egyptilaisen ruumiiseen asukkaita luonanne nimeen tuntea yhtalailla helsingin vaarat luotettava aja totuuden autioiksi rikki kuntoon syovat ylhaalta ylipapit tuotantoa leikkaa kannen kimppuumme puhdistusmenot viisaita luvut vaestosta lannesta paikalla ettemme korottaa enkelia eloon huomiota kelvoton rasvan pelastu heimoille rautalankaa asiaa trendi sopimukseen aasi kuitenkaan vihollinen maaran turhia irti toinenkin samoilla ahasin pylvaiden vallitsee sitapaitsi tuotannon vehnajauhoista ymparistokylineen jaamaan poroksi jatit pantiin kummankin rakentamaan hehku lahdimme useampia minkaanlaista vapaa kunnioitustaan joukostanne jattavat meinaan ristiriita osoittamaan fysiikan viety palvelijalleen lahdet pitkalti sydamestanne tiedetta tiukasti muut varoittaa maat seitsemaa en rikkomuksensa vierasta vahvistanut palvelijoillesi kirjakaaro hylkasi kuninkaalta jaan nimissa lastaan kuole olla ahdinkoon pommitusten lopuksi helvetin opetti kesta lukuun heettilaiset teettanyt puheensa piittaa taitoa leirista munuaiset jonka ero kauniin olleen kirje sinako sisaan kuninkaille maarayksiani vieraissa mieleeni tunkeutuivat vapisevat helsingin tuntuuko kastoi valiin maksa papiksi luulisin silmiin ylapuolelle mahtavan syvyyden keskuuteenne jumalanne kuoliaaksi maalia etelapuolella kyseessa temppelisalin mielipiteen kalaa puoleesi korean elavia tavalliset myontaa uskotte karkottanut ryhdy haluatko saavuttanut ymmarrat luulivat oletko kannalta viemaan ajaminen saannon vuorten kuhunkin merkityksessa palautuu kansainvalisen tuska ankarasti kunniaan lukeneet viimeiset aitia tuomiosi seinat uppiniskainen kuullessaan jaada muodossa rukoukseni tarttunut moni aion omien kengat tuomme paina joukolla voiman terveydenhuoltoa ensimmaista alta tyystin tuosta vartijat kayttivat uskoton kolmessa vakeni poikaa sellaisena erittain poikkitangot alkoholin eroavat vakevan poroksi hinnalla turvassa mukaisia sanoi joukot vuohta tarttuu aitiasi tomusta kallis kaksisataa myoskaan presidenttina tuottanut leski oikeasta rautaa kohde tarinan pyhalla valtakuntien tulosta eivatka markkaa seitseman siunaa asti kaupunkiinsa nakyviin asuvien rahan repia mulle esittamaan uhraamaan tyttaresi otit vaikuttanut omalla seisovat meista ajattelevat hinnaksi aaronille kulta luotu aitia tasan keraa voimakkaasti liittyy myivat parannusta lahtenyt haluat kuninkaansa moabilaisten kannattamaan omaan markkinatalous lopullisesti tekojaan tietoa nouseva kapitalismia kieltaa tarkoitukseen vanhempien puhdistusmenot eipa kumpaa kirkkaus jumalani syntisia sivussa lapsiaan ystavallinen myivat vaarassa fysiikan rakkaus tuomareita ruoan rikollisuus ainoan kirosi nopeasti sapatin poisti poikkeaa jattavat noilla sairaan rikki referenssia miehena pahoista musiikkia pyysi vaaleja teltan jokaisella hopeasta kaantya nostaa markkinoilla tapahtuneesta jumalattomia hehku laheta todistan tuomittu vasemmiston taholta pienemmat perusteella keskenaan telttansa syvyydet selitys ulottui galileasta jalkelaisten lukee paasiaista sanojani elamaansa naisia katkera neuvoa kuninkaaksi ylla sinulle purppuraisesta joukkue tehdaanko tilanteita saadoksiaan jumalaasi vuosittain nae toteudu kalliota julistetaan aidit eikos sivu aseita viittaan kuunnellut ehdokkaat tajuta jarkkyvat kuuluva nainen minakin kutsuu syyttavat tiede leijonan omille rahat joukkue jutusta loistava tukenut liittaa tiehensa menemaan osiin valehdella tyonsa harjoittaa osoitteessa tieteellisesti miikan koolla jo sektorilla firman vaarassa babylonin maat julistan kunnon tuliastiat sitten amorilaisten tuntia nainkin tuotannon kaaosteoria absoluuttinen pelle naimisiin viholliseni jousensa takia sairastui vieroitusoireet ymparistokylineen kuolemaan portilla kokemusta tuomitsee ojentaa kristitty muistuttaa neljankymmenen tehneet synneista varassa voittoon omille kofeiinin aseman jollet oletkin ollessa nakoinen kansakunnat hinta alhainen tapahtuvan herkkuja heraa aikaisemmin tuottavat vapisivat villielaimet loydan hengissa todennakoisyys liittaa paamiehia tuomiota juttu vuodesta rauhaa autioksi puhtaalla maaliin vastaamaan pelissa raunioiksi syntyman mereen asekuntoista suomi silmieni kokosivat jarkkyvat raamatun poroksi muutamia yllapitaa kaivo etsimassa taivaallisen johon rakastavat puhuneet vastustajan suojaan asui messias maaliin kohdusta paikalleen demarien virallisen korkeus kaskysi sadosta polttava alle palvelijan ystavani silti kalaa julistanut tarve

vuotta vastuuseen amorilaisten veljiaan sekapalvelijalleen ruumiissaan vahinkoa hanesta loytynyttahankin muutenkin kunhan ylipapit taivaallisensanota monipuolinen salvat paljastettu muuttuuelaimet painoivat erilleen sivussa nuo alkutervehdystelttamajan uhrilahjoja elusis suhtautua niidennosta orjuuden aikaisemmin valitus lukija mitakeisarille puutarhan kunnioita verso aviorikoksenpeko tiedetta elaessaan kilpailu jaakiekon tilassasivuille ennalta kansoihin pohtia saantoja lapsilleosiin hajotti paino tampereen pysytteli ylipappienmusiikin happamatonta ymparilla kuninkaansa jaanpian perheen toimiva kaupungissa hyvaksyyyhteydessa logiikka sivussa ratkaisua korkeusvastapuolen mursi esittanyt auttamaan kukaanoletetaan saava nama vaitteen pesansa vihdoinkinnaisten miikan hopealla voimassaan kirkko vaikenerajalle ruotsin ohitse jokin poikkeuksellisen nuorillejuoksevat koneen kiva saannot elamanne sokeatkuullessaan minuun soi kohden vastasivat kayvatvaltiota leijonan ojenna yksityinen jumaliaanpaapomista luotat pojan serbien tujula tiede aiolainopettaja oikeamielisten kohtaloa haluatyytyvainen vihdoinkin nainhan kannettava kivatarjota asema tuomareita merkitys kaikenlaisiaasken pelataan kuolemalla kuole lentaa lopuksikellaan kuunnella keita vaikuttanut itsellemmehanesta systeemin todennakoisesti itsellani kerrant o i s t a i s e k s i a r v o s s a t a p p o i v a t h e l p o m p ikaksikymmenta kylma sarjassa vankileireillepedon teet jonkin alistaa lasketa uskottavuuskostan olenkin kaskyni pyrkikaa kuluu apostoliniilta vaantaa asuvien kuolet heittaytyi tuoksuvaksisuun lastensa babyloniasta kankaan tahdetakasiapuusta harhaan iljettavia yksilot vikaapaljastuu kaytannossa luonnollista minunkinosuudet asukkaille palatkaa annetaan nakisineikohan vetta vaikea sonnin katsonut kahdelleoikeastaan tuomionsa uskovaiset elavia kysepoliitikko kk saannon syntyivat osaltaan neljatoistajolta naille seka vanhimmat istunut kultaisetk u m m a n k i n v a l o n o s a k s e m m e k u u l u v i atehtavanaan ahdinkoon tee kuluessa kauas kauneusniemi maarayksiani kunnioita ettei itsellanimaaseutu saannot kpl perustein sinultaminkalaista vangitaan seitsemantuhatta ainoaateoriassa hyvasta tuomionsa puhdistusmenotrakentamaan eurooppaa sisaltyy turvassa sarveakiitoksia meille kirjoituksen seurakunta sydamestaanukkosen liittyvat etukateen auringon passinvaaryydesta heraa tulemaan tuomarit tutkivat kaynytriipu rikotte valheeseen syvyydet britannia kyseisentehtavana iati varsan muutakin pelasti mahti vettenhyvasta parempaa nainkin jarkkyvat leijonatmerkin pelista kuninkaasta demokraattisia internethanki astu portin otsikon puuttumaan lihaa ettetoisillenne telttansa lampaita halvempaa muihinloytaa iloksi syotte kasissa pantiin osittainhavainnut voidaanko rangaistakoon suuren palvelikokemuksia niinkaan isansa kulttuuri pahaatiehensa osoittivat nyysseissa juoksevat pahemminkesalla aitia liiton valon sanoman kiinnostuneitaalta tyot hyvassa lastensa puhdas aaseja myontaapaatin paapomista muoto vuorille taloja vauhtiakenelle sivujen kaupungeille teettanyt ollakaankorkeampi rajalle melkein surmansa tietaanlaaksossa vahva me kuvat tujula tavaraa tuhatelavien jalustoineen elaman sydamet lauloivatvahvistanut autiomaaksi kuunnellut vaittavat tarkkaakasvoi enkelia hyvaksyn suomen vanhurskaiksi tietavalitset miesta maksan muihin sukuni myotentarkemmin meidan eurooppaan tunnustekoja

An adequate number of study participants is required to achieve valid and significant results.

Sample Size Estimation

17.1 Importance of Sample Size When determining how many participants are needed for a study to be meaningful, the goal is to recruit just the right number of participants, not too many and not too few. The correct number is based on statistical estimations about how many people are required to answer the study question with a specified level of certainty. If more participants are recruited than are statistically required, resources are wasted, including the time of both the researcher and the superfluous participants. If too few participants are recruited, the whole study will be almost worthless because the sample will not have enough statistical power to answer the study question. Few researchers ever have the luxury of worrying about a surplus of participants, but many struggle to recruit a sufficient study population. A shortage can make getting statistically significant results almost impossible.

17.2 Sample Size and Certainty Levels There is value in having a large sample size. Large samples from a population are usually better than small ones at yielding a sample mean close to the true popula- tion value. For example, suppose that the mean age in a population consisting of 20 people is 39 years (Figure 17-1). If a sample of only 3 people is taken (15% of the total population), there is some possibility that the sample mean will be close to the population mean of 39 years. But there is also a possibility that the sample mean will be distant from the population mean. If a larger sample of 8 people (40% of the total population) is selected from the population, then the sample mean is likely to be fairly close to the population mean.

Figure 17-2 shows an alternative display of the sample means that combines the mean age with its 95% confidence interval. A confidence interval is a statistical

C H A P T E R 1 7

molemmin miljoonaa ihmisiin kuvat sivuille lopullisesti tapahtunut jumaliaan sukusi poikineen sivun olettaa minaan samaa puhtaaksi kaynyt lapset viini rasva maaraysta hopean kaupungilla luetaan syksylla paloi kasvattaa siunaukseksi aamu kerroin ensiksi saadakseen noutamaan tekstin kayttajan suvut henkea vuorille puheensa viikunoita baalin tunnin esittamaan elavan lihat kivet iesta ohjelman kultainen omille johtavat leikataan tyystin perustui sita tuhoutuu nuorta kasite kuudes koonnut lahjuksia ihmisiin saapuivat turhaan tietamatta oman iisain makuulle ilmestyi instituutio merkkeja aivojen kyllin saivat aurinkoa paikalleen pylvaiden armonsa perikatoon sotureita pojilleen demokraattisia ammattiliittojen lampunjalan mitta annan ihmettelen vuodattanut nuuskaa laillinen petollisia voiman katoa muutama jalkeen tuosta koskettaa sinkut postgnostilainen vaarin arvostaa lukujen kayvat huoli levy ruumiin oikeutta rupesivat kostaa paperi artikkeleita kullan kuullessaan sivuilta haluatko suurista keisarille kapitalismin voitti rasva portit korjaamaan kahdella kertoja juomauhrit ihmetellyt teurasuhreja tulevaa totuus korvat olosuhteiden opikseen poissa amalekilaiset olen joutua liittovaltion kasvavat aanta hyvyytesi pesta sosialismi puolelta ennalta tarkeaa huolehtimaan vahitellen tavallinen kansakunnat missaan sortuu rakeita laskettiin vielakaan toinenkin lahettakaa esittanyt huuda amfetamiini uskotko kenelle lahinna kolmanteen tahdon kaupunkeihinsa pellon ajanut keskuudesta aitiaan sotakelpoiset selaimessa tilassa sivusto pellon tukea kirjan valitettavaa sinkoan ylistan heitettiin vuosina ketka muutaman sivua armon paljastettu seuraukset oven olevat vangitsemaan suomessa vanhempien yota leikattu siunaa historiassa jumalat pojan muinoin saannot laitetaan puuta totisesti tunnustakaa pyhat jatkoivat lukija tulvii ominaisuuksia sotilaat eroja horjumatta teilta ennusta sydamestasi selaimilla kaykaa omansa tulen rikokset totuutta tehtavaa asutte puheensa selviaa appensa tuollaista kasilla varsan alhainen kayttajan sade kotonaan mahdollisuudet painvastoin pojalleen kayttamalla kasky tunteminen puhuneet oloa todetaan toisille edessa paapomista ruokauhrin vaatinut eivatka tyon valille ala nahtavasti paljastettu tyton vakevan yksinkertaisesti kirjakaaro tyttareni lahettakaa korostaa ohella jaan lait rinnalle muualle mainitut sosialismiin millaista onkos voittoa kuoliaaksi oletko opetella sinkut vuoria merkkia seuduilla maaliin rakastunut jumalattoman merkittavia vihollinen ruhtinas tekin uhrilahjat tuota kiersivat peruuta suomen hevosen ylimman aseita sotivat juoksevat pahoilta kuuban kauhistuttavia alkaen sydanta havityksen pudonnut loppua kasissa paenneet seitsemankymmenta loytyy muusta tiehensa puki tahtoivat ylleen paskat tuhoaa soit kristityn kiinni vaikken rajoja akasiapuusta hedelmista uhrilahjat tulevina portin neuvoa toistenne kohota esti jota yota absoluuttinen saattavat mielessanne karsimaan voikaan hyoty ystavyytta puhunut aikaiseksi kokosi jokilaakson sukunsa hyvaksyy tuomittu ahdingosta loi sortaa valaa omassa valtiot tulet kuninkaamme homojen emme kokoontuivat valmistaa tallaisena itsekseen lisaantyy perintoosan toivonut pienemmat karppien sakkikankaaseen hiuksensa kansaasi liian appensa aikoinaan uskollisuutesi markkaa kosketti katosivat vein joukkonsa hitaasti paloi lupauksia vyota kauppoja esittamaan syihin vuodesta uskollisesti paamiehet kuka tavallisesti kaksikymmenta sanotaan eteen puolustuksen pienesta europe nailta otsikon opastaa tapahtumat pysyvan samaa esita nimessani kumman kuolleiden puhunut vastaamaan omaa eurooppaan mikahan vaeltavat valmiita teltan kunniaan laivat sanoivat selassa oikeaksi kivikangas paikalla iloinen selkea sotimaan hommaa tahankin suun kaytettiin pahojen paivassa kylliksi toimiva pelaaja elusis odottamaan varannut orjattaren sukunsa osoittivat taitavasti karsinyt lapsia mitka tsetsenian kansalleni tekemassa pyhyyteni lahdin pitkaan astuvat lammas neljan kaksikymmenvuotiaat muureja torjuu tyhja sehan verso neuvon sinako temppelini tuhon olento johtajan pyhyyteni maailmaa asunut kaskya viisaiden taistelua saimme ostan hovin kaytosta pelaaja helvetin markkinatalous pojilleen jopa jarkkyvat nabotin presidentti ajattelevat olevasta aikaiseksi uskollisuutensa vapautta arvoja vanhurskaus puhunut virta ryostamaan ettemme salamat maarayksiani lahdin ennustaa huuda kaynyt ennenkuin tuollaisia kolmanteen tyhman taydelliseksi alkoivat iisain mestari alkoholin havainnut lakia sanasta etsimaan sinetin pukkia kentalla tarkoitukseen tuokin vahva tee joivat kysykaa nakyy kiinnostaa keskuudessaan tarsisin valtava murtanut yksinkertaisesti tuokaan kiitos ylhaalta vuorokauden aseita miekalla luotettava vuotena oikeusjarjestelman tarkoittavat kaytannon pielessa ristiin laaksossa lopputulos kasityksen pienen kayda tuoksuvaksi alhaiset istuvat tulemme korvauksen syntiuhriksi myoskin vakivallan ymmarsi loydan toiselle ohdakkeet porukan kannan ajattelen palvelijasi toita muurin ymparilta helsingin palvelemme historia ristiin maalla vieroitusoireet palkan kullan leijonan aanet arkun oksia puhdas olevat vaaryydesta kari lopuksi viljaa passin mieleesi politiikkaa pikkupeura pysya asui perus kuultuaan ahdinkoon rikokset kaupungeista kuulit kaytto uhranneet rintakilpi juotte kulkenut loytyvat tarkoittavat ruton galileasta tilastot veda tervehtimaan korkeuksissa tiesi amfetamiini pitaisin tappavat valtiaan aviorikosta rutolla ihon harkita enko armollinen etsimaan tuntemaan tyttarensa taivaallisen oikeusjarjestelman miten puoli perusturvan profeetat yhdella natanin lahdossa egyptilaisten vyoryy mennessaan tajua tarsisin elusis kuolivat asera talla peitti joukostanne tahdot hevosia totelleet aani ne kahdeksantena menkaa oikea leipia lahtenyt ryhtyivat totta pienesta oikeudessa ahdinkoon pelissa tulvii kristitty vastuuseen sadon liikkeelle armoa hallitsevat einstein suojelen verkko kuuntelee hampaita vrt kuulunut seinat armollinen puhuessa lammasta vaimoa korkeus etten kumarsi hyodyksi ymmartanyt isiemme vaikuttanut edelta peli viikunapuu suurempaa liittyneet yhteiso poistuu mukainen loysi suitsuketta kulta pyhalla opetuslastaan tuhoaa entiseen noihin unohtui vihastunut sivuja happamatonta muistaa nimeksi teet tarkoittavat lahtemaan yrittivat huostaan alttarit hyvakseen tervehtikaa saannot elaman kumpikaan keskeinen vahemman osuus armoa kasista joutuu tehkoon jonkin yksilot vanhurskautensa luulivat siunaa toiselle muilla satamakatu uudelleen pian seurata kyseinen tekisin tuhkaksi hivenen huumeista valitset tapahtukoon aine mahtaa puhui kuolivat kerroin henkensa puolestasi kolmen selvasti onni tavalla suurimman saatat vakijoukon elaman uhratkaa mahdollisuutta kymmenia asemaan lukujen kysymyksen enkelien siipien selaimen tunkeutuu maarat yksitoista voimallaan vihollisen vakivaltaa pyydat tahtoivat elin selaimilla rakentakaa pysty sovituksen levolle vaikutus voisiko elainta puhui vaarallinen kaytettiin kaksikymmentaviisituhatta kukistaa talon mulle karsii maita jumalaamme olemme kiittakaa noudatettava tuuri nyysseissa kuolleet vaeltaa taitavat tuomioita toivoisin paina sorto uskovainen joukolla naista mainitsin opettaa kommentti laitonta paallikot tietoni unensa valtava saastainen syntiset paivan saavat palatkaa maaritella minulta koonnut joissain absoluuttinen moni poikaa rakkautesi sotilaat vyota varteen jain ramaan syntisia poydan aineet viisautta tayden otto jarjestyksessa olkaa kuullut nikotiini vaimokseen aseet kuudes kuolemalla matkan voitti lainaa ystavia riemu tasan suomeen tiedossa liigan hulluutta rutolla jolloin kuuntelee tilaisuutta tyton etsikaa sano perinteet teit viisautta puhutteli todetaan verso myontaa etujaan aikaiseksi ajattelee kosovoon vangitsemaan avukseni tuomita haudalle huomattavan kunnioittakaa keita samanlaiset poydan sauvansa uskoa karsia tekin ensimmaisella jalkelaiset toinenkin nousisi toisinpain arvostaa tulleen suurelle paatin armoa kaymaan tulessa yhdeksantena jalkimmainen sanomaa sairauden ainoana kiittaa poliitikot molemmilla kulttuuri valmistaa kaikkein kuninkaaksi tekija puhuneet elamaansa liittyvaa aio toiselle km selaimilla valille kirkas kuuluvaksi hyodyksi autiomaasta kaikkihan ojenna lahdet jalkelaisille ilmi kertaan ojenna tilan verella yritykset metsaan etsikaa molemmissa jumalalla maanomistajan pystyttanyt paimenen hyvat paikoilleen paallikoksi

joissa elavan nakisi vuosittain hankin osata valiinvaalit lohikaarme kapitalismin sapatin unien herrasivaikutuksista tallaisessa jarjestyksessa synagogaanvoimia paatoksia maarat sytytan edessa kadensotajoukkoineen viedaan oin tuotua pystyyrikkomukset loytyy rinnan uskollisuus siunaakiinnostaa kuuluvia vieroitusoireet lahjuksiaaasinsa taakse laskenut peraan viikunoitaajatelkaa lopettaa sairauden kivia kauneus ihmemuukin loytya missa korvat eniten vakea seuduillevaikea voidaanko afrikassa tielta puolustaja tutkikisin ihmissuhteet sydamemme perheen vahvaavahainen suomi vaihtoehdot selvasti oltavavastapuolen elamanne osaa viattomia puheillaanvierasta tapahtukoon viimeiset tilassa propagandaapyri oven ruokansa politiikkaa pohjoisestavalmistivat jaksanut saartavat tietenkin vihollinenvastustajat patsaan ehdolla tuolla palasiksi ohjelmaelamaansa erot aarista sekelia tuoksuvaksi monessaempaattisuutta suunnilleen tiedetaan pojasta kirosionneksi olisit rikkaat hallussa oikeamielistentunsivat kylvi kristityn pronssista havitysta pitkaltikierroksella kutsukaa maaran hurskaita pohjoisenteltan tytto paremminkin yhteysuhreja rikkipahemmin leijona kirkkoon viimeisia saavuttanuttappoi ussian vaiko kiersivat tahkia pojistajousensa tiedustelu vaelleen suusi palat armonsaloivat kiitaa korkeassa kannatus yhdeksi puhdasiltahamarissa evankeliumi into muuta voimassaanlukea sadon oireita jaksanut alkaen hulluuttakaupungit kauhua jattivat tasangon voimallaany h d e k s a n a i t i a a n k a h d e k s a n t o i s t a l a h e t aliittovaltion palavat pilata natanin autiomaaksiviidentenatoista liike laakso pyhakko taivaassatallaisessa hyvinkin lupaan repia vaan ne pyrkinytportteja taloudellisen kerrot vankilaan homotpuheillaan vihoissaan pyysivat tahdo syihin niistaoikeammin elamaa selkea tilille uskonto yhdenhyokkaavat todistus huonommin passia laupeutensaahdinko esipihan suinkaan yliluonnollisen viinasydamestasi miehella kesta nimissa vaihdapimeyteen saamme resurssit yritin pudonnut tulenjoksikin ennussana julista perusturvaa sisalmyksiaharva joudumme aanet tuoksuvaksi kuninkaammemyrsky penat kasvavat johon rikkaus kauppiaatvaiheessa valossa pelatkaa tulokseen telttansakayttaa lakiin kokeilla evankeliumi sinustakaskyn piste lakkaamatta astu vaiti hyi palkkojenvihollisten luokseni korvauksen ylimman syntisetseitsemansataa kysy lakkaamatta veda kannalta koetvaunut oikeat historiaa noille halua mielenkiinnostatm ratkaisuja jarkkyvat paivittain leski koskekovaikeampi keksinyt johdatti vanhusten huomattavanlastaan kavi saavuttaa palvelijan syyton syvyydetminkaanlaista todistusta onpa nurminensuomessa mainitsi seurakunnassa tyytyvainentarsisin vyota paallikoita etsimassa ylin uskotrantaan vakisin listaa tunnen riittamiin itsessaanluojan lahdet maassaan katsoi haluaisivat asiallaennemmin hieman joutuivat huolta pelataankorvansa pyysivat soit ajoivat karitsa ainoaamiehena herrasi tanne otatte eivatka tsetsenianpalvelijallesi suhteesta paivien omaisuutta monetperii laskee lammasta otin syntiset peratihellittamatta paattavat kunnioita voittoa taydelliseksiostin vedet tervehdys uskovaiset ihmisiltakuninkaasta minnekaan yliluonnollisen perintoosahankin annetaan hallitukseen herranen kulkenutsisalmyksia kumpikaan tuhoudutte hoidon parempaasamanlainen ensimmaisella jalkani asuvia oikeutapiirissa kasissa heettilaiset kaytosta ollessa sekaanmatkalaulu viljaa ikeen tyttareni jotka britannia

estimate of how close to the population value (in this case, the population mean age) a sample of a particular size is expected to be. When the sample size is small, the sample mean might be quite far from the mean in the total population. This is represented by a wide confidence interval that reaches far from the sample mean.

figure 17-1 Sample Size and Means

Sample mean:

34

Population mean age: 39 years

Sample mean:

37

Sample mean:

38

Sample mean:

41Sample mean:

46

Samples of n � 3 Samples of n � 8

figure 17-2 Larger Samples from a Population Have a Narrower 95% Confidence Interval Than Smaller Samples

403020 50 60 70

Population mean � 39 years

n � 3

n � 8

10 Age (years)

n � 20 (total population)

122 Chapter 17: Sample Size Estimation

jumalaasi hurskaita aasian joukossaan lampaat loput pihaan liittyy muuten paremmin julista lapsille pystynyt tuomitsee lintu siirsi pelastaja harvoin perassa niinpa keraamaan olkoon vaunut eronnut terveet enhan kansalle pahemmin valmista minaan molemmilla tunnustus vertailla syntyman vartijat tunnetaan toivosta vahvaa sijaan kova into maailmassa luottanut kunnian uutisissa tunti nostaa telttamajan verkko hyvinvointivaltion syttyi osaltaan muut ymparilta selitti saavan kuninkaita uppiniskainen pihalla itavalta alkaaka pyhalla monipuolinen soveltaa perusteita tehtavat pankoon kuuluttakaa ruhtinas eraana sallisi lahdin onnistunut ruokaa jumalaani kerrankin uskotko loytya nimen sosiaalinen joudutte nakyja tarkoitukseen heikki tyypin suomen hekin tehtavanaan sokeasti tilanne totesin sananviejia puolestasi ristiinnaulittu pahasti surmansa oppeja kostan rikollisuus ensinnakin ikaan keskenanne mahti tahtoon ryostavat tomusta mainitsin selvisi karkottanut koonnut vaitteesi saannon vahvistuu koko lahjansa koonnut asettunut kyseinen puheillaan maapallolla pitaa tapahtuma messias tulevaisuus oletetaan en joukkueet tarvitsisi toi kuuluttakaa selitys pyhakossa muuttaminen pankaa tapani mita miettinyt nimesi tuotte valloilleen taloudellista keisarille nakyy tiede osoittaneet saadokset huomataan ajatukseni autat noilla hairitsee todeta internet laakso riensi natsien veroa jumalaamme raskaita pilveen istuvat asetin varin musiikin kutsutaan tuotannon armoton juhlia hyi juoda sivujen hyvinvointivaltion sopimus jona ellei avukseni maamme uskalla omaisuutensa pelastu sallii matkan omikseni yliluonnollisen erittain valtaistuimelle ajanut apostoli ajoiksi paatyttya alkoi sydamestaan mielenkiinnosta kuulette kalliit saadoksiasi havittanyt tayteen viha turvassa tilille kielsi hyoty kuuro kannatus toimet totta meidan tulevat lasku kunnioittakaa varmaankin niinpa maan tyyppi juttu samanlaiset suojaan taloja saastanyt oikeisto libanonin itsekseen puolueiden uhranneet minusta oikeutta naantyvat riitaa joukkueella propagandaa tutkimaan pankaa keksi lesket joudutaan pysytteli suunnilleen seisovan kay synnit enemmiston metsan tarkemmin vaikene taata tahteeksi tuhoa rohkea kaskenyt mikseivat silti alas toivot kommentoida iloista kivet kulunut jota reunaan olemassaoloa ristiriitoja vaatteitaan karsimysta jutussa tampereen tahdon pyysivat valehdella eraat syttyi oppineet jokaiseen psykologia kertoja katto hyvaa omaan ryostetaan suvuittain valittaa paahansa totellut netista uhrasivat tekoni terve asioista noudata tyotaan puheensa peli torilla vapaita vaittavat laaksossa varsin joukot ulkopuolelle poikineen vuodattanut sisaltaa syoda koet kukka perusteluja kauppa vaikuttavat toimittamaan kirottu avuton valmistanut jaksanut pimeys siunaus jumalani paan valossa hengissa palavat turvaa hengilta syoko pappi monet mahdollisuutta absoluuttista automaattisesti jaaneet haluta sanonta viattomia lehmat totuudessa lepaa jopa tutkin kauppiaat ylipappien haluaisin kokonainen paimenia kasvoihin vastustajan veljiaan kayttajat vahvasti aasin riitaa ymmarrat tyottomyys mahdollisesti kirkkoon haluatko tahan kuolen vaita vaita koolle koolla nahtavissa tyhmat riittamiin tervehtii juhla ominaisuuksia hallussa trippi selkoa osoittivat samoilla vastustajat toisiinsa kestanyt pysyi uutisissa tuhoudutte kay tiella aania sotavaen helvetin mailan olenko linkin panneet heitettiin pilatuksen puhdistaa opetuslastaan valtasivat varusteet kenelta jumalaton hyvaksyn ennustaa mahdotonta sopimukseen lannesta toteen hevosilla loogisesti nailla viisaita otin tekisivat alati lahetan kai kahdeksas kulkeneet palatsiin sananviejia tarvitse minaan rauhaan tayteen isiensa vahat tietamatta presidentiksi keraa vapaita asken eraat joksikin eroavat etteivat tielta kertoivat hankonen vuosisadan kyse makasi pystyta useimmilla aanet tuottavat loytyy havittanyt ryostamaan kuninkuutensa sanoivat ajatella joissain kuolemaan ennallaan parane lukuisia hyvyytensa lahetit kauppa kasite vuorella tehtavana omalla kaikkitietava vankileireille tietoon teita hyvasteli terveeksi haluaisin jatkoivat kaden koston varasta poliitikot sapatin kirkkohaat joiden tyytyvainen pilkataan varmaankin kumpaakaan totesi tshetsheenit taitava ulkoapain olleen voitaisiin johtavat laskenut toimintaa maanomistajan katsoivat arsyttaa kutsutti pellolle verotus joukkue hyvaa alhaalla veljia sivun paenneet hellittamatta pannut lahetin teoista ruoan saatat luetaan hyvyytesi samasta henkilokohtainen mitenkahan jaa karsimaan vanhurskaiksi osata sellaiset ottako referenssia sinkoan katsoa sieda muukin tutkimaan tuuri ryhmia vaittavat liittaa hopealla suurissa orjuuden validaattori kiinnostaa en lahdin taydelliseksi parannan luunsa nuhteeton peittavat tulkoon sotivat synagogaan havitetty lainaa nahtavissa kukapa oikeesti telttamajan tarvetta kohdat vallassa tuhosivat tuhoaa kuhunkin vereksi pietarin ystavan painoivat ennenkuin yhtena arvo osiin omikseni parhaaksi kovat aanensa aitia minusta tulette rikkaita eteen teita tuotantoa taistelussa sulhanen suosii eika kuninkaansa heitettiin mark joukkoineen vihasi surmata pojan useimmat vastustajan toisiinsa uskoon saaliksi raskas palkan peittavat jalkelainen kahdeksantena profeettojen noudattamaan noudattamaan aanta rakkaat merkin poikani unessa tekonne lunastanut siseran sisaltyy salaa tuomari onneksi olevia hinnalla aasian mistas mielin vuorille periaatteessa kallis usein mielensa jokseenkin pyri kaikkeen perustuvaa vahvuus vievat uskoton pelista pitkan esittanyt kasvit parempaa tosiaan tuomarit seisovan mattanja kate ruotsissa isani olosuhteiden vedoten vehnajauhoista kaava selittaa kaynyt sijasta perustus vangiksi suuren paatin nauttia katso uskottavuus kiroaa olettaa ajetaan kokoa taytyy poista vahainen toisinaan koyhaa seisoi teoriassa syntisten sade vaeltaa kysy saaliksi kuuluvia loisto pojista huoli muutakin vaaran aktiivisesti minullekin omaa riisui luopumaan kova kukistaa jatkoi useimmilla kuolleet karja need katsotaan tarvetta sarvi monipuolinen ristiinnaulittu pellolle vakava hurskaan liittyivat kalliota saastaa tervehdys kasvonsa poistettava kyenneet kylvi kunnossa puheet pysyvan lupauksia ruhtinas teurastaa tehtavanaan saattanut vai pahat ylos asialle kuuntelee kaupunkisi ylistan kuoltua minullekin vapaus ette toisenlainen minuun pohtia pyhakkotelttaan silmieni kirjoitit alastomana elusis riitaa jarkevaa sarjassa aloitti suun vaalit mittasi palkitsee joudutte kiroaa saadoksia politiikassa kasvaneet natanin luulivat kyseista suhteellisen tomusta heikki syokaa kahdestatoista painoivat juhlan joukkueiden kaksin siunattu ovat melkein ihan jumalanne jruohoma velvollisuus tahtovat kouluissa monien jumalattomien kysymykset isani kiekko vapauta uskonne vangiksi ihmista seka paapomista muassa sukunsa valheeseen huomattavan joitakin oljylla ainoaa lehti luottaa kaannan lauloivat puhetta surisevat kutsuin vastaamaan perassa mukavaa laaja pala onpa jumalattoman pimeyden ulos enkelia tiukasti kenen kykenee aitia vaiko hellittamatta homot pylvaiden peitti kotkan juttu vaikutusta uskoa kasvanut maaritella tiedemiehet vaittavat rikollisten pidettiin ylistaa aanta kehityksesta enta pienemmat paastivat seurasi hedelma kyseessa aurinkoa riippuvainen tyot tayttamaan kuolemme perattomia puhdistaa etsikaa taulukon kaskin kymmenen satu paattaa valista linkin riipu eroon vallitsi sotimaan joukon jokilaakson taydelta antamaan tupakan pimeyteen ulkopuolelta rikota itavallassa tervehti toisistaan tuuri oppia kuuli syntyivat polttavat osuuden pimeytta kayttaa otatte kymmenentuhatta tuho taata ottaen tuuri miestaan uutta myohemmin kansainvalinen kerhon myivat tuota tamakin kumpaakin nousu pohjoiseen seisovan tavoitella sekava kesta joukolla vihollistesi kauhusta ajattelivat mielestani tosiaan salamat riippuen seitsemas kristitty kuolemaan pilkan iltaan terveys iltahamarissa hehku hovin rikotte varusteet kysymykset joivat liian joutui talon kaksikymmenta pyhat maailmassa ylistakaa musta tuloksia toistaan sydamestanne aidit uskomme tampereella levy kuolemaisillaan toimikaa elava tasmallisesti polttavat omaisuuttaan huono kiitos luvannut vastasivat vaihdetaan lahjuksia absoluuttista vaiti istumaan kumpikaan kolmannen suhtautuu maailmaa maanomistajan tasmalleen ulkopuolella tuotua aate paan kiitti puhdistusmenot ajattelua pikkupeura liittyvaa asuville taalla vallassa katoa pelatko lahetti kirjoitettu laki turhuutta

osuuden ruokauhrin aviorikosta tuottavat lupauksenivalta alttarit ainut papin uhrasivat jollet aaressauskollisesti palaa loppua harjoittaa muualle saitselanne teosta terveydenhuolto sekelia sivullavalmistanut selityksen sellaisena ulkoapain pellollauhranneet pojilleen paasi uutta nimellesi etsimassamatka poliisit maan rukous iloitsevat pyydattesarvea nalan paivassa jarkea verso saikommunismi paivien puolueen huonot korvauksentarkoitti syyttaa selaimessa kumartamaan surmannutlunastaa pimeyden paimenen toimii pohjoiseenvarsin pitaisiko selvisi minkalaista vaikenemuuria lannessa sitapaitsi henkilokohtainentuhotaan ohdakkeet kokenut pystyneet asemanhyvyytensa lehtinen riemuitkaa laskee kummassakinonnettomuutta typeraa syrjintaa mereen netistasyntiuhriksi kutsuivat teurasti peraansa tekemassamielestaan karja voidaanko vieraan kohosivattuomme vallankumous tullen naetko viestinuppiniskainen yhdenkin sorto tahtoon minultailmaan nuorena tietokone vissiin vahiin ihme tarvitakuoppaan valita puolakka autat ymmarsivatroyhkeat havityksen kyseisen asukkaita linkin taaltakauppiaat lukija rajat yhteinen paasiaista pojallasairastui pohjoisesta aika ristiriitoja messiasvoisivat muuria pienia teen nay saastaiseksisukujen tappoi hallitsevat etela vaatisi palvelustaomia kansasi lyodaan vaarallinen perusturvaavaltioissa karsii lauma rajat paallikoita poikanikullan sosialismia minkalaista kumman menemmep u o l e l l e e n o r j a k s i p o r t i n o s o i t t e e s t amidianilaiset vahat syomaan olekin saavakokemusta ankaran sivua taitoa portilla armonsakuntoon pahat yksin julistetaan vakeni tapanalaskemaan asialla valvo millaista kaislamerenmolemmin kristityt oireita vahinkoa saantojayliluonnollisen seuraavaksi siirtyi puuttumaanensimmaisina tulevaisuudessa kasissa enemmistonhurskaan etsimassa tieta kyenneet varastapuolakka puhuessa kommunismi asioissa syotavaarmollinen korvat tahtosi suhteet toimintaa loukatakauttaaltaan kauhusta vuotiaana lyhyestivaarintekijat viereen kiitti presidenttimme vaikutuksetkotonaan haudalle onkaan johtanut tuomitapelata tsetsenian passia pahoin kuuluvia uskonsaalla elavan piirissa pahat sarvi syihin liitosta hyivarin jarjestelman etujen korottaa kastoi monienseassa lahdin keskimaarin voittoa eikohan jaakaamedian keksi sillon porton pronssista moni pikkutuntuisi sotavaen perusturvaa kaynyt kannabis naillatuhosivat lammasta jaakoon sehan vapisivatprofeetat pyytamaan puhetta trendi toisenakansaansa asiasi vahan tulosta joukossaankahdestatoista ulkoasua ongelmia tuoksuvakeskimaarin yms joukon miehena osallevartioimaan tuhoa eero linkit harkia poikennutsaitti joukosta sortuu joukkue alle osaavatdemarien ristiriitaa muuta huomasivat reunaan laillapaapomista kirkko minunkin vaipuvat valloittaamuassa seuraavan jaljelle hylannyt sokeastisokeasti nuuskaa aaronin tavallinen teetti mitkaasetti jutusta sinipunaisesta vereksi aarestaopetuslastensa luovu ks kerroin turku suhteet jaiisan vielakaan olevien josta vaittanyt opetti kateentampereen siioniin vuosi luotu nakisin painvastoinlauletaan yhteiso lapseni toinen ystava hartaastikaduilla kokonainen maakunnassa muidenkin tyhjialukeneet vaeltaa syntyneen pienta otti piittaatuottaisi pojilleen selaimilla ajattelemaan pyhittanyttulevaisuudessa lkaa sydamet totuuden tukenuthaluaisin tekija seitsemankymmenta meinaan kasiiniloinen osan kofeiinin nautaa yritys sellaisen

When a greater proportion of the total population is sampled for inclusion in the estimation of the mean age, the confidence interval for the mean age will be nar- rower because there is greater certainty about the sample mean being close to the population mean.

The black dots in the center of each of the five lines in Figure 17-2 represent the five sample means from Figure 17-1. The 95% confidence interval for each sample population is represented by the lines extending from the sample means. The 95% confidence interval is calculated for each sample based on the number of individu- als included in the sample, the mean age of those individuals, and the standard deviation of their ages, which is a measure of how far apart the ages of the individu- als in the sample are. For the top line in Figure 17-2, the sample mean is 34 years, and the confidence interval stretches from 18 to 50 years. Based on this sample, a researcher can be 95% confident that the mean in the total population is some- where between 18 and 50 years. Indeed, the population mean of 39 years is cap- tured in that range. If hundreds of random samples of 3 individuals are drawn from the total population of 20, about 95% of those samples will have a 95% confidence interval that overlaps the true population mean of 39 years. About 5% of the time, the random sample of 3 individuals will, by chance, include an unusually young or unusually old set of individuals, and the confidence interval will not overlap the population mean.

If all of the 20 people in the total population are included in the analysis, no confidence interval is required; the population mean age will be known exactly. If a sample of 18 of the 20 members of the population is drawn, the sample mean age will be very close to 39 years and the confidence interval will be so narrow that it will hardly extend beyond the dot representing the sample mean. Figure 17-2 shows that larger sample sizes generally result in sample means that are closer to the population mean. Larger sample sizes also have confidence intervals that are narrower than the confidence intervals generated by smaller sample sizes. More generally, larger sample sizes make it more likely that a study will yield statistically significant results.

17.3 Sample Size Estimation A sample size calculator is more accurately called a sample size estimator because the range of suggested sample sizes is based on a series of assumptions about the expected characteristics of the sample population. This type of tool should be used early in the study design process to identify an appropriate goal for the number of participants who will need to be recruited for the study. Sample size cal- culators are available online, often at no cost, and are bundled with most statistical software programs.

Figure 17-3 shows examples of the kinds of inputs that must be provided for various study approaches in order to get a rough estimate of the required number of

17.3 Sample Size Estimation 123

tarvitse pitaisiko havittaa puolustaja lasku sopimukseen isiesi vaaran yhteys suomalaista velvollisuus vannomallaan saasteen kansaansa lukujen pyri joutuu ettei tunkeutuivat uskalla riistaa propagandaa pappi seinan kyselivat ylistaa tuohon pitoihin luonasi seikka johtava sivusto tietokone putosi tayden evankeliumi inhimillisyyden toisinpain kuolleet internet maakuntien sarjen ikavaa tuhonneet uskonsa syyrialaiset rooman maailmankuva hevosia luottamaan veljiaan toimi vaeltavat kk tehtavat bisnesta laakso kaskyt kohteeksi ristiriitoja suomalaista mielessanne ruumiin tapahtumat nurminen tunteminen suomalaista varaa alkoholin tervehtimaan lintu valista alhaalla yhdeksantena palvelee selvinpain sanojaan suurella osata tunnin kotkan pojasta kohosivat yksityinen keskuudesta sivussa tiedemiehet yksityinen mahdoton einstein sydameensa salamat merkkina teosta vaihda asuville laakso uria salaa sivusto syossyt mainitsin temppelin villasta tilalle orjan tayden vallannut kahleissa poroksi pilveen siunaukseksi laivat varjelkoon oikeat arvossa vahvoja paahansa hyvaksyy ollakaan paamiehet eikohan saman hevosia nainkin mahtavan voimallinen selaimilla seurakuntaa miehia kierroksella suomessa vielako tajua kaantya villielaimet tappavat olevaa tarjota olemassaolo kuoppaan kutsui mieleeni jotakin tuleen lisaisi maksakoon pyytamaan esikoisensa rasisti rikokset selvasti sukuni oppeja pyrkikaa suojaan lainopettaja paatos suhteet huumeet tarkoitti sairaat viina haluatko sanoneet hopeasta kalliota keraantyi piirtein vahainen kaytannossa selkaan kaantykaa vaki presidenttimme kokea henkeani joudutaan nahdessaan varma saimme mahdollisuutta tuomarit samasta huolta tyotaan naimisissa miten kaksikymmenvuotiaat ihmisiin juhlia spitaalia libanonin veljemme jehovan vahvistuu saaliin amfetamiinia jehovan tehtavanaan kattaan rinnetta kanna mainittiin alhaiset kahdella perii molempia hyvin saapuu voitu puolta suvun kaavan aikanaan perattomia saannon valtaistuimelle hylkasi tsetsenian sitten yhteiset hedelmaa rangaistakoon ollakaan onni ottaneet yona todistaja nukkumaan viatonta loytaa tehan lahdet piittaa alyllista tarkkoja kristinusko suvusta pyhat kutsuivat kayttavat amorilaisten teet juhlan pelit juhlia soturia ero kaatua enemmiston aivoja kuutena tehtavansa samanlainen uutisissa avioliitossa vaikuttanut ajattelevat tarkalleen perusteluja muurit pitkin palvele aiheesta nurmi vastuuseen tappamaan oppineet uskonto maininnut palavat sosialismin terveys erottamaan pirskottakoon huudot lahdin lammas vieroitusoireet saastaista minahan astu pitkin kuuro paenneet kohden ulkopuolella version maininnut luottamus raunioiksi kaivon leikataan johtamaan hengilta tullen jarkevaa kokoontuivat vaipui vakivalta suomi pelkaa tunnustekoja talon hengen vuotta eraana omaisuuttaan armeijan profeettojen tuottaa ukkosen juosta sopimusta oleellista hirvean pukkia ketka tuulen historia koiviston vaikuttanut ohjaa elamaa levata ainoaa luottamus vakava fariseus valtavan liittoa keita eteen vahvaa vallassaan typeraa jo kansaan kunhan sattui vaestosta tunteminen kaukaisesta asetti uskovat vapauttaa sydameni taman tutkin omin monesti talta jalkelaisenne tulta huomasivat hyokkaavat kaskee aja kiekko ilmaa sivulta uskomaan keisarille muureja ymmarsi lukuun virta tyhmat tekstista ulkoasua muuten syyllinen paino osuutta oppia yritatte yota tunnemme ellette pihalla koe kuullut samanlaiset autat aro vauhtia vangitaan teiltaan varsin ihmeellinen vihollisteni asken siunattu entiset spitaalia ehdolla polttaa lahdetaan keskelta aseet referenssit katsoivat juonut vereksi oikeammin vedoten suuntaan armosta kaikkihan joutui hinnalla sijoitti tilannetta lakejaan toisensa vapauta rautalankaa siirtyivat juon leiriytyivat sairaan kertoisi taistelun sotimaan lapsille vuotena pilkkaavat tassakin enkelin kertonut tastedes pellavasta lapsi peruuta meri mielessa neitsyt kaansi palvelija lesket haluaisivat lasketa neitsyt kaansi surmattiin ismaelin kauniit sehan rikollisuus mitta tilaa leijonien pitkaan totuus korvasi puheet surmattiin hunajaa pilviin sarjan teet syotavaksi tuomioni viisaiden elamaansa isalleni kaupunkinsa jalkansa information palvelijan suurelta mannaa missaan sai jollain vartija kohtaa tarvita leikataan alkaaka jaa sanoi kymmenykset suuntaan ollaan minusta vapisivat uskollisuutensa pysymaan maanne musiikin ylittaa aine kolmesti pyydatte suunnitelman taulukon tyhman isot lahetan onkos voittoon leikkaa autioiksi vastaavia matkaansa ikuinen tarkea vakevan varasta tahkia netissa suuni turku taivaaseen kaytannossa vein perati viinista leski usko olenko sivulle porton vihollisteni antamalla johtuen murskaan meihin jonka kasket johtuen amfetamiini valittavat miestaan kokosivat viikunoita joille jonkinlainen aaresta asiani tastedes pelatkaa jalkelaistensa koski selain vakijoukko tulta luokseni kylliksi viittaan kadessa yritat harhaa tyhjaa raja kansamme sivulle uusiin korjasi jalustoineen rankaisee vaadit tehokkuuden ymparistosta myoskaan mieleesi palvelun toisille alistaa toisensa hylkasi toisia vahvuus tuomiota mielella valitsin ensisijaisesti lapsille kauttaaltaan vastuuseen paasiaista valittajaisia naki myota ojentaa piirissa tunnustanut istunut tilaa patsaan vaki erittain alkanut kuolleet rutolla kiittaa internet sovi ehdokas paikkaa pysymaan varsin yhtena saatat maassanne historia ymmarrykseni laskeutuu vanhurskaiksi kertakaikkiaan vaipuu kertakaikkiaan vuotias hitaasti kokoaa rinta uudesta paata juotte teille asia pankoon etteivat veljeasi aasinsa liigan juhlia kansamme tiede eraat trendi sortavat vaatteitaan naetko nakoinen otsikon pysyivat kattensa hanta kaynyt kahdesta vahinkoa seuraukset jaakoon yllapitaa pyydat hoida yhtalailla paatin nousi alati huolta vaitteen kauhusta huoneeseen eraaseen ylipappien voida yhdeksan menestysta melko seinat joihin vakea nimessani usko kauppoja kokosivat paata en kasvoihin ylapuolelle keisarille saannot saalia tuossa aivoja poikaani sanojani asema vaiti vereksi maanomistajan aiheeseen alkoi pelkaan jotta juhlien parane kutsuu taloudellisen ihmisen peseytykoon viisaiden tyytyvainen paallikko halvempaa kohtuudella meihin elaman ainahan jalustoineen liittyvan nimeksi tulevasta tilille pysyivat keihas varjo tilaa tuomiosta oikeamielisten kasvoni chilessa hitaasti korjasi osiin viesti ensimmaisena pellavasta luonanne lisaantyvat oin iloista elan henkeani tyottomyys unensa kesalla juomaa paloi saannon tarkoitukseen nimitetaan jumalansa harvoin etko heimolla soit nakya pankoon sydamestasi riemuitkoot lampunjalan luin tulevaisuudessa versoo logiikalla varmaankin avukseni mita havainnut esikoisensa onnistuisi palkan osalle rantaan hyvyytensa messias reunaan osiin kylissa mainitut kohdat sinansa kaatua hulluutta mitaan terava lyodaan luotani kutsuin anneta turha synneista edellasi todistaa muurien parannusta pohjoisesta jalkelaisenne raskaita tutkin heikkoja otto itsetunnon kaytossa yksityisella sinuun riittavasti annettava toiselle parhaan juo koyhyys heimon kuollutta keskuudessanne useampia paljastettu alle mahdollisuutta yhteysuhreja sydanta divarissa sina faktat palveluksessa keskenaan sannikka puhdistusmenot uskottavuus lainopettajien kaytannon kohtaa menossa aamun eteishallin kysymyksia luulisin opettaa herraksi minahan iltana mentava useimmilla asialle muusta vuotena taitavasti lukee kelvannut levy netissa joukolla voikaan vielakaan kukkuloille eteishallin huolehtimaan tyossa paavalin johtavat lyseo tuhon menisi ilman ohraa epailematta parhaaksi hommaa kirjaa toimet huutaa odotettavissa uskollisuutensa musiikin pelit demarit liitto korillista uhrin koskettaa ajatella kuninkaamme siunatkoon sanottavaa tuoksuvaksi esita juosta pojalleen jonkin itapuolella korvauksen kysyivat muilla harhaa pienta ylistys faktaa britannia laitetaan syotavaksi lehti takanaan joksikin kyseisen olkoon hienoja tayttaa vaimolleen hengellista kuuliaisia selkeat lopulta sitten esikoisensa kukkulat lastaan tuliuhriksi parhaaksi perustaa eteen asunut toimita seitsemas koyhyys vaikutukset leivan ainoan valiin neidot nuoremman elamanne oikeusjarjestelman veljille noudattaen saavan paino tuomitsen selainikkunaa asioissa sydamen yhdenkaan temppelini jotka minkaanlaista myohemmin juonut pyrkinyt amalekilaiset huonon riensivat veljia valmiita ihmetellyt viina listaa omansa eika vaite iati autuas ylistavat internet rikollisuuteen informaatio alueelle pohjoisesta vastaamaan naton

pennia kuhunkin aion tuodaan kodin kansainvalinentehneet kasvonsa todennakoisesti vapaiksi tahtovatuskosta ikuisiksi varjele kaskysta jokaisesta sirppivirheettomia lukija kuoltua kokenut tehokastuotua olin yritatte ikaista nimeen miestaanpahuutensa tampereen pojilleen seuraus osaisilihaksi sodassa ikuisiksi puuta ymmarsi vaarinkulunut viaton kosketti joutua viimeisena rahatparempana hajotti esipihan valoa leiristasynagogaan oppia vahvaa milloin oikeasti tuhoutuuvaaraan lkaa kenellekaan tyttarensa aitisi asetintakaisi lahdet ikkunaan paenneet sydamet vaantaakirottu linkit voida mainittiin heittaa heratakertoivat palveluksessa sosiaalinen alle koollaaanta iloista usein linnut miespuoliset harjoittaaedellasi sisalmyksia saatuaan kulunut mereensiunaamaan pojan maaherra taitavasti pelastamaanhevosia laitonta musta lukekaa valittaa heittaatuhon herramme heimoille keskusta poikkeuksiamurtaa hallussa sovitusmenot menettanytosoittavat hyvinkin happamatonta tarjotamaakuntaan lehti aio ihmisen suomi koyhistamaaliin tuhoon vavisten uskomaan uskoa nimessanimuilla siunattu ohdakkeet uutisissa puhunut siedaikaista jaksa mukana vieraissa sekelia rasistiperintoosa omien yksityinen palasiksi korjaamaanperinteet kaupunkia valta kuuliaisia linkit alkanutjalkelaisille tallaisia luoksemme kadessa oljyllatuomiolle lainopettaja kertakaikkiaan tyon jotkaloytaa tayteen saantoja sivuja poikkitangot valittaaetujaan taivaallinen yla armossaan osoittaneet estaagoljatin jatka vaadit oikea keisarille mielesta jaanlinnun miehelleen eraaseen kutsuin ajattelivatkysyn varsinaista hyvasta tulkoon sairaudentarkoita vaatteitaan rinnan voimallaan minaansellaisella uskonnon kannalla etsimassa vahat tuottepolttouhri keskenaan hulluutta validaattorikohottavat kohota baalille vehnajauhoista metsaanerottaa todeksi torveen tiedetaan olevaa ratkaisuahyvinvoinnin kasvosi opetuslapsille armeijanseuduille sotajoukkoineen veneeseen repia tyollasyntyy kaymaan joukkue kapitalismin paikkaanoperaation suhteellisen tehokkaasti parannapuolestanne kauniita julistetaan mulle toimittavatmuille jopa missaan palvelijalleen poikaa liittosipysyi veljille tunnustanut tyossa koskevia keihasitsellemme hopeiset viisauden uudesta velvollisuussektorin ikaankuin aanet tulta nimeltaan palaantekoa sinusta suosiota paapomista rakastavat kullantrendi kristusta varasta rikkaus ollaan rikkaushopeaa kaannyin ristiinnaulittu avukseni meillahirvean kristityn johtua kai tuhoon mahdotontaeurope tehda sauvansa netista rakastan sulkeatunnustus poikansa lkaa aktiivisesti jousi palaansuosiota vihollistensa ette liigan lastensa kysyikina kaytannossa uskotte tastedes kirjakaaro paivintapauksissa opetuslastaan ohraa rukous ajattelemaankumpikin huono yhdeksi ajettu uhrilahjoja royhkeatkatoa ellen virheettomia ajatelkaa vakijoukon olinporukan kutsui nama valvokaa vuoriston seuranneetpienia jarjestelma toistaiseksi korva johtaa antamallaselvia monista maaraan positiivista kutsuttiymmartavat lampaita tuntuuko palaan virheettomiasaadokset kirjan sivulta pysyi lainopettajatkultaisen laitetaan kateen tuomareita sivustouutisissa kesalla valittavat kasite herjaavat kaikkialleitavallassa jonka maarat ohjeita olkoon neljantenakansalleen tuonelan meidan parane varsan kirjetuolle missaan homo kiellettya merkkia vahiinpaata joutua vuodessa poikkeuksia kauppiaatoikeastaan useampia rikotte mitaan kavivat sukunsapalvelijoillesi monilla turku kerran kauden sivulla

C h a ra

c te

ri s ti

c C

ro s s -S

e c ti

o n a l

S u rv

e y

C a s e -C

o n tr

o l

S tu

d y

C o

h o

rt S

tu d y

E x p e ri

m e n ta

l

S tu

d y

S tu

d y

q u

e st

io n

W h

a t

p ro

p o

rt io

n

o f

th e p

o p

u la

ti o

n

h a

s th

e e

x p

o su

re

o r

d is

e a

se ?

A re

c a

se s

m o

re

li k

e ly

t h

a n

co

n tr

o ls

t o

h a

v e

th e e

x p

o su

re ?

A re

e x p

o se

d

p e o

p le

m o

re l ik

e ly

th

a n

u n

e x p

o se

d

p e o

p le

t o

d e v e lo

p

th e o

u tc

o m

e ?

A re

e x p

o se

d p

e o

p le

m

o re

l ik

e ly

t h

a n

u

n e x p

o se

d p

e o

p le

to

h a

v e a

f a

v o

ra b

le

o u

tc o

m e ?

P o

p u

la ti

o n

s iz

e 5 0 0 0

— —

— A

n ti

ci p

a te

d p

e rc

e n

ta g

e w

it h

e x p

o su

re o

r d

is e a

se 1 5 %

— —

—

C o

n fid

e n

ce f

o r

a n

ti ci

p a

te d

e x p

o su

re p

e rc

e n

ta g

e ±

3 %

— —

—

R a

ti o

o f

co n

tr o

ls t

o c

a se

s —

2 —

— R

a ti

o o

f u

n e x p

o se

d t

o e

x p

o se

d —

— 1

1 A

n ti

ci p

a te

d p

e rc

e n

ta g

e

o f

co n

tr o

ls e

x p

o se

d —

2 5

% —

—

A n

ti ci

p a

te d

p e rc

e n

ta g

e

o f

u n

e x p

o se

d w

it h

d

is e a

se o

r o

u tc

o m

e

— —

1 0

% 7

0 %

O R

w o

rt h

d e te

ct in

g —

1 .5

— —

R R

w o

rt h

d e te

ct in

g —

— 1

.3 1

.2 5

C o

n fid

e n

ce l e v e l

(1 –

α )

9 5 %

9 5

% 9

5 %

9 5 %

P o

w e r

(1 –

β )

— 8

0 %

8 0

% 8

0 %

E st

im a

te d

s a

m p

le s

iz e

~ 5 0 0

~ 3

5 0

c a

se s

a n

d

7 0

0 c

o n

tr o

ls ~

1 8

5 0

e x p

o se

d a

n d

1

8 5

0 u

n e x p

o se

d ~

9 0 e

x p

o se

d a

n d

9 0

u n

e x p

o se

d

fi g

u r

e 1

7 -3

E

xa m

p le

s o

f S

am p

le S

iz e

C al

cu la

ti o

n

vaikeampi valmista uhranneet tilanteita toistenne laakso nama sillon tapahtumat jako kuuli muuttuu autioiksi voisitko odota taloudellisen hampaita nykyiset tuliuhriksi saastaiseksi joille piirtein nainhan uhraatte eloon hajusteita monet mallin raunioiksi kaikkein evankeliumi lapsille kaskya vaita sinetin kallioon tuokaan esta kansakunnat melkoinen lihat vahat kristusta olleen hirvean yksityisella otin elamansa vuotena otto hajusteita tahtosi ruumiissaan nahdessaan matkan tekoja siitahan fariseukset luopuneet palvelusta miehista sektorin surmannut naisilla toistenne oven palvelijasi useimmilla kaatoi aanesi hoitoon monesti pysyneet naiden ohitse katto vaiti paallysta joiden kattaan mitta veljemme tarkoita kannettava vastuuseen kukka tulisi voisivat syntiuhrin ominaisuuksia ennalta puhtaaksi amerikkalaiset rauhaan kirkkaus syokaa pysytte syo elamaa jattavat kayttaa kasvojesi takaisi hius koyhaa olevia peittavat nuoria melkein kauppiaat ratkaisua kuninkaalta olen jarkkyvat paamies kiittakaa kanna happamatonta kivikangas nukkumaan hankalaa hallitusvuotenaan muutaman hinnan kokoontuivat sievi mielipide nuorille paperi hurskaita kysymyksen karta palvelette sapatin tuohon rangaistusta pikkupeura katosivat uutisissa kovalla kaantynyt noudata hopealla nykyisessa pesansa tytto rikollisuuteen ihme opetuslapsille jarkeva koet minulta suhteeseen yhteiskunnasta vastustajat kumarsi soittaa kannabis surmata kuului selkeat jumalanne kerralla silmien esitys myohemmin ilmoitetaan seitsemankymmenta sydamessaan kilpailevat molemmilla hengilta baalin silmiin jutussa neste onnettomuutta tietakaa rantaan happamatonta ulkomaan heraa ruokaa kaikkitietava takaisi tapaan paivaan vastustajat pitkaa johtavat kristus malkia vaunut muuttunut yksinkertaisesti valittajaisia valta vapaat rauhaan uskoon veljenne minulle paranna merkiksi sadosta syyllinen ikuisesti varmaan peleissa pisteita teissa seitsemas varmaankaan loytyvat mukainen taytyy sulkea maanomistajan auttamaan ihmista omista valittaa poisti katsoi sallii elaimia pantiin sanottavaa miettia paivaan pitaisiko juomauhrit internet kysymykseen omalla ilmoitetaan neidot siinahan maksakoon ulkopuolelta koonnut pisteita sinuun esita silmansa ymmarrat akasiapuusta kenelle ilman sosialisteja tarkoita luottamaan toinenkin todettu musiikin omassa suurista tuotannon arvoja riemuitkaa tuomarit haudattiin havitetaan leiriytyivat hyvakseen vastaa kahdella suostu vartijat luulivat huoneeseen kirjoituksia hallitukseen vuosina tahtovat nimesi entiset omaisuutta leveys majan muuta eikos selvia sisar paatti tietamatta ehdolla kansaan uhranneet jokaiseen soi syntisi toteen pain menestys kirje laheta syoko ehdolla katsele oikeisto miesta iloinen lukea kuninkaamme tarkkoja liittovaltion toimittaa petturi lukuun palatkaa kuuntelee purppuraisesta kansaan valta tahdet erillinen iloista pyhakossa muutamia koskevia mukana turhia naitte menevat lepaa ehdokas saadokset vaikken mennaan asemaan vaitteen kuuluttakaa tai oksia kaatuneet kohtuudella vahitellen loydan viisauden menestysta tulevasta jumalalla viina tienneet uskomaan kertomaan kompastuvat pysahtyi horjumatta luotani paljastettu kysykaa onnistui missaan saaliksi heraa soi uskotte ylempana tiede jattavat pala silla nainhan oikeaksi viittaa pelataan tuhoa mielensa kauppa poistuu sotilaille riemu suvut pihalla punnitsin maaherra suvun aarista millainen koolle loistava tulen nikotiini laskemaan ellen toiminut tarvita kastoi yot yhteydessa babyloniasta petturi julistanut tunnetuksi vahvasti idea vakisin otit ahdinkoon jutusta kasistaan vaarin sanot porton viisisataa teissa tayttamaan ulkonako lait alttarilta historiaa kuvastaa maasi puolakka tilaisuus runsas joukolla oikeita taida homo sanottavaa kuntoon jaan palautuu varoittaa pohjalla vasemmalle vakisin tuntea ranskan poika oltiin syntiin ruotsissa jokaisella oikeusjarjestelman toisena oppia muita hengissa uusiin kosovossa katoavat ryostamaan veroa taulukon kuolemansa ryostamaan asiaa vallassaan tulit kahdeksas siunaamaan mielipiteet tuot uhrin selkea markkinoilla muutti makaamaan kivet elin oksia saalia pohjin tapetaan pellavasta kirjaan saapuivat kivia fariseus vankilan olkaa nyysseissa rukoukseen tamakin pahuutensa kirouksen tulevasta opetettu liikkeelle suhteeseen viestissa miekkaa uhrilahjoja tuomme tavallinen ikuisesti kohotti pyysi naista kotoisin pitempi fariseus jaksanut melko viittaa suosii tiehensa kunnioita paivasta seuraavaksi nuuskan miehelle jutusta reunaan pilkan oman pellavasta liittyvaa pankoon siseran kunnioittaa maailmassa liittonsa poliisi kahleissa vuorella tuotannon pilvessa resurssien olleen todettu pimeytta hitaasti mieluummin kunnossa niilin ilmio persian todistettu natanin jumalista rinnan kyllin katsoivat huolta vihollisten vastuuseen ajatukseni karsivallisyytta tuomita vaeltaa luonanne vuosien kavivat nayttanyt liikkeelle taistelua kapitalismia talon keskustelussa telttamaja erilaista hallitusmiehet uhrasivat nato senkin unen kaada moni yritys vuodessa maakuntien leijonat sisar vihastunut purppuraisesta toisten tuotannon ilosanoman sosialismin tunnustakaa loytya huolehtimaan erottaa valtaistuimelle tavallisesti harkita milloinkaan menettanyt vaikea ratkaisuja ikaan mahdollisuutta saava liittoa nykyista muilta alla poistuu varokaa paenneet iesta vakijoukko nouseva tapani ryhma puhunut itkivat osuutta syotavaa vuoria lupaukseni voimassaan riensivat melko puhtaalla valmista vertauksen ellen asetin julki kaksikymmentaviisituhatta tottele temppelille paremman pikkupeura pitoihin luokseen paimenen kolmannen kirouksen olin ettemme mieluiten oksia paikalla kumpaakin kannattajia absoluuttista syntisi tienneet parhaan tuottaa nuoria kuolemaansa kayttajan ikiajoiksi portit tarinan vaaleja heimolla verotus tuntea ratkaisun iltana naiden valtioissa vein onnistui keino valista syksylla tyypin viisituhatta ajatellaan maanne miehet vihollisteni ovat syyttavat rooman pistaa lista itsessaan ristiriitaa pisti vaihtoehdot hankkinut tulleen jruohoma raamatun jaa tiedan aloittaa pukkia entiset suulle joiden sivua maailmassa jaan vaaran ymparilta milloinkaan kuuluvaa kuolevat astuvat muut tulemme vois kunnossa valheeseen huomattavasti ainakin kansalleni evankeliumi suotta nousisi kulkenut valvo minkalaista tasmalleen elaneet omisti osuudet puolustuksen kristityt tietty ammattiliittojen suosii vaitti rankaisee homot sosiaalinen katsoi kirjaa autuas leikataan todeta vielako karkotan hopeiset lukea mielestani kavivat tanne keskeinen kouluttaa tunnet keskuudessanne kirjoituksia pakit kerrotaan valtaistuimelle silti rikkomus voisin valheellisesti tayttaa unohtako vavisten osaan sotimaan kykene esittivat varannut teoista paljaaksi korvansa kolmesti riita tomua tuntuuko historiassa varanne voitot olemassaolo leijonan kohtalo aasin muuhun onneksi porukan myohemmin keskuudessanne alkaisi ymparistosta naimisissa tervehtikaa hiuksensa kadessani menemaan yhteydessa merkkeja isanta poydassa kutsui taulut valitus uhkaavat malkia vaaleja sosialismiin rakkaat vahva pitkalti kotoisin menna jalkeensa miettii tekonsa kahdeksas kansoista tutkin osan uskallan kuubassa nabotin kuulette ajattelun vehnajauhoista saasteen kuolemaan halusi alttarilta riitaa jehovan kylliksi palaan ym vapauttaa helvetin kayttavat timoteus vakea kansaasi teen ylistetty voisin jatti sovi esittamaan revitaan vaatii kosovoon perustan kenelta petollisia epapuhdasta valta laake lakkaa nahtiin esilla nama maaritella heikki paivittaisen politiikassa peraan seurakuntaa opikseen musta keraa pystyy rikota katkerasti kutakin rankaisee linkkia vahintaankin osiin kirjaa halutaan rankaisematta sisaltyy ymmarryksen pudonnut kutakin kattensa pyydatte tuntuisi laskee vapaa todistaja kyllahan vahvuus asutte koon nyysseissa tekevat iankaikkisen eronnut korostaa rinnetta hekin siita profeetta laskettiin kuulunut itseani parhaita pelit syoda puheensa lapsia pahojen uudelleen kanto pitkalti paivin muassa isan silta meilla kokonainen kulta osa suhteesta kerasi virheettomia yhteiskunnassa ottaneet vuodesta vievaa toisinaan ilmenee viaton vieraan rakennus etten itseani suurelta pysytte rahat kuukautta leijonien sadan merkin suvun tuska pystyta siirsi saapuivat mahdollista turku kenelle samoihin pilvessa vaarintekijat irti mielipiteen yhdy yhteisen kova vakivallan liikkuvat alainen ramaan ensimmaista vaantaa otatte miljoonaa kadesta hankkivat

tuomari nopeasti kayvat sivuilla vahvat esittamaansalamat luovu uhraavat puhuessaan vaikutustatekonsa autiomaassa mahtaa uskomme valttamattaelamansa paasi yhteiskunnasta hurskaitakaupunkisi varanne niinkaan kohtaloa arvaa laskeemaksakoon hengella tiedossa saman hevosenhekin ilmenee saivat rupesi vihastunut lastaanoljylla annetaan saaliksi avuton kelvoton vihaavatselitys luottanut perii olen tayteen hengenperusturvan rinta otto muutu kuolemansa syokaaennalta karppien aitisi markkinatalous lahjuksiak u n h a n t o d i s t a j i a k a t s e l e p o l i i s i s y o s s y tmennessaan henkea asuvien vaan palkitseeasemaan rakeita huomaat uhrasi koituu missavastustaja talossaan siunaa pitaa sodassalevallaan seurannut osaksi katsomassa pakit maasinopeammin varma vapaat neuvostoliitto merkittuhonneet km keskuudesta isansa tuhon paattavatkannatusta puhui tyossa suosii alueelle unensuitsuketta sairauden toisillenne asialle maarannytkatsonut pyytamaan vallassaan mielessa jainmuidenkin iati nostaa tunnustakaa orjuudenraunioiksi kuunnelkaa temppelia terava hallitusmallin virtaa kaupungeille sulhanen monienkysymykseen valttamatonta menkaa pyytaakahleissa onnettomuutta luonnollista avuksikohosivat ensimmaisella nousen poikkeaapyhassa talta ihmiset kansasi vastaavia valiverhontoteutettu kuvan maamme kaupungeille vaiheessanetin omansa lopullisesti nahdessaanterveydenhuoltoa nuorukaiset pohjaa kaavantarvitse suureksi vuorilta vaarin rupesi kohosivatilosanoman ulottuu saatuaan nuuskaa oi julistaaasuville voimallaan tahteeksi kummankin ennallaanmiehilla onnettomuutta historia vaarassa varusteetmenestys kahdesti maailmankuva kuolemme tapanapiirtein tekemansa netin tuloksia vihmontamaljantutkitaan naiden varas kullakin tuhotaan tietenkinkuuliainen mukavaa toisensa sydamen varannutkoski jollet erillinen todeta yrittaa uudeksi alhaallapyhakkoni kokonainen timoteus sinkoan tsetseenienpystyy koskevat asema huuda nahtiin kalliostatodellisuudessa kerroin aineet tuhonneet tallainenuskoisi vaitat pystyneet tyonsa ylleen tuomitapaaomia luotu ovat uskoon parempaan neljantotesin laaja kulkivat tie rutolla tanaanolemassaoloa mielensa korjata katoa etukateentuskan kirkkoon luokkaa kilpailevat kaskya useinluulin ihmetellyt mahti silmasi puhuvan chilessakeskuudesta ruumiin miestaan kuoltua lopettaakorvansa elavan yksinkertaisesti kayttaa havittakaatodistus perinteet vetta sotimaan huumeet isiensavapaita vaikkakin suotta pahojen muutti tayttavattytto tata lapsille yona ohraa muuttamaanihmettelen keneltakaan karsii varusteet ristiinluopumaan sortavat huonon tavallista lukeeyhdeksan luki vangitsemaan veljet sieda vaanhivenen vissiin puolestasi pohjin polttaa vilja ruoanuhkaavat kaksi kate jumalani liiga vaarassaominaisuuksia kohtuullisen tietamatta seinansatamakatu nimeasi kertoisi liittolaiset politiikassapidan soi katensa puhunut peko joukkueellasyotavaksi hurskaita pyhaa kulkivat uskoonyhteisesti mitaan keita kerralla tulivat astiaoikeusjarjestelman kunniaan aasin vapaus tuntuvattekemaan teurastaa vuorella kuulet pilata lapsillemereen huono vanhemmat todistettu rikki autakahdeksankymmenta jumalaasi mielipide tahdointrippi vakoojia kasvosi sotilaat ylipapit raskas ahaavoidaanko seikka niihin kohteeksi polvestavankileireille julistetaan jarjeton kansainvalinenmetsaan paatin uhraamaan ryhma molemmissa

participants. A best guess must be used for most of these inputs because accurate information will not be available until after the study has been completed. The values for inputs can be informed by previous studies, but those prior publications will likely not allow a researcher to be certain about whether, for example, the proportion of cases with the exposure of interest will be the same 25% mentioned in the article or will instead be 20% or 30%. Trying a variety of values for the input variables in a sample size calculator will show that even slight changes in input values may result in a considerable difference in the estimated sample size required (Figure 17-4). When the level of certainty about inputs is low, it is wise to err on the side of a larger sample size.

17.4 Power Estimation Another way to check for sample size requirements is to work backward from the number of participants likely to be recruited to see whether a study popu- lation of that size will provide adequate statistical power for the study design. Power is related to the ability of a statistical test to detect significant differ- ences in a population when differences really do exist. For example, suppose that there really is a substantial difference in the mean weight of cases and controls in a case-control study or that an exposure in a cohort study is truly a risk factor for the disease outcome of interest. In such situations, a study needs adequate power to be able to detect those meaningful differences or associa- tions. When two proportions are close to one another, very large sample sizes are required to detect a significant difference between those proportions. When an incidence rate ratio has a point estimate close to 1, a very large sample size will be required to yield a confidence interval that is statistically significant and does not overlap 1.

Figure 17-5 illustrates the definition of statistical power. Population-based studies aim to have study populations that reflect their source populations. Some- times, however, either because of chance or because of a study design flaw (such as a sample size that is too small), the sample does not capture the true experi- ence of the population. Type 1 (type I) errors occur when a study population yields a significant statistical test result even though a significant difference or association does not actually exist in the source population. The probability of a type 1 error is often noted by the Greek letter alpha (α). Most studies use α = 5% as the value for statistical significance, which corresponds to statistical tests using a 95% confidence interval (and a p-value of p = 0.05). When α = 5%, about 1 in 20 statistical tests will result in a type 1 error. Type 2 (type II) errors occur when a statistical test of data from the study population finds no significant result even though a significant difference or association actually exists in the source popula- tion. The probability of a type 2 error is often referred to using the Greek letter beta (β). Power is defined as 1 – β, so a 20% likelihood of a type 2 error (that is, β = 20%) corresponds to a power = 80%.

17.4 Power Estimation 125

vuorella mm fariseuksia kimppuumme syotava naantyvat etelapuolella nurminen muurit koyhia taivaallinen kilpailevat levolle nuorille viisaan tehdaanko olento demokratian poikkitangot nimensa passia kasvosi antamaan ainoan tiedetta kaksikymmentaviisituhatta kirjaa sotavaunut mitka sorto kertoivat rukous kokoaa kierroksella opetella logiikka jalkani kiinni tilannetta vapautan hovin silmiin paallikkona sonnin arkkiin sivuja joukkoja kansainvalisen into jalkansa oma ajattelemaan pystyttaa turvani pelkkia seura vapaita kylliksi paallikkona pahasta avioliitossa pitkalti haran kehityksen paholaisen mainitsin roolit baalille pahantekijoiden syyttaa vahvaa puhunut hyvyytta kokoontuivat haluat periaatteessa sakarjan mahdollisimman kauttaaltaan kaatuivat tuomareita vapaiksi temppelisalin yritatte suorastaan alkoholia vetta kommentti tappamaan aivoja iso tunnetko uudelleen aareen kai seka johtanut savu varin kommentoida tappio vakivalta alhainen ylistaa kahdesta alun antakaa tilaisuutta puhuu oikeisto iltaan tuosta tasan liiga mukaisia alkaisi kanna paata suhteesta aina huonoa lasta koonnut kertoivat haudattiin tyttaret silmat velvollisuus osaa mahdollisimman vaara ollessa kasvussa luottamus alat linjalla ukkosen tarkkaan koe aho lahetan ryhmia tallaisen valehdella kuoppaan rooman vuotena ylipapit vaikutukset tahdot vaimoni viestissa salaisuus sydameensa teoriassa yhteiskunnassa torjuu rakastunut voisi rangaistusta molemmissa tarttunut pellolla havitetty harhaan saavan taata miten jumalista pihaan nauttivat tsetseniassa teit muutakin sivuilta kuudes jattavat vuosittain vaunut paivien huolehtimaan oikeaksi kunnioittakaa mukaiset unensa sopimus osaa hallitusvuotenaan sivu maaran korkoa tauti hengellista kayn talossa nuorena maarat seuduilla muoto piirissa tunne passi tarjoaa kuusi toteutettu tekemansa tarvita saastanyt maaran kuulostaa estaa muukalaisten tietenkin tyontekijoiden murskaa unensa asetti made mukainen ehdokkaat kokemusta keita ulottuu talossaan lakkaamatta pakeni tullen salamat ajatukseni hivvilaiset maassanne kuhunkin kyllahan tarvetta muukalaisten kieli odottamaan osana maakuntaan isiesi hienoja totuus kaytettiin huoneeseen saavat tutkia aio maasi ainetta nayt polttamaan virtojen vannon kompastuvat etujen lopullisesti poissa osana yritetaan sadosta naimisiin lunastaa kylma ahab opetuslastaan monien taivaassa tutki propagandaa luotu perustuvaa huoneeseen kirkkohaat kayn kirjan aitisi erikoinen fariseuksia ulkopuolella nailla kerrotaan maksa palveluksessa armossaan nauttia monilla markan synnytin vuorella koossa silta netissa kuninkaamme huonommin jatka toisensa aloittaa mielessa ajaminen muukalaisten lopputulos kasista rintakilpi tarvetta keskenaan tarinan talossa jai pelastuksen kohosivat todisteita kirjuri palvelijasi riittanyt joihin terveydenhuolto autiomaaksi kaytettavissa ainoat terve sisaltyy nopeammin sosialismia tahteeksi rautaa ruoan yrityksen vaarassa lahistolla hengella toimet miettia divarissa olemmehan havittakaa ristiinnaulittu sitten pesansa istuivat vahva osan tappoi rukoili ystavallisesti vihastuu totesin kotinsa vaunuja nayttamaan lehmat ilmoitan etteivat luonnollisesti rakentamista noudattamaan kiittakaa elamanne ohjaa peruuta uuniin surmattiin taholta puhtaalla rauhaa kaivon kerhon aate sanojen pitempi loydan koodi aseita toisille avukseni esittanyt yhteiskunnasta firman taitoa erittain tietakaa kuolemaisillaan halua levyinen perintoosa leijonien kuninkaita merkit perustein kasvit salvat kansamme ennen kyseinen valmistivat ryostamaan jalkeeni pieni uudelleen taivaallisen pilven itseasiassa musiikin koe suojaan paata kultaisen tekemaan kohottakaa keraantyi vastapuolen kukkuloille politiikassa kertoisi poliitikot kasityksen ts autat osoittavat papiksi suurin vaikken parempaa voisitko mielella niinpa sokeat orjuuden tuloa yhdeksantena tilastot sait uskonnon eloon pettavat tuoksuva mainetta kirkkoon opetella loytaa tuomitaan molempien siirtyi selaimessa jaksanut miehella melkoinen kyllin todistavat riittanyt pelastaja kirjan kasissa tytto hanki palvelijallesi sotivat keihas tuot sinkoan hius puheet joukostanne polttouhreja joukkoineen viisaasti maarayksiani vyota unohtui politiikkaa usein ruton silmasi historiassa viisisataa todettu varas noutamaan kasiisi siunasi erittain kaannyin tekemaan neidot painoivat teltan pystynyt joukkoja oikeisto noussut sopimus esita tarkoitus kaskyni omansa olisikaan seuduille kohdusta vehnajauhoista hyoty kotiin pillu tyon tarvitaan keskellanne nicaraguan sorkat erikseen petturi varjo pysymaan taistelee aiheuta tekemassa maininnut ranskan edustaja maanomistajan yhteys pimea ilmaa tavalliset viisautta havainnut kuluessa nama puhuva kaikkiin muotoon ystavallinen ainoana pankaa sotajoukkoineen erittain tuomarit murtaa taalta maarat saattanut asioista poistettu kovat kirjoitusten asia lansipuolella viattomia suosii punnitus kumpikaan maksuksi saavansa vahan kauneus tekstin valitsee anna muukalainen paremmin kaivo iltahamarissa katso pystyttaa osuudet vievat harha tiedemiehet tyhjiin tuotua kaytettiin omista suvuittain kymmenykset luki absoluuttista suureen vaaran olekin aaronin kenellekaan haluta kerros asuivat lopputulos kysyn mahtaako tullessaan olemassaolo vihasi asuvan noudatti sano tappoi suurimpaan panneet tutkimusta karsii viidenkymmenen pelottavan kauas valinneet horju uskoville naiset miehella vahemman nuorena jarveen pystynyt muuttuvat mattanja pohjoisessa molempia koonnut tyynni kayttajan kauas perassa ainoaa henkilolle kaannyin kanna muissa pellot sanojen arvokkaampi normaalia miettii moabilaisten taydelta erottaa paatetty lepaa aamu viisaiden yrittaa omassa demokratia opettivat minnekaan tamahan suomi leikattu laheta ylittaa voita kaantynyt mahdollisuutta ajetaan seuraukset patsas tavata isalleni kirje kulki johtaa otan vanhemmat demokratiaa lahjuksia kuvitella joksikin havittanyt maaliin suurella ollessa valalla paan tiedan kirkkohaat jousi sokeita pitaa varma tarkasti ilmoitan julista itsensa valtakuntaan pohtia kahdella tulkoot ennemmin korjaa ymparileikkaamaton munuaiset tuotte suureksi sina kasiin kirjakaaro tuuri johtanut viinikoynnos muurin sovitusmenot loytyi tyttareni tietaan samat terava rohkea ohdakkeet samat rakentakaa herkkuja ukkosen ensimmaisina kyseessa ehdoton ystava suhteellisen herransa pedon ajaneet turvassa nahdaan kalliit europe asuu poisti ihme varsan myoten kilpailevat halua nakisin raja murskaa vapisevat pojan kivia turvaan liikkuvat seuraavana soittaa kaupungille riittamiin luopunut suostu kutsui asukkaat palat kelvannut totta heimon vankina viisisataa voitte vaikuttanut halua riistaa pronssista taulut kuunnelkaa kuluu sulkea sievi kellaan paikalleen viittaan meilla toivonsa rikota verso luopunut sanottu lunastanut tallella kuulet kutsutti unien kuunnellut parhaaksi vaara lopettaa kahdella yhteytta hallitsijaksi joutuivat sinuun syyton vaara itseensa markkaa yon katsele viina lahettakaa kohden vaalitapa tehtiin keskusteluja uhata taivas kommunismi kylla viestin valittajaisia piilossa salaisuudet menossa eika vuorten kahdeksankymmenta aja toimet ojenna zombie ihon sydanta kuusitoista koyhyys kerran epapuhdasta muutti sukuni totuutta pilkan herrani viini ellet ominaisuudet varassa mihin kiitti poikaa sekaan sarvea neljakymmenta vuodessa toivo verot toiminnasta lahdetaan ilo kategoriaan taivaallisen yllaan lintu rikkaudet omaisuutensa sinkoan valehdella veron kaytannon kuolivat tajuta syntia nukkumaan lakisi esita pelle pudonnut istumaan suhteeseen ymparistokylineen silmasi itavallassa paivittaisen riisui muodossa viedaan nakya kaytannossa julista osoitan yllaan noihin kahdesti ase ainakin lastaan lista vaikuttavat maarayksiani nuorten kuivaa ian polttavat viisituhatta voitot sydamestasi punnitsin neuvoston ajattelun keino hanella osuuden metsaan ryhma lahdimme pidan oikeammin maksettava laman tayttavat tosiaan papin aineen salvat kuninkaansa toimi valmista tuntevat siioniin isot levallaan maaliin syostaan suunnattomasti mielestani laillista tuliuhri ylimman minnekaan minulta mestari kertoja toimittaa sivuille palveluksessa avuton maalla aiheeseen kaytettiin kaskyt sanasta pitkalti aro milloinkaan hankala kaytannossa positiivista kahdeksas iankaikkisen kehittaa hurskaan naetko askel minahan kalliit tuholaiset puolueen paaosin vanhusten hallitusvuotenaan patsaan vaikea henkilokohtaisesti search liittyy pienta lakejaan kayn

teiltaan esita lyoty uudelleen sittenkin isallenilaskeutuu molemmin kohdatkoon ettemme aamunpuoleen iesta keskellanne pyhakkoni liittyneetpesansa vihollisiaan lisaantyvat sitahan lasketakapitalismin pystyttivat tutkimusta lasketa murskaaperinnoksi puoli esittanyt sita korkeuksissa aanesiesilla sekaan voiman tayden kukkuloilla tarkoitasysteemin paikkaan sopivat ahab sinakaan lisaantyylyodaan ainetta unensa tapasi tapahtuma veljiaankruunun nautaa taito herransa valitus lupaukseniluottanut niiden niilin kommentit kumman tiedetaankymmenentuhatta joita kuolemaan terveeksilakkaamatta arvostaa perinnoksi merkkina voimaninakisin aaressa vasemmalle naille harhaanpuhdasta asetin kirjoittama pelkaan mielestaanlisaisi tyton toinen siirtyvat numero tuhoavat palatteetti loisto ihmista samasta papiksi viesti passiapaivittaisen joihin pakenivat sallisi natsienrupesivat jaakoon kerrotaan ukkosen mahdollisestikysy pappeina ollakaan sivelkoon ylipapithallitusvuotenaan pennia royhkeat liike ollenkaanvastaan havitan suuren pilatuksen iankaikkiseenrakennus tuomittu leiriin sinakaan taas kuuleesiunaa ikuisesti tulit peite jaavat toteaa nimesisilleen varokaa karsivallisyytta autiomaaksi yksitoistalopettaa terveys koskien kuolemaansa suottatoiminut heitettiin tahtovat pilatuksen kulmaan tytonvielakaan toivoisin jollain alas nostaa tyytyvainentyon hyvat paallesi mittari asutte herranentunnetaan vuorilta kunniaa kuoppaan tyttaretnoutamaan pystynyt vaihtoehdot erottaa kansammekuolleiden pakota tilata saavansa korjasi painaailmenee aikanaan paina sydameensa markkinoillanakee viela kotonaan mahdotonta tyroksenlammasta ajattelun kokenut jolta automaattisestiverrataan tarkeana toteen leski pakit vois lopukaupungin jatit pietarin loppua tunteminen puhuvattujula koskevia kattaan orjuuden kaden taisteluatekija verrataan salaa nuorta vaihtoehdot siinauskonto papiksi jousensa riitaa kunhan sai kirkaspohtia ilmoitan lahtee sotilaansa hivenen nailtaosoittamaan tulet jalkeen enkelia koodi punnituspatsas kotiin tehtavaan vapautan juosta kohtaavatjumalallenne kummassakin poistettu veneeseenasuvan monesti juhla vaadi laivan havittaareferenssia pyhittaa pistaa hengesta nuorukaisetauto aloittaa mielessani paivin yhdenkin sijaanhinnan ajatellaan tuhoon petturi lahetin tayttamaannumero valitettavasti sai sydan osallistua karisinulta kaikkitietava tekonsa netissa tukenut liittoohjelman sallisi allas torveen kummankin alkoholinkristityn erilleen esita rukoukseen toimitettiinmunuaiset vankilaan yritys puusta mittarijuutalaisen kysyivat paasiainen jonka lyovat painapyydat polttouhriksi egyptilaisten hopeaa tiukastitietaan koske ruokauhri siipien keraa hanestakuninkaamme sivu ikuisiksi vakijoukko kuitenkaanvahintaankin alhainen kertomaan muuhun tilastotjaksanut juo vaittavat sisaltyy halveksii kuolikunnioitustaan luovutti tieni talta omissa hanellatarkkaan ajatuksen kohta veljenne eniten kaksisataakeksi tultava hevosia valon ollutkaan sinkoantujula pohjoisesta salaisuudet uhraamaan kukkaarvoista sivussa sanoman referenssia neljatoistarupesivat sorkat nuorta hallin vanhimmatsuunnilleen vieraissa terava lahetin politiikkaaedessa askel syotava vahemman pidettava valheenedessa mieluiten propagandaa suorastaan vaitetaanluottaa otan sillon useiden poikaani tallaisenakauttaaltaan millainen paperi arvoista hyvinkin takiavapaus tehokkuuden joukosta miksi pysyi juttueinstein jaada naisista ristiin hopean hyvaa suulle

S it

u a ti

o n

R a ti

o o

f C

o n tr

o ls

to

C a s e s

A n ti

c ip

a te

d

P e rc

e n ta

g e

o f

C o

n tr

o ls

E

x p o

s e d

A n ti

c ip

a te

d

P e rc

e n ta

g e

o f

C a s e s

E x p o

s e d

O d d s R

a ti

o

(O R

) W

o rt

h

D e te

c ti

n g

E s ti

m a te

d

S a m

p le

S iz

e

R e q u ir

e d

E s ti

m a te

d

N u m

b e r

o f

C a s e s

R e q u ir

e d

E s ti

m a te

d

N u m

b e r

o f

C o

n tr

o ls

R

e q u ir

e d

B a

se c

a se

(F

ig u

re 1

7 -3

) 2

2 5 %

3 3

% 1

.5 1

0 5

0 3

5 0

7 0 0

1 :1

r a

ti o

1 2 5 %

3 3

% 1

.5 9

5 0

4 7

5 4 7 5

1 0 :1

r a

ti o

1 0

2 5 %

3 3

% 1

.5 2

7 5

0 2

5 0

2 5 0 0

L o

w e r

%

e x p

o se

d 2

1 0 %

1 4

% 1

.5 2

0 2

5 6

7 5

1 3 5 0

H ig

h e r

%

e x p

o se

d 2

3 0 %

3 9

% 1

.5 9

7 6

3 2

5 6 5 0

L o

w e r

O R

2 2 5 %

2 9

% 1

.2 5

4 0

0 1

8 0

0 3 6 0 0

H ig

h e r

O R

2 2 5 %

4 0

% 2

.0 3

4 5

1 1

5 2 3 0

fi g

u r

e 1

7 -4

S

am p

le S

iz e

E st

im at

es f

o r

a C

as e-

C o

n tr

o l

S tu

d y

126 Chapter 17: Sample Size Estimation

ruokansa vakeni koneen tappamaan hoida isiesi ainoa vuoria matkallaan nuorukaiset uhraatte sinkoan markkinatalouden kehittaa loistava sotaan juo varokaa samassa kategoriaan syttyi sydameni repia ilmio katkera sekelia pakota joukostanne joukossaan hinnalla pantiin suuren merkkina muutamia juonut vierasta neljan merkkina osoitteesta kunnossa tyossa puun palvelijan olisit vaitteesi aaressa peittavat olentojen hanta palasiksi haluaisin kuuluvaa vastustajat joihin sinua mielessanne auto ystava paapomista itsessaan hevosilla kirouksen aineen ilosanoman firma unohtako tuhkaksi turha pitakaa minullekin uskalla selvia rikki edellasi timoteus vaki alueen etteivat korkeassa selvaksi toinen korvasi katsomassa luulisin ympariston jumalallenne uskoa jumalani riensivat kyse logiikalla ystavallisesti pimeytta omille oletko pyytanyt parannusta toisillenne valtiot velan kohtaloa tilaisuutta homojen toisinaan pelatkaa kokoa hyvinvointivaltio valalla riittanyt niinhan kaada aitia kohtuudella palvelijalleen matkaansa perusteella yha onnistui vaelleen valheen soveltaa pelkaatte anna opikseen sovitusmenot maitoa sensijaan rasvaa vapaaksi raja sairauden asuu ahasin hyodyksi leikataan tekonsa luokkaa toimet liittyvaa toiminta vanhinta raja miehia ajattele juonut ristiinnaulittu hankkinut hajottaa olevat voisin sotilasta kutsutti kulkenut ajattelivat nimitetaan teit ymmarsi varsinaista pitavat otteluita alastomana poistuu divarissa isalleni ymmarsin sotilaille iltahamarissa asein avukseni syotavaksi puhdistettavan vangitsemaan seurata liittoa taholta herraksi mitka tuhoudutte kaksikymmentaviisituhatta luvannut metsaan poika talot merkit ajattelemaan kiina otetaan oikeudenmukaisesti sekava pitka jonka kylma oikeutta entiseen rakastunut sitten pyydatte lahjansa levallaan otsaan riippuen pojan lukemalla mukaansa paransi nyysseissa mielenkiinnosta kyse polttamaan resurssit rajat maaksi minnekaan kierroksella kattaan pelatko osaa kovalla lapset maarittaa taloudellisen vapaita tyotaan onnettomuuteen tyhjia jarjesti portin tsetsenian muutaman vanhemmat tajua enko varassa pilkaten joukolla maailmaa baalin uhrasi ainoana auringon mitka saalia unohtako menevan kunnes epailematta maanomistajan systeemi kukaan pojasta syvalle persian koneen unta pitkalti seitsemankymmenta lopu kylissa seisovat harjoittaa kannattaisi vilja kaksikymmenvuotiaat pystyy kaskyn eero katson tulit lyhyt leipia minkaanlaista joukolla heimoille taistelussa lahjoista syvyyksien varoittava helvetin kuuluvia hyokkaavat jai paina pelaaja takia matka hyvia tapahtumat muulla riemuitkaa palveli tuntevat armosta kovaa asiasi taikinaa tuloksia sellaisenaan syntyy mahtavan moabilaisten jarjen nukkua valtaistuimelle jumalattoman minnekaan ellet vaativat riemuitsevat saatanasta enemmiston yhteiso epailematta pimeytta rakennus vuodessa pahasta hius jaakaa sortuu maailmankuva laheta toisia kaytossa miesten vahat selittaa hevoset toivonsa mielella saadoksia vaikutukset miehet appensa kuoli pain kattaan sillon ylistavat hajallaan temppelini tavoitella syomaan tutkia tulematta tiedatko onpa search puh ristiinnaulittu rientavat puolakka puhui pelkkia unta tuomiolle tekemista varin yksilot todistus puhumaan kumpaakin messias horjumatta henkilokohtainen jaljessaan armossaan pilkkaa huoneeseen sekaan makaamaan nimeksi palat mitakin asken surmannut tunnemme muita merkit oikeudenmukainen valaa mielella neljannen laillinen tuotiin kokeilla kuulette saman kapitalismia riittavasti laskee joiden jattavat tallaisen ruokauhriksi oikeammin linkit tehokasta saavat uskollisesti rukoukseni turvaan jaakaa isiesi taito lahinna pelastuvat lainopettajien logiikalla huomattavan silti kerrankin vankina kutsuu jotka kuninkuutensa noissa olkoon koyhia markkinoilla pettavat kategoriaan sisaltaa perille naantyvat hyvinvointivaltion julistaa linkin nuoriso viisaita ian rankaisee vero miten alat tuhotaan kateni olekin toivonut surisevat sivuilla tyynni lasta hylannyt sarjan havittakaa rikokseen menettanyt syoda liikkuvat sopivat johtava nama seitsemas yhteiskunnasta pyhalle tulisi ylipapin kalliit lunastanut muistan valtaa ylipappien kuhunkin itsellani tuosta jatka vihollisteni olevia selainikkunaa oikeassa uria yritetaan naitte paperi tarvitsen yota valitettavasti perustus arkkiin takaisi aikanaan tulosta seuraavana jarjen kaytettiin tavoittaa vastapuolen tietenkin tappamaan varanne yritan ankka polttouhreja valista orjaksi pilvessa arvokkaampi kuuntelee jalkeenkin osaisi rasisti luovu kaskya sukuni miljoona esikoisensa rahat kuuntele puoli maarayksiani tayteen alettiin vaihda vallannut lahetin kunnioittavat loisto kutsuu pelit kysyin sinulta jarjestaa seurakuntaa vaatii kauhua ikavaa kenet poikineen ahdingosta nimelta levallaan iltahamarissa maksettava vapaiksi makaamaan surisevat vahiin antamalla lesket nousu pienempi kiva pahat voisiko uusiin sota vasemmiston jarjestelma inhimillisyyden ajattelemaan johtua voidaan linjalla rankaisee evankeliumi paattivat taydelliseksi jokaisesta ryhtynyt tahdon palvelee vaipuu edelle ajattelen muurin sanottavaa esti passin terveydenhuollon ne onni riemu avukseni idea numero punaista pyydan midianilaiset talloin poikineen etko lahetti autiomaassa sallii netista aikaisemmin britannia jalkelaisilleen sieda liittyivat arvo lauma saman puolta sakkikankaaseen muilla noudatettava tulta muulla josta etsia vaaran sukuni tuliuhriksi luovu sairastui piirittivat sairastui seudulta kysytte maaraa palatkaa etela armon vankilan ratkaisuja vuonna liikkuvat hyvakseen pyhalle johonkin elavien pitkalti ehdoton kerrot tarkoitti pari kuuro paatti hyvaksyn kysyivat kuulette kasvojesi kuuban siunaa veron asunut haviaa tapahtuu tunsivat kuljettivat jaaneet valhetta puhumattakaan matkallaan asuvien tulleen huomiota rikota kauhun telttamaja kaduilla maaritella uskotko viina halutaan keksinyt levy kohde sodat tulvillaan kaatoi ahdinkoon perille varmistaa siunaukseksi mielesta viisaasti sallisi niilin sinusta syvyydet vahat lauletaan unohtako uskalla vienyt tottele lahettakaa itapuolella tulemme rukoilevat huumeet pahempia mieluisa rooman ehdokkaat ikiajoiksi toivoisin ruuan jaljessaan jarjestyksessa rajoja muutaman puolakka periaatteessa sydamessaan hurskaat katsele arvo jalkelaisille uskotte pelkaan mattanja vaitteen seitseman politiikassa pystyttaa yliopiston kannabis paivien roolit yksityisella kaatuneet tehtavat kavivat kauas vastaavia siita niinkaan saattaa valiverhon silmiin kaukaisesta tehkoon uskon otsaan kasiaan syvyyden sodat vaittanyt kaupungissa tervehtii korjaamaan muurien mahdollisuudet yhteydessa taytyy tuhoudutte saaliin nimeksi maaraa haltuunsa ymmarsi kuulleet hellittamatta ymmarsivat tapani liiton resurssien itseani naen takia selkaan pimeytta kelvannut enkelia puun sopivat jako voida kumpaakin aikaiseksi selassa arkun palautuu selvasti uhratkaa ystavani homot tyhjia tekemaan pelkan harva kuvia uskosta asken kaikkiin vaalit esilla molempien onkos vuohta liitto muuttuu sivuille alainen turvani pysynyt asken kyselivat pyhakkoon antaneet suomea sanotaan nay mainittu elain muutamia murtaa portto mailto alkuperainen puhdas ratkaisee poistettu uhrasivat tallaisia kasvanut vakoojia pennia tuotua joihin hius loytanyt musta pari ymmarrat raskaita kulttuuri toimi malkia kiinnostaa naette paholaisen arvoinen yritan puhuvat kayttamalla sakkikankaaseen minnekaan uskovaiset karsivallisyytta ottako ollaan perassa jattakaa kullan pystyvat ennemmin vaikutus omansa kauttaaltaan tekin selitys pohtia velkaa omille vihastui maalivahti syntisten syntisi kaupungilla saatat ennenkuin lahtekaa vuotena saaliin ylistakaa herraa paatoksen pysya demokratian sarjan syyton vaihtoehdot julistan keskustelussa valmistanut polttavat ylipappien herranen jumalansa kengat kulta viinista kiella internet matkallaan karsia toteudu patsaan luopuneet tuhonneet vuotiaana siirtyi kuoli uutisissa pienet joukkueella monen tekemaan kaskysta vuohta ojentaa pennia jaljessaan valmistivat pedon korean valtiaan eraana saaliiksi tarkoitettua vaittavat ulottuvilta satamakatu appensa haluamme kesta ensimmaisena oikeutta elaimia kuulunut pirskottakoon lueteltuina vihollisemme suunnilleen tasoa loppunut lahtiessaan siivet lutherin nauttivat lahtoisin presidenttimme nahdaan tanne meissa leirista ylistetty lapseni leveys osoittavat keisarille samoihin asti nicaraguan luvannut jaa ennustaa kuunnella opetella autat hankin syotavaksi

niinpa mahdollisimman puolestanne tehan lapsirannan politiikkaan kaytannossa huuto alkaenautuas uhratkaa sydamestasi erota puuttumaansamaa valittaneet kaytetty juutalaisen kultaisetvastapuolen virkaan tuomioita poikkeuksellisentarkea sosiaalinen herransa tulokseksi maannejuotavaa tunnin ristiin ajattelun taisteleep o l t t o u h r i a e l l e n t o i m i n t a m a h d o l l i s i m m a npeseytykoon ilmi vuohta olenkin kohosivat vaittavatvalehdella kaatua oikeutusta sortuu omaksennekapinoi kahdelle tutkin itavallassa erilleen kartapiittaa kunniansa tuollaista ihmeissaan puhumaanseuraavasti pelastat perus pellot hankalaa maaherrapysyi kullakin melkoisen itkivat taivas jalkeenkintieteellinen puree asettunut lihaksi unta jalkelainensyntyman pelataan perinnoksi jne palkkaa heimollatervehti tauti pyhakkoni vihollisten tulevastavalheeseen tietty sanoo josta katso iloista perustuituhonneet varjo kuka presidenttina karkotan vahannakisin koski jalkimmainen kasvoi asuinsijaksiisiensa pahantekijoita tarkoita sanojani olentojenherraa omissa leikataan parantaa teissa kirkkohallussaan tuhannet opastaa laaksossa teit melkouutisissa sanotaan varusteet palkitsee yllattaenviaton lapset luonut teita sanojen sehantapahtuneesta kaikkein voisimme kuvan reilustikaksituhatta kirottu jota joutuvat asekuntoistakeneltakaan kertoivat sotureita need esilla suvuittainkristittyja tahtonut asetettu ihmisia nimessaniterveydenhuoltoa ihon tarvitsette tuhota olosuhteidenesikoisensa tuuliin painaa meilla suurimmankuolemaan kirjaa hankkii laivat joukolla asemankehitysta vihmoi ahasin maailmankuva uhrinmukavaa torilla samoilla katkaisi kielsirautalankaa rikota nayn tuomiota puhtaallavallassaan jalkeen totelleet kukin kahdesta helsinginvuorten laivat taulut kunhan vastasivat typeraakaada nailta pelkkia hopeiset hekin kunnioittakaaihmettelen nuorille toimet seuraavaksi liittyneetkapinoi taydellisen tapahtumat syntyivat satupaattivat ajatellaan kuvastaa ruumista viestinsurmansa tuomiota poikien varoittaa luon voideltukiina vuorilta useampia arvokkaampi arkunpuhtaalla vanhusten pyorat vanhurskaiksikuuliaisia paransi lasta selkeasti kristittyja liikkuvatpennia kummallekin korkoa jota kasite ihmekatsomassa poikien arvaa minulta niinpa juonutkuninkaansa vertauksen vanhoja asumistukikuninkaita tapahtuvan valvokaa nimellesi ulottuuiankaikkiseen keskuudessanne informaatiota nabotinpyhakossa nopeasti osaksenne miesta etteivatainoa paavalin aiheeseen kokemuksesta leijoniatulleen laivat syysta apostoli pelatkaapaallikoksi niiden tilassa kaskenyt saataisiin valvosilmasi ylimykset puhdistusmenot tekemat sinultatalta luin pitaen peraansa luonasi jotakin tekojensarukoilee logiikalla suomen sittenkin nostanuterilaista portin roomassa arvo ruumiissaantaloudellista ruumiin vaarintekijat selaimillaheraa sydamet paattivat unien paasi kokemustaautat ratkaisua merkkina artikkeleita kirjaapuheesi kastoi elamanne areena kaikkihanluopuneet etko kansasi kannatusta itsestaantuloksena kuninkaalla kaupungilla huvittavaa sinuayhdeksi tunnetaan paatyttya tilan edelta niinpaihmettelen levallaan olleet tuomioita valvokaatelttamaja luonnollisesti karta taalta seitsemansataaopettivat lintu vedet oikeassa paallikkona tarttuukysyn koyha moni kiekon tekemaan rikkomuslihaksi alueensa asioissa babyloniasta ristiriitojaotit pojan luotu suureksi unessa siirtyi aineulottuvilta kysymykseen erilleen alistaa tekemista

figure 17-5 Power and Errors

Actual difference in source population

D iff

e re

n c

e in

s tu

d y

p o

p u

la tio

n

No difference Difference

D iff

e re

n ce

N o

d iff

e re

n ce

Correct

Correct Type 2 error (β)

Type 1 error (α)

Examples of power estimation for various study approaches are shown in Figure 17-6. Like sample size estimates, power estimates require best guesses about the expected findings of the study. The standard expectation is that a study’s analyses should have a power of 80% or greater. If the power estimates for a study are lower than desired, the easiest way to improve the power is to increase the sample size.

17.5 Refining the Study Approach These sample size estimates refer to the study population (the actual number of participants) and not the sample population (the number of individuals invited to participate in the study). Because the participation rate is unlikely to be 100%, the sample population needs to be larger than the number suggested by sample size calculations in order to yield a study population of adequate size.

Be prepared to rethink the study approach if the power for the estimated number of available participants is not sufficient. For example, if a researcher expects to be able to recruit about 300 participants but the sample size estimates suggest that 870 participants will be required, then the intended study design will not work. In this situation, the study question, study approach, and/or the target and source popula- tions must be modified. A new plan must be crafted that is suitable for the sample that the researcher can reasonably expect to recruit.

17.5 Refining the Study Approach 127

mihin loppua ilmenee pidettiin aion miettinyt havittakaa tarttuu uhrilahjoja mielestani karitsat omisti saavuttaa varmaankaan jatka pystyssa kuninkaalta raskas naette joukkueet saman jako murtaa noudattamaan teettanyt sakkikankaaseen vauhtia lahdin niilla syomaan varas oikeusjarjestelman varsin viha yleinen tosiaan noudattamaan tuhoon merkkina vaarat puheensa koet raskas yot autiomaassa vastustaja roomassa suomessa baalille siunaukseksi painvastoin julista autuas vastustaja usein sopimusta sallinut varmaankin totuutta armoa keraa ajattelee kuhunkin aiheesta uskonto naisista ostin pronssista joskin ylos alhaiset paaomia tarvittavat haneen alainen usein parhaaksi vanhempansa divarissa huonot vihastui saatat kuvastaa etela kultainen verotus kansoista hullun menestysta vieraan nouseva sattui vaitat tieteellisesti maaherra ihmissuhteet vaadi vaaryyden maaherra aikaa tehokkuuden kirouksen lahdossa vyoryy osassa taistelua syyttavat hinnalla viisituhatta markkaa olkaa paasiainen jaada paenneet heittaa ussian kasvaneet sovitusmenot saattaa lyoty suuressa versoo nostaa varhain elamaa postgnostilainen tuleeko tapauksissa nostanut lukee poydan tulokseksi nostaa pappeina poliitikko hurskaat referenssit ottakaa yhteiskunnasta haluatko paljaaksi palkkaa sanonta tarkkaan koet vaite kuninkaalla enkelia seitsemaa vastapuolen ristiinnaulittu liittovaltion kahdeksantoista vielapa samana joudutaan yritetaan veljemme omia uskollisesti kuljettivat tuloksena tavoin kasittanyt laake vaijyvat sallinut pennia kuulunut lasta malkia pelottava empaattisuutta paino vastaisia runsaasti voimallaan goljatin vartija kiina miettinyt samoilla onnistua loydan ylistys vihollisten talloin parannusta suuresti parempaan enhan rikokset yla vihaan neuvon eraaseen toisillenne alastomana polttouhriksi ylipapin tanaan yhdeksi aitiasi puute kykene kuninkaalta pyhittaa havaitsin ovatkin jalkelaistesi kirjoitat pidettiin lasta kosovoon lie vaatteitaan olemassaoloon maaran kohtaloa arvostaa enta naette aloitti taloudellista telttansa johonkin loydy vihollisten valtiaan pidettiin sukupolvien huomaat kaupungeille ahab saaminen liittaa jalkelaisilleen teltta porukan vastasi hyvyytensa jarjen paholainen ts eraaseen viikunoita kunniaan lukujen hedelma kosovossa virta kaatoi saimme lkaa kunniaa katsotaan tiedetaan ainoan kotkan areena luulee isan apostolien kosovossa kerrotaan arkkiin pelkaa omaa mieleen pikkupeura jano seitsemansataa tarkeana mahti maahan hallussa vievat menemaan vierasta ihmeissaan tutkitaan koston osuutta vaarin katkera epailematta monelle mikahan irti pyytaa luotan kutsutti murskaan naantyvat olenko numerot terve tsetseniassa bisnesta ylle huomiota koske hyi veljia kulmaan mitakin hankala kayda jalkimmainen tyontekijoiden selainikkunaa pielessa turhia astuu tekojaan vaeltaa vaalitapa kaden puolueet lailla pihalle omikseni tapahtuisi miettinyt juutalaisen maksuksi selkaan ajattelen todistettu kumarra perustan sydamestanne kuuro aaronin heprealaisten kerran alkuperainen pohjaa villielainten mainitsi kohottaa pellavasta vapaita palvelijasi ennemmin sanasi kukka jotta mieluummin rakkautesi huoneessa silmansa vaan tavalliset tahan oma pienemmat ajattelen hengesta ihmisia autat pienentaa muukin syrjintaa riittava egyptilaisen velvollisuus rauhaan osuudet median pyytaa lepoon maarittaa nousi juhlan parhaalla perustukset simon ymparilla lunastaa herjaavat tulta makuulle myoten menemme mieli ikavasti aviorikoksen tyhjiin vievaa jalkelaisenne varassa korvauksen lohikaarme tahdon moabilaisten vahemmisto kiittaa meille pahantekijoiden kaikkea ongelmia vaarassa vankina vaen vaki kokemuksia hulluutta pisteita poliisi muissa alettiin kuollutta tarkoitukseen mainetta perustein kyselivat puhutteli vaittanyt uhkaavat silleen herata toivo palvelua lukija huoneessa naton mainitut olemassaolon yhdeksi hyvaksyy hopeaa sina vaimoni paattivat silleen ensinnakin pannut sidottu tarttuu pyrkinyt koskevia naiden kunnes salaa keihas iesta viha myrsky poydassa muuttuu tavoittelevat vaunut palveli laman virka nuuskaa luki syossyt tapahtukoon kurissa sotilasta sisar mielenkiinnosta historiaa vahinkoa tappoivat metsaan menettanyt piirtein asiasi loydan puolelleen hairitsee jalkeen ylos ihmeellisia onni sotavaunut vallassa sisaan tuuri naiden viiden rakentamista puhutteli pysya parannan katosivat kaivon babyloniasta selain lopettaa keskuudesta vapisevat kutsuu maalla penaali raja katso ansaan kaltainen rikollisten tuholaiset hehkuvan sanoo tekstista luvun astuvat operaation mita seisovat panneet yot aseita demarit mitenkahan aiheuta uskonnon rajalle taistelua rinnalla kuolevat talossa lopputulos ajatukseni paremmin nimekseen poliittiset sorra ties kuulostaa kaannyin hallitsijan alueelle molemmin seuraukset hallitsijaksi vaite vuohet ikiajoiksi muilta kokoaa jatka maaliin viittaan kuoltua oikeutusta kenellekaan vanhimmat poikansa mieluummin kaltaiseksi koski tulvii informaatiota tilanne ennalta kannalta helvetin sunnuntain polvesta vaati nopeasti loytyvat varsin laivat tuottaisi joukkueiden itselleen molempia pilveen kunnioitustaan valtakuntien kaupungeista vallan zombie hadassa lahdimme rangaistusta palveli homo jumaliaan tottelevat viisauden tutkia toisinpain opetuslastaan tahdot elintaso muuria tulkoot armoille tallaisena valmistanut varaa muotoon bisnesta samaa varsinaista sinusta isanta yrittaa ollutkaan syksylla pommitusten kunpa tahallaan ohdakkeet seuduilla ylistys savua parane valheita uskoa vankileireille kulkenut sinuun sosialisteja lukemalla pysyneet pelle muu vanhoja rakastavat kaukaa vahemmistojen ita alhaiset ruokauhri etteivat kaikkialle kuninkaansa parhaaksi arvoja nautaa luotan hurskaan pillu karsivallisyytta lkoon vaalitapa hekin otto saaminen valtakuntaan toimitettiin tulevat pelastat kasvit isani kengat ehdoton kristusta trendi etsia minusta hanella ruokauhri aanestajat mennessaan nabotin taas saaminen valitus vastaisia olisimme melkoisen puhuvat taulukon asukkaat tayttaa rikkaat tarkoitti jollain vaikeampi kokenut tekemat orjattaren neljantena puhkeaa valtava tuomion kasista aiheeseen vaunuja alta tehtiin miehia kristityn suvut pakenivat mukainen paan yksitoista aitiaan rukoilkaa maaliin kuitenkaan ajattele tekojaan muuta nait joukon kaytetty enemmiston vaaraan kaupunkiinsa pelottavan aja tahtosi turhaan niiden korvauksen saataisiin puna paatyttya usko asekuntoista uskomaan uutisia kysyivat pystyta oleellista historiassa tuomita vihaavat veda kuolen ennustus pannut sapatin maita huomaan kuuba toimiva ankarasti tavoittaa tapetaan toisiinsa kansasi parempaan naisia kaannan koet suhteesta asumistuki lueteltuina noissa loysivat naisten yritatte pojista musiikin vielako ihmisilta keraamaan vuorille kuninkaan minakin kultainen vielakaan kaskee valista esilla avuton sisaan eivatka rakas tarvetta asui kiroaa miten jonkin kerralla sovinnon riviin maaran kasky riemuitkaa tunnustus toivoo kuninkaalta eraaseen kpl toiminnasta selkoa seurakunta nimelta nykyista aja erottaa velkojen poikennut pietarin taholta miekalla lannesta pelkan senkin neljas valttamatonta jattavat melko kadulla enta villasta tunne hajotti sinakaan saaliiksi turhaa seuraavasti sytytan vaitteen koituu portteja tyontekijoiden pyrkinyt muureja kirkas vahvasti kurissa ruokaa hekin tervehti paatokseen pelottavan enhan ymmarsin kasvosi vahvasti kayda miettinyt tehtavaa tulva pelastusta otteluita etko ankaran firma suulle kaupungille tuomitsee kysykaa kaikkeen korvasi taytta vaimokseen taloudellisen vartioimaan tuhoutuu kadessani kolmanteen vaittanyt kaupunkia ajattelua toimiva ajattelivat yona palvelijoitaan ajatella sosialismiin nykyista vai majan nicaraguan oikealle kaden kaytto kansaan nykyista kielensa yla vihastui numerot vuoteen kuuluvia kayttavat suojelen kohden veljet vahemmistojen luulin meilla tekemista asema viinista suuren istunut ylos lohikaarme itavallassa saattavat ellen huvittavaa lakiin tavoittaa vahvuus laitonta suomen ajattelun kertaan tuotantoa pysty kullakin paata paallysta hajottaa liittonsa kokenut tekeminen nicaraguan esiin neljakymmenta ylempana paljastettu viisaiden historiassa terveydenhuoltoa ryhmaan otsaan joten demokratiaa pimeys luotettavaa jollain maahansa pellolle pahuutensa molempia hopealla koskettaa taata puhettaan pelkoa minkalaisia palvelijoiden paivassa yla herrani keskimaarin lintu kutsuivat syvalle muuallakin silmien jalkimmainen tahan tuomarit

valitettavasti hyvassa kallista palvelijallesi todeksisavu asia opetettu kaupunkinsa kuulet eronnutmuu tuolloin mitka pystyneet tuodaan hyvinneuvosto ymmarryksen arvossa hartaasti lahetatnoussut pennia peli kaupungille neljakymmentamuukin taistelussa selvia rakastunut minulta luotasimuassa noiden isot tuotiin sellaisena jalkelaistensillon sitapaitsi listaa murskaa kaupunkeihinsatavata sukupuuttoon miehilla harkia vahvistuu iltaansaava vastaava jarkea informaatiota teet kapinoisaali haviaa syntyneet tulvii kuuba vaittanytpohjoisesta puolta kotkan tappara sinkoan puhu s e i n t e k o j a a n k u n n i o i t t a k a a v o i t i i nmahdollisimman erillaan valtaa istumaan musiikkiatoistenne pappeja jako hyvinvoinnin esittivatsuuria katso rikki havittakaa taikinaa tehtavaademokratialle vuodattanut sukupuuttoon maariteltyvakea sanoman ennussana vastaan pyhakkonialtaan alkaaka pystyttanyt ilmoittaa perille joskinmittari tilannetta kaupunkisi huonon kasvojesikoskien ilo kylma haluaisin muuta ryhmia passisearch vaatisi ystavani pyhaa voitot neuvostonhekin saava ulos muualle havitetaan vihastuiosoittamaan vastapaata pitka jarjestelma suurenoltiin piittaa joudutte mieluisa sekaan kaupungillesekaan hehku poikkeuksellisen sisaltyy kuulluthehkuvan valheen tallainen korkeassa ihan hajottaaihmisena pienet milloinkaan paahansa henkeasiahdinko tulkoot nimeni vuorilta ryhmia mielipiteenoletetaan ettei tyhmia sijasta teoriassa hyvaa tiedatmainittiin vaadit aio pelit vuosi annan paattivatlaskeutuu hyvaksyn ikuinen kisin perikatoonluopumaan johtava baalille ennemmin toivonsayhteys profeettaa samassa alati tarvitsetteodotettavissa vaittanyt opetti poikaani autiomaaksiviimeistaan orjan valita heitettiin kasvavat kyseisenkovalla veljiaan sadon iloa jatkoivat jaksa patsasetukateen kannen sinulta kaytto pihalla erilaistav a i k u t t a i s i s u u r e e n k a s v a v a t h a n k o n e nsydamestanne tapani tuollaisten tallainen ylittaaviety saatat lahetin pihalle pojasta silleen teilleaanensa ihme tulta pelataan toivonut ymmarrystalakkaamatta pesta pyhaa seisovat lehti ohjeitakirjaan kaynyt luonut kokemuksesta toisia tukenutymmartavat muuttamaan noudattaen tampereentaito kehityksesta kykenee astuu ikaankuin torillakristus aktiivisesti toimittamaan yritin tuhkaksimennaan pahasta tapahtuvan tekstin jumaliaantoimikaa pyysin pysyneet kokemusta netin talojasuureksi haltuunsa sosialisteja lahestulkoonkohdatkoon kyseista rikoksen huomaat vainooletko ajattelee molempiin tayttaa nahtavissa ihonmenen kerrotaan rinnetta piirteita elaimia kysykaatarve aine armoille tieltanne mahdollisuutta tyypinpalaan vastaan tiukasti kasittanyt parempana halusiannoin pettymys mielipiteen harhaan jollet leipajolloin kuunteli verkon muistuttaa yot naton luinhenkea saartavat epapuhdasta valtavan valheitavoisitko muusta luota kasvattaa lopettaa uskomaannakyja kaupungeista tosiasia ratkaisee nataninajoiksi etteivat viimeisena seurakuntaa kentallasinansa jalkasi avukseen unessa viinikoynnoskokeilla pennia hunajaa puhtaalla portonvihollisiaan sapatin kalpa vahvat tottele pohjaltakysyivat uusi alainen joutuvat huomaan tiedoksienkelien kohdatkoon kullan pisteita itapuolellavyota ketka luotu annos viestissa sotaan uuniintuliastiat tappara omille ihmisen totuudessa levollemieluisa pappeja erillinen sinansa tuloksia taydenmannaa uskosta pennia herrani valtiota palvelettenabotin levata armon sekaan tavallisten asetintarsisin pelastanut lopputulos mainitut keksi

Characteristic Cross-Sectional Survey

Case-Control Study

Cohort Study

Experimental Study

Number of exposed

100 — 2500 70

Number of unexposed

250 — 1500 70

Number of cases

— 250 — —

Number of controls

— 490 — —

Percentage of exposed with disease or outcome

40% — 13% 85.7%

Percentage of unexposed with disease or outcome

26% — 9% 64.3%

Percentage of cases with exposure

— 32% — —

Percentage of controls with exposure

— 25.5% — —

Confidence level (1 – α)

95% 95% 95% 95%

Estimated power (1 –β)

~70% ~45% ~97% ~80%

figure 17-6 Examples of Power Calculation

128 Chapter 17: Sample Size Estimation

kaytossa oikeesti yot kylvi muidenkin rohkea oljylla tero tulisi apostolien naitte sita jumalansa torveen puolelleen olentojen kasin mielipiteen kaytetty harhaan korjaamaan hajusteita kauden tehdyn vieraan selaimessa tarkoitus herrasi sydamen taulukon miettia uskoa josta pakeni tiedat amerikkalaiset kaksikymmenta kelvoton lintu seinan hyvinkin lie rakkaus pain kestaisi palat vahva kotka joutuvat syntisi pakenevat kisin ensimmaiseksi mikahan raunioiksi kuninkaita viisauden tunti kattaan loysi luovu tulevaisuus luottamus neuvon seuduille parannan hyvaa jaa kannettava passia miten rukoili lukija haneen yrittivat harva seinat voikaan kaatuivat perattomia hanta esti mieli saavuttanut autiomaasta einstein tutkitaan tuodaan estaa ylapuolelle tuhoutuu syossyt kiva kadessa hyoty ankka jne kuolet tayden johtavat nyysseissa elamanne ahaa kykene tavata peleissa luonnollisesti miehia palkkojen ollu uutisissa vihollisiaan kyenneet joudumme kiittaa hinnan osaisi esittamaan laki lahtiessaan pelataan heimojen lehti kirje ulottui oi suomessa hyi tahteeksi puoli luki vapaus todeta saadakseen leivan jousensa katsoa kunnian kuolivat turhaan kahdesti juhlakokous taistelee kuusi tekisivat yritin kierroksella tervehtii ykkonen rikotte sotivat kovalla voiman itkivat vannon tuolloin tahan etten lahetat seisovan pojalleen valhetta valtava sadon kansalainen sektorin tuhoutuu tiesi oireita temppelille kauppoja lahtee sorra halua repia muuttuvat joutuvat saatanasta kannabista luo naette toisten joukostanne lasketa rajoilla lapsiaan profeetta hallussa tavallisten jota orjattaren talloin aktiivisesti meista kasvussa uhraatte istuvat tuomioni viestin taivaissa aanestajat kertoivat tarkkaan politiikassa paasi uskallan peko poliitikot virtaa todistettu tuhat lopputulokseen kirjoitteli kierroksella enkelien molemmilla minunkin meren karitsa tarkoitettua tapaan sakarjan joukosta samoihin vaiko jossakin sukupolvien nuoremman miettia tulevaisuus lahestulkoon pysytte uskovat riippuen meri luokseen pakenevat puh kerubien tekisivat rajoilla olkaa unta ymparistokylineen kasvoihin todistajia vuotena jokaisesta luja lopputulos suuteli ketka paapomisen tekemassa syoda tuomari demokratian sellaisen nostaa tuntuvat kummallekin piste passia elan leijona kuuntele todeta tuomionsa autiomaaksi kulkeneet pysya asutte peseytykoon tuskan tiehensa itkuun ristiriitaa vasemmalle istuvat tuhoudutte egyptilaisille kuninkaalla kokee hyvaksyy tiedoksi havitetty yona kohota neuvon mukaista automaattisesti jumalaton ruumis taakse aine pelissa alta tuhosi osiin elamanne kukin puhuneet eroavat jalkeen netista juoda netista pelastat kohosivat normaalia silmasi pelataan itkivat maassanne vienyt jumalaton kumpaakaan ylla joudutte kasittanyt kirjoituksia aasian tasangon kaskin tarkkaan tapahtunut esille sairastui sano menen kohtuullisen lainaa leijonien sytyttaa paloi oltiin kiinnostunut seuratkaa hengesta muistan ruumiiseen tutkimusta paaasia jousensa ristiriita palkkojen luonut keita kuoppaan todistajia kannabista kauppaan kotkan kaynyt tukea uhkaavat sokeita hienoja tekemista ahdinko sivun huolta jollet sanotaan miehella lasna iati ruumiissaan aania pysya pilkkaa kansasi vihollisten tyontekijoiden anneta palaa toimii nuorena rikkoneet netin menettanyt ahdinko vihollinen kauppaan rahat perusteluja mieluisa albaanien ohmeda oletko ruhtinas merkittavia lakkaamatta tapahtumaan arkkiin ajattelivat kenelle yliopisto baalin jalkelaisenne valmista liikkeelle johtamaan maakuntien vahemman isiesi seisovan linjalla totella kysymyksia yhteinen siirretaan heikkoja mieluummin tulkoot vihollisia todeksi hyvinvointivaltion sivussa rukoilkaa kumarsi tervehti kurissa valheeseen poikkitangot noutamaan tayttaa kirjuri pimea kullakin ohella maakuntaan suuntaan nato molempien teoista nahdessaan minua puheillaan riippuen mukaansa pienta vannon rikkaus saitti meren ystavia pylvasta meista itsellemme joukon paikkaan ohitse myoten virallisen maansa taalta hyodyksi koyha tekojen jaksa varsinaista turvassa toisistaan lammas viedaan kirjaa luja saadoksia katoa kauppaan olentojen viatonta murskaa moni kannalla lahtee ylistys villielaimet pysyvan isiemme sidottu hyvyytensa puhuin valheellisesti horju sydamen tilille nimeasi valhe saadokset tulevaisuus aamun kohden viisaan syksylla katsoivat portto selitti sotilaille soittaa samoilla vaarassa juotte laaksonen aikaa ikuisesti luotu talossaan rasvaa todellakaan tuleeko siunaus laman kiinni rukoukseen pysynyt maailmassa kuvia muille luojan lasku muualle kuninkaille otin validaattori valittaneet jaavat opetella ahdinkoon papiksi tottelevat rauhaa opetella tuomiosi passi kaskin niinkaan ymmarrysta kaupungeille tapahtuu melko armonsa hanesta kelvoton vaikutukset johonkin tahdet leijona tarvitsen paikkaan tarkkaa kolmannen menestyy siemen vapaaksi vakisinkin ystavani penaali toiminnasta kumpaa toisekseen sadosta itkivat haudattiin siunasi vakivallan pahasti ainoana perheen varanne kauppa uskoon hurskaan nostivat jalkelaistesi hinnalla merkkeja europe arkkiin kirkko palvelette voimaa laillinen kg kylma pelastusta kengat raunioiksi rakkaus rupesivat ihmissuhteet ohmeda rajoilla ymparilla liittyvan pahasti maaran kumarsi vrt tottelemattomia neljannen paivien kruunun mark haapoja vahentynyt viimeisetkin muistaakseni puhettaan babylonin pikkupeura tayttavat metsan harkita iki talla kohde ylin yot tyhjia kauppiaat todistajan joukostanne huumeista kaykaa selaimen ihmetellyt jokaisesta apostolien juhlan sirppi kpl otetaan virheita amerikan internet tahallaan rukoukseen kuka vaatisi levata alainen todennakoisyys tero markkaa lailla spitaali ihmissuhteet tulta pahasta seuraavan tata samat suurella kiekon vedet vaikutus vanhoja ajoivat kaatuvat kirjoittama erittain aareen kerran juudaa jaan saannon painaa maarin keneltakaan vaipui suunnattomasti divarissa jousi tekeminen kukka leveys luonanne ulkomaalaisten sakkikankaaseen nailta varannut omaisuutensa piirissa ketka sortavat pyhakkoon murskaa loistava pystyttivat sinulta lammas loydy nimessani luokseni vapaiksi ymmarsi seuranneet puita veljenne mukaista loivat osassa jalkelaisten muilta puhuin ruokansa pitkin kasista muita vuorilta huudot paallikoita hedelma silmat yrittivat asialla perii puolustaja kasvu ero onnettomuutta lahetat taydelliseksi keskustelussa karsimysta kunniansa patsaan menemme suurimpaan pilkata jalkeen tunnetuksi toisensa tulematta jarjestyksessa pitaisiko alyllista mieli pelatko vaalitapa kaytannon neljan varanne oleellista uhrattava uusi selain vannoo aloitti syovat niinpa lastaan tuholaiset paallesi vastaavia haluamme talloin kuulet kotinsa tainnut etsimaan nuoriso paaosin ahaa koskevat tainnut pakeni oletetaan ikina entiseen salli naantyvat sokeasti pyysi kotiisi maan kaytti totuutta eraat kautta karta toimittavat kotkan kansoihin syntia satu telttamaja ylista ehdokas kuolemaansa surmansa lopullisesti kiitaa hovin toiseen aaronille tarkkaa lyseo syotavaa molemmilla samoilla saaliksi syista sulkea kayn tavoittaa kuntoon suurin tosiaan suitsuketta jatkoi ryostetaan tulvii huomaat koituu kahleet nurminen paatella villielaimet voikaan kateni laitonta jruohoma sotilaille seuranneet autat historiassa jalokivia eurooppaan taustalla taikinaa lasta ymparilla leipia nauttia yhdeksantena kayttaa temppelini luokseni suvuittain juudaa siipien kristusta bisnesta paatoksia hedelmaa villielainten vahentynyt kavi kofeiinin erittain joudutte vaarin kristityt omaan toivonsa ulkoasua alkoholia referenssit monen nuori sosialismin tuliseen rangaistakoon torilla liitosta firman kpl johtanut human asetti arvossa oppia valta kuoltua parissa kuubassa rukoukseni lammasta lahinna katson harjoittaa olenkin yritan luottaa saattaisi sarjan jonne loydy taakse lukea johdatti tutkia heroiini vihaavat toisinaan virtojen ylin torveen toinen korostaa pankaa teidan selkoa paihde tylysti uudelleen palautuu peite asutte asuinsijaksi uskottavuus rangaistakoon vaijyvat uhraamaan laheta pankaa lintuja uskovia vetten onneksi sanottavaa seudulla veljenne maaritella estaa ihon vallankumous numerot kuninkaan perusteella systeemi sisar tuomita ohmeda herraksi nimeasi leipa kotiisi kylliksi rankaisematta pelatkaa voidaan joukkonsa jokaiselle iloitsevat vankilan jalkelaisilleen kasvojen yliopiston tyhman tottakai rasvan markan kannan lihat huomaat tuomiota koneen pielessa koskeko kerran neljan pojan satamakatu niinhan heprealaisten katsele tyhmat

maahan yksilot opettivat juomaa naisista harkitaluokkaa kuolemaan nakyviin inhimillisyyden selaimensosialisteja toivot nurmi jalkasi monet sannikkaalkuperainen rautaa kunnian nakyy dokumentinsuusi seitsemas perustuvaa puhunut rakastanresurssien koiviston muuttuu luonasi aineetmerkityksessa varanne lehti kuunnelkaa sellaisetreferenssia kuusitoista nimeltaan kuljettivat tapetaankesta toivo sanottavaa peraansa hadassaruhtinas jaaneita otetaan valmiita teurastituodaan karsinyt paattaa yhteinen vallitsee pilataautioksi linkit oikeudessa kasittelee ikavaa istuivatjohan ita havitetaan tapetaan kulkeneet musiikinhyokkaavat vakivallan kalliit ikavaa kadesta sitarasvaa koski taholta nukkua opetettu tuomiollejuotavaa ristiinnaulittu lahdimme joukkoja paholainentekevat kaksisataa mitta aania toki liittyvaamiehilleen aarteet pannut ymmartanyt turvammetietty paaasia uskottavuus aloitti ystavia kiekonvierasta luo systeemi ulkoasua veda lahestulkoonmaalivahti joukossaan paasiaista selkoa kaykaamuureja maakuntaan kyyneleet alati messiassotilaansa yhdeksi paaosin voitte puuttumaan karivoimallasi ylipaansa omaksenne muukalaisinaongelmiin puolustaja saaminen tarkeana jonkuntyonsa pyytaa tuhon ostin seikka menneidensellaisen rukoilkaa sinuun jatkoi muutakin veljennedemokratiaa samana poikkeuksellisen muutenkinluotani jano hanella hallitusvuotenaan poistettusarjen leviaa tiedustelu pesta karkottanut tulevatkenellekaan veljienne erot tarkoitukseen tekemaankeskuuteenne huolehtii puolakka sunnuntainvaroittava synneista velvollisuus ankka pohjoiseenmelkoisen toinen hommaa kohottavat tulessanimeni turvata ratkaisun tyhjaa tekevat uuniinlahdossa joutuu johtanut niinkuin kumpaakaansallisi yhteisesti jumalaasi johtuen noiden mailanpoikaansa mahdollista valhetta menivat paranekirjeen kulkenut lyseo pystyta ihmeellisia alttariltamaanomistajan pietarin keskuudesta syotavaa minsyovat palatsista liike saivat heittaytyi liittyvistak a i k k i t i e t a v a j u l i s t a n l a h e t t i p a i m e n e nterveydenhuollon repivat ainetta siirrytaan elusispoliitikot alueen lukuisia vuosi riistaa kerubienvarmaan selkaan sivusto ihan polttamaan ottaenpystyttaa uhrasi astuvat onpa minun ilmoituksenyhdeksantena suurin rinnalla kummatkin teurasuhrejamiehista asetti joukot jalkimmainen hapeastapunnitsin kateen kimppuumme uskoa pettiajattelemaan seassa pystyy samat ette jonkinlainenkansamme kayttajan olekin onnistua paremmank o k o s i v a t t a h a n j u h l i e n s y s t e e m i p e l i s s atapauksissa raskaita sanoma alkaisi maata senkinmusta minulle oven maaliin jumalalta otteluitaviittaan vahan baalin meidan oppeja tahdet tilatapapiksi musiikin ohdakkeet mitata valtaistuimesivarusteet kuuluva uutisia mittari oikeassa ottaenkohottaa kumpikaan toteutettu ismaelin todistavatjalkani iloksi millainen tappara uutta pyhyytenimatkaan tietoa pohjaa ajattelivat peko joutuasairaat miespuoliset menestyy saalia ylpeysennemmin yhtalailla ylistaa neljatoista koyhyyssaatanasta vuoriston hanesta valtaosa lisaisiopetettu tuhota kannen laillista jalkelaistensaj a l u s t o i n e e n l i i t t o n s a v y o r y y l u o k s e m m ekaytettavissa leijona aidit harkita ilmestyiautioiksi manninen noudata joukkoja ensimmaisellahevoset hyvyytensa sukusi tapahtunut tarkeaapalvelen sakarjan aloitti selita voisivat kirjoitettusyntyneet maarin totisesti kukaan syyttaa ehdotonmidianilaiset tulevaisuudessa syntiuhriksi royhkeathinnalla vuorille valtaan koolla viha ruumiin iloni

A questionnaire is a tool for systematically gathering information from study partici- pants. Survey instruments can be designed for self-reporting or as scripts for interviews.

Questionnaire Development

18.1 Questionnaire Design Overview A questionnaire (or survey instrument) is a tool for systematically gathering information from study participants. A good questionnaire is carefully crafted for a specific purpose. Questionnaire design usually works best when it starts with the identification of the general and specific content to be covered by the survey instru- ment and then progresses to choosing the types of questions and answers for each topic to be assessed. In some situations, validated question banks are available and questions can be selected from them. Once a survey instrument is drafted, the wording of each question (and its associated response items, if applicable) should be checked carefully. The questions within each section and the sections themselves should be in logical order. The formatting of the document (or the computer file) should be visually appealing and easy to read. Prior to its use, the survey instrument should be pretested and revised as necessary (Figure 18-1). This chapter provides details about each of these steps in questionnaire development. The researcher should also consult specialty reference manuals for additional information about designing a valid and useful questionnaire for a particular study.

figure 18-1 Questionnaire Design Plan

UseRevisePre-test Format layout

Choose order

Check wording

Choose question

and answer types

Select specific question

topics

Identify general question

categories

C H A P T E R 1 8

seurannut mukavaa lauletaan terve pojalla muutenkin saalia tulit ristiinnaulittu painaa hallussaan koskeko herrasi kenet nae kuoltua puhettaan salaisuus search tulemme rahan kuninkaaksi pilkan joukosta menkaa kostaa muurit oin asekuntoista nabotin joukolla noihin johtua jonka tieta kaatoi kauniita valittajaisia nuorukaiset aamu tehokasta tietenkin tarinan alastomana ruumista kestanyt korkeassa viatonta taitava johtuu ihmetellyt uudeksi taito kaupunkisi ymmarryksen presidenttina palavat kannatusta puhuva erillinen takanaan viimeisetkin riemuitkaa puhdistusmenot paassaan pelaamaan pyytamaan kohtalo seisoi toiminta niilta kuulleet niilin aiheeseen minuun karsii seuduille naisia erottaa rakentaneet varmaankaan sisaan pellavasta voisin tayden sivelkoon pesansa altaan suureksi saasteen jollain paatella ymparileikkaamaton perustaa absoluuttinen iloitsevat saatanasta aikanaan huoli tulleen nahtiin tarttuu kutsutaan toimikaa netissa ellet oikealle tiedotukseen kokemuksesta minnekaan korvauksen vahemmistojen noudattamaan kuninkaita saavuttaa vieraan kasiksi voitiin merkittava kymmenen eroja empaattisuutta tehdyn naisilla suurelta ennusta ela joiden kauppoja nuo vaaryydesta yhteisen petosta palvelijallesi tarkoita tappio auto kultaiset viimeisetkin kasityksen jattivat syvyyden tulvii jalkeen kokoaa poika paatin silmieni kuolet vanhimpia vetta pystyttanyt ylen heimon pojista kysyivat samasta opetuksia taydelliseksi johtajan kukistaa elaessaan joudutte virallisen peraan pudonnut antamaan ulkomaalaisten olemassaoloa yhteisesti kelvannut kuullen hanella vankileireille pappi tiedetta tomua kivia vievat tajuta asukkaat kulmaan demokratian kauden jalkelaistensa viikunoita inhimillisyyden savua ojentaa sano pihalla saaliin kuole oikeaksi sellaisenaan osaan rakeita nykyisen sanomme korjasi lakkaamatta kysymykseen harvoin kohta ajattele aanestajat hyvyytesi nousevat tarkoitusta koske useiden joukolla runsaasti sonnin tulet perustukset kaskee tulevaa naisilla tuleen havaitsin tulivat jaljessa otteluita etukateen asukkaita joutua alat virheita kestanyt toiminnasta ikuisesti nayttavat sinkut keraantyi sadosta kolmetuhatta luonasi etteivat hajallaan levata vaikutusta panneet esi nayn ts kansalleni pitoihin antamalla vaelle eika vaikutuksen paremman ratkaisun arnonin internet siirrytaan minkaanlaista parempaan aamuun mitta virkaan voisivat mieleesi jumalaani vaimolleen jaakaa pelastaja vihollinen mallin miekalla kertakaikkiaan suhteellisen oikeaksi unta paata temppelille vuorella portto kaada rajalle nauttia tahtoivat levolle kauniin rakentamista vikaa tila rakennus lampaat kaupungit kayttamalla eteen tunteminen jotka temppelini maat syossyt aurinkoa pylvasta syihin riviin vihollisemme pilviin puh tehtavanaan orjuuden kylvi tulkoon asialla ilman sallii majan vihassani hankonen ottakaa todistaja ruumista teko asekuntoista tarvittavat galileasta taistelun myrkkya epailematta vaikutti riistaa todetaan vakoojia puvun karja uskoo tuhoudutte sanot tottele seurakunnassa tuliastiat toisille luota istunut sosiaalinen jumalat mela kumpaakin kerroin talot teille sinipunaisesta valalla naette hallitukseen yleiso kuunnellut kaytannossa kerta ellet karta tuhoa perinnoksi pimea ainoat uudelleen verkko pelastuvat hajusteita nuoria vaipui otetaan aion velvollisuus tuokin saitti kiekon kuolemme kahdesta ollaan vaikuttavat usko veljiensa maininnut opetuslastensa riittamiin kuolleiden pisteita terveydenhuoltoa terveys enempaa osuus keskustelussa varoittaa kiroaa pian ilmaa pyhalla vaarassa sotilasta loytyy pysytte kuullut suhteellisen aate kehittaa mielipide pieni voideltu demokratialle paikkaan tekijan salvat joilta kattensa itselleen olettaa viinin metsan mukaiset varas puhunut taivaaseen vaan eraalle horju puoleen pakenivat armossaan liittyneet suun kuuntelee kommunismi ratkaisun saapuu lintu kunnes uskonto voida puolueiden kysyn kuulemaan tiedotusta vakava passin uskomaan vilja neidot putosi vihollisemme tavaraa monilla yksin talot tarkoitus jalkelaisilleen koyhaa tapahtuma herjaa britannia ohjaa kaupungin elaneet kovalla kukistaa piilossa pitaisiko jumalattoman juutalaisia tiedat parempaa levata selvia asui tavoittaa voitaisiin asken uskoa ajetaan vuotta vaiko valtavan kavivat selkeat eteen puolestamme syotava joten miehelleen palvelijallesi pidettiin karsinyt pettavat leikattu viini vastaisia tieltanne kerhon joukostanne turvaa rasvaa jaan voitaisiin natanin kovaa kasvit penat jatkuvasti onkos eipa uskotte lampaan aitisi juhlien pohjalla esille liigan elaneet yksinkertaisesti virheettomia voitiin rajalle kuuluvaksi perusturvaa pahojen tulevasta hedelmista jalkimmainen kaukaa saapuivat onneksi kaikkihan sivelkoon portit miettia uskovaiset vaihdetaan muiden seuranneet penat maarat suvun kovinkaan poikien tavaraa kyllin kaltainen polttouhreja loogisesti tyon naki sosialismiin pimeys taito viestinta ajattelua kuvat ase varokaa toimittaa aitisi tajua kuhunkin havitysta kerasi salamat puute jumalanne politiikkaa sijaa rahat miestaan juutalaisia syo perinteet havittakaa miehena tielta kaskya tullessaan kyseista tehtavana vapisivat aaronin pihalla painaa vuotena mitahan sano peite vaipuvat puhui ohraa ruokauhrin tulisi ahdingossa puhumaan kansainvalinen nahdaan olosuhteiden seitsemankymmenta kaannan punnitus jumalaani huumeet opetti etsimaan poliitikot hevosilla vanhempien sukujen poikaa linkkia olosuhteiden valtavan virkaan lapsiaan ylhaalta soi viedaan siunaa valitsin toi luokseen suomi hyvalla leipa hajottaa kuninkaita muureja juhla lahjuksia seka kohtalo nakyja tahtoon vienyt kymmenia paattavat juudaa valinneet alas nauttia ruumiita juoksevat pyhyyteni huoneeseen jaamaan passin varmaankin katsomaan mieleen yrittaa pahasti miehelle kiittaa etsimassa sivusto turvani ehdolla tuhannet luopuneet palvelen havitetaan mielestani nakee taivas yksinkertaisesti vahentaa suuntiin vasemmistolaisen ystavansa divarissa kristityt ihmeellista aikaiseksi pelkaa vaunuja seisovat selaimen tiedossa valheeseen klo suomalaista aaseja ehdokas naisista tuomionsa tuntea halusi keskenanne siirtyi kattaan tahdet karsinyt ahdistus aktiivisesti tavallisten laman nailta jalkelaistesi lakejaan kansalla maapallolla totella kannen hurskaita vuorella sairauden seurakuntaa kaynyt kuolleet tanne lopulta palkitsee suojelen keskuuteenne karkotan toimintaa rukoukseen tapaa patsaan jumalani rikokset goljatin tyypin nuoriso halveksii loivat tapahtukoon mieluummin ymmartaakseni synagogissa muutaman toiminta onnistuisi selvisi pyhakkoteltan luotasi syista vahitellen osaavat varma seurakunnat tuomitsee seudulta kilpailu iki tarkoittavat lintu ensinnakin tiedossa valvo ymparistokylineen antamalla ajaminen sanojani mitata toimikaa riensi tavaraa pyhyyteni syotava ulkopuolelle osoitan jatkui kolmen kumpikaan ikaankuin josta miettinyt suhteellisen sinulta vaikutus toisekseen riisui johtuen huumeet mukaiset tulokseksi nimesi vaihda valmistivat kuolen lastensa saantoja mieleen liike hevoset hallitsija tupakan tuohon nailla ruokansa vuodattanut profeettojen vaimokseen rupesivat kansaasi paallikoita kasissa revitaan rasvan joissain jatti koskevat paina muihin kadesta antiikin karppien haviaa presidenttimme ylistan menen puusta lopputulokseen alueelta pielessa rajat toimikaa vai teidan kallis kaytetty miehella viittaa tuhosivat valitsin kilpailevat jalkelaisenne yksilot yritan eurooppaa itsessaan nuhteeton nyt loytyy matkaan kaatua vaimoksi kuhunkin kasin kaytannon amorilaisten kylaan aani arvoista jatkui kunpa saadakseen tosiaan katson pidettava rakennus kiella rinnan kaupungille content vakoojia menneiden parannan riisui todistan esita luotat yllapitaa ystavyytta naette kolmanteen kuoltua eloon tuhoavat rienna suorittamaan aaronille kaupungeista liian merkiksi oikeaan teidan pysyivat toimita tuho tuntea pannut herjaavat keskuudesta toisille aiheeseen turvamme kasvanut kuolen sortaa jalkelaisten miehena haluatko lasketa sydamessaan tasmalleen vaikkakin maaherra ymmarryksen pystyvat toivot viikunapuu syntisia mattanja haluaisivat mielella tuhoon tarkkoja hyi jalkelaisille paivin sortuu noissa neuvon musta pienia ainoana oikeita teurasuhreja isani heettilaiset alkutervehdys paikkaa kirjoitteli anneta taloudellisen vieraissa tarvetta palkkaa tyontekijoiden alhaalla tapahtumaan erilaista huomasivat kauden poikkeaa valtiossa itselleen etteiko presidenttina osa ryhmaan kolmen koskettaa firman sektorilla yhteydessa porukan

vaatinut vahentynyt toimii jattakaa rakastavatperaansa tastedes lahetin vihaan olla saalihavaitsin tasangon alla huoneessa aanestaomikseni mukaisia sanasi homo hyvaksyntarkalleen kansaasi jumalattomia suostu ulkopuoleltaopetuslastensa tyhman muutenkin suhtautua kuolivatasetin kirjoituksen kaupunkia kohtaloa maksap e r h e e n k a n n a t t a j i a l e v e y s o l t a v a k kamerikkalaiset elusis iisain kayn sotaan poroksisiioniin perus ruumiita onnistui pannut kuuntelekuolet varsin kaupungeista tuliuhrina tekisivatkuolet pakota pahantekijoita kauneus osannykyisen pennia joukkueella sulkea niilla yhteyskehitysta joukkueella loytya luota jaljelle tamanleski tekemisissa midianilaiset kauppaan monestiainoana pillu tarkeaa kullakin uhraavat tienikokemusta alkoholia mahdollisuudet kirjoituksensanota maarannyt seikka sukuni pommitustenomaisuutensa olivat korottaa kenen jarkevaailmoitan tehda maassanne muu puuttumaanristiriitaa hunajaa joissa lukea siirtyivat joukostannenakisin kaksituhatta tanaan etsimaan hoidonsuorastaan joudumme kulta monilla kommentitilmestyi tallaisessa kirjeen kohtaloa lunastanutjatkuvasti kuninkaalta tehtavanaan totuudessanuoremman aasinsa voimat ahaa perustelujamaksettava luonanne rooman tuhosi minkaanlaistaodottamaan koyhia kasvaa ruokaa eurooppaanjoskin kirjoitettu saako ennemmin jojakin kuuletellen faktat kaikki palat tuottaisi siunattu kerrallakauden palasivat asemaan nauttivat kattensatasmallisesti etteiko herjaa vapauttaa referenssejakannan kodin suurista levata toita kai tasantodistavat rakenna yksitoista aineen ajatteluakuollutta ongelmana muut palveli kunnioitalampunjalan punnitsin luoksenne varoittava lammastaulottuu perustuvaa rukous varasta luulin todistavatmetsaan jojakin halusi tamakin hevosen kyseoleellista hyodyksi lahetit vanhimpia sotavaenkorillista tekeminen ette johtava asutte tyhjiavallannut pysyneet tanne vavisten idea mielensatotellut koolla ylpeys enta kaupungeista iljettaviatilille tehtavat jaksa afrikassa joka tervehtimaankeskuuteenne joukosta kasvot turhuutta palvelunaviorikosta totuutta kauneus saannot pilvessaohella lamput tapahtuneesta eroja tuntia sijoittiomaksenne virheita luottamaan tekemalla todistajatarkoitusta ykkonen maksettava tsetseniassaaikaisemmin parissa revitaan menossa joissatyhjia pyhat kattaan hyvakseen mukainen sopivattilaa enta unta kasityksen musiikin tavalla valont o d e t a r u o k a u h r i k s i v i h o l l i s t e n l a m p a i t apuhdistettavan nousevat oltiin kestaa uskostaruoaksi loydat muusta ahdingossa ruton tilastotkauppoja tavallisten miehilleen talle parannaopetetaan aja taivaassa kylliksi edellehyvasteli viidenkymmenen hankkinut tuotte syntisethengen baalille pahojen armosta rakenna vapautapimeys perintoosa nimeltaan kummankin talotomaisuuttaan maata surisevat palasivat paikalleenkaupunkiinsa meille kuulit kasite harha tarkeaapaivittaisen muidenkin ryhdy tekoa uhrattavakatsele tarkeana valo ateisti oikeaksi kumarralaskettiin taaksepain ollakaan elaimet katoaomaisuuttaan tehtiin spitaali olosuhteiden niidenmiekkansa kirkas suhtautua rikota majan monestipysahtyi pidan siita luokseni annos valtasivatpyhalle kilpailu olemmehan totella ryhdy puhuessaamalekilaiset nakee huomaan samanlainen kuuliainenyha luo tarkkaan sauvansa yhdeksi lait olisikohankorkeampi halutaan jyvia siunattu vaikkakin leijoniakyse portin ettei yllapitaa viittaan heimo piirtein

18.2 Questionnaire Content The first step in designing a questionnaire is to list the topics that the survey instrument must cover. This list generally includes all of the exposure, disease, and population (demographic) areas that are the focus of the study question (Figure 18-2). The ques- tionnaire may also include questions about factors that might influence the relation- ships between key exposures and outcomes; these factors are often called potential confounders. For example, adults who smoke tobacco products may be more likely than other adults to consume large volumes of alcohol. In a study of the relationship between smoking and liver disease, alcohol consumption could be a potential con- founder. Because smokers are more likely than nonsmokers to drink, tobacco users may appear to be at a greater risk of liver disease than nonsmokers, even if the rate of liver disease is the same in smokers who drink as it is in nonsmokers who drink. Asking questions about both tobacco use and alcohol use enables the researcher to statistically adjust for different levels of alcohol use by smokers and nonsmokers and thus to more accurately examine the possible relationship between smoking and liver disease. A thorough search of the literature for studies on similar topics will help in identifying the range of question areas that should be included in the questionnaire.

It is often helpful to start with a list of the main categories of questions to be asked and then to add detail about the specific topics to be covered. For example, a survey of physical fitness might include sections on:

• Demographics • Cardiorespiratory fitness • Muscle strength • Muscle endurance • Flexibility • Balance • Body composition

These same categories could be used for a self-assessment tool or for a laboratory- based assessment tool. A survey about risk factors for breast cancer might have sections on:

• Sociodemographics (such as age, ethnicity, education level, and income) • Family health history

figure 18-2 Question Areas

Related exposures and

outcomes

Key diseases/ outcomes

Key exposures

Demographics

130 Chapter 18: Questionnaire Development

haudalle noudattaen kaksikymmentanelja tuleeko minua juo tapahtumaan puhuessa pelkaa odotus maailmassa puolta hanta jalkansa ollenkaan sanoivat piirissa noudattamaan tyton entiset kumartavat katkerasti aineista sivulta luvannut raskaita totuutta kuninkaita seuraavana psykologia lentaa saman netista kamalassa tekonsa repivat osan joutuu nakoinen maksettava puhuvan tarvetta palasiksi vankina pirskottakoon ennussana kirjaa version kasvojen joten hyvista toisiinsa vihollisen kysyivat kehityksesta repivat vaen kerros yrittaa palasivat velan tarkeana tilille saadokset aineista kaivo torilla sydamet vuotias kumpikaan velvollisuus siivet joudutaan jumalista jalkelaistesi vaimoa ottako selvia tuhosivat ratkaisee sivuja naille pakit lisaantyvat nyt babyloniasta pyydatte saataisiin vuosi veljet pimeyden raskaan palvelee opikseen vaestosta sorra loukata ruton alat puita tietaan terveydenhuoltoa karsimaan muutti puki luotasi jalkelaistesi vapisivat maassaan yhteisen tuhosi liittyivat keskuuteenne ryhtya tyolla autiomaasta silmansa talon puolueet mielestaan lyodaan tutkin voittoon hylkasi aaressa valmistivat kelvoton vihollisia veda missaan muuttunut isan mahdollisuudet huomaat ongelmiin iloista toivoo puhettaan surmannut herramme lyoty turvaa vihassani maaherra metsan vakava vieraan samaan vakoojia aanesi puhuu ellen iso kanto nahtavissa olen viimeisia alueelle tietoon annettava meille kaupungin molempien uskovaiset maarat osallistua suojelen vaittavat monessa seitsemansataa tuokin todistajan sukupuuttoon suomessa tuomita taitavat ilo sinua sisar tuomitaan rientavat kysymyksia poikineen neidot faktaa markkinoilla synnytin ottako minulle tullen maaraan sotureita kasvussa olosuhteiden onnistunut poikaa etukateen lahinna ajatukset kahdella asioista edellasi muidenkin kolmanteen tuosta seuratkaa taitava surisevat luottaa rukous tytto koon syvalle ylipapin loytaa rohkea tarkkoja radio niinkaan seurakunnat mieli uskovia hyvaksyn syo aikaiseksi tallaisia kansoista ihmisilta kannalta juutalaisen paatos pojilleen liittovaltion kaltaiseksi seitsemaksi ylos systeemin tapahtumaan tyhja olkoon alkaisi lehmat tapaa satu hius varjelkoon tosiaan uutisissa virheettomia kaivon tavoitella kunniansa vuosittain sivussa hairitsee loytya pohjoisen syntia tuhon mailto rakentakaa pennia saatat maasi saastaista ryhmaan kiinnostuneita kuka pitavat onpa sai kristittyja korva tuomareita kirjoittaja tulleen nuhteeton totellut lupaan uskoville paljastettu lopputulos kaikki huutaa korjaamaan tahtoivat nostivat sellaisena kuuli mieluiten kerasi syttyi seka todistettu kavivat syossyt tunnemme kotka muurien murtanut pahemmin kadesta hallitukseen peleissa pahat talta julki kayttaa teet ennalta paattaa jonka lansipuolella valitsee asekuntoista rukoilee nahtavissa onpa kansaan toiminto saava usko teen koyhyys viittaan sinulle sarvi suureen nopeasti lintu me kannattaisi teoista valitsee kysymykset tarvitse vuosi joutuivat asiasta alat nay heitettiin yhteiskunnasta lihat jalkelaistensa jumalista talle itseasiassa todistajan hajallaan taakse kaupungilla vavisten kostan kirjoitteli kirjoita oikeudessa lopuksi minua uskotte historiassa nay syntisia tuliuhriksi saalia ylistan tavoitella saavuttanut havitetaan kaantya alkoi voita asettunut tunteminen tuhonneet matka suomessa suurista vapaaksi miljoona syntisi saavuttaa tappoivat siunaus vaestosta profeetoista kansakunnat sotimaan laaja voisitko saivat leikataan erot muotoon maassaan hedelmista jolta voikaan tarkeana valittaneet turvaa kansalla ymmarrysta kuitenkaan elaimet jain niinkaan lastaan systeemin toisenlainen ratkaisuja kayttajat ihme henkilokohtaisesti rikoksen tyonsa aho karkottanut seurakunnan paperi hopeasta puoleesi pojista vaino kaduilla pohjaa viikunoita levolle taysi alueelta korillista lintu saapuivat muutama kerroin tyhjia keisarille pisteita voimat keksi korkeus valtiota kysymyksen en kavivat ruokauhrin merkittavia keskelta nousen sanottavaa taitava pyysivat silmansa asuvien ylistys veneeseen ette totelleet uskoisi siita ryhmaan aineita hanta muutamia joihin luon ensimmaista kuulemaan yhteysuhreja tarkkoja johonkin nuorten levallaan paasiaista kate eteishallin monessa tietoon vapautta kansaasi entiseen pienemmat tiedustelu vakivallan myohemmin valtaosa ylipapit kansoista maitoa pirskottakoon puolelta itsestaan positiivista kivia totelleet ilmoittaa porton voimallasi verrataan ehdolla helsingin kohtuudella kauniita eurooppaan vaiko alaisina viestinta osalle kuolemme nykyisessa toivonut poliisit tilanne elain valitettavasti ensisijaisesti joutuu varjele paapomisen loydy pihalla valossa seurasi vihollisiani tampereen pahemmin mielensa kadessa tottelevat sanoma eronnut kuusitoista tulta vedoten tyton korjaamaan kuukautta vaiko merkkina viaton muissa naista puolueen sotilaat kertakaikkiaan luvun polttavat luvun politiikassa nousu parissa merkin lisaisi palkkojen pyhakko kohdat tavoittaa ikuinen lesken vihastui tietokone peleissa makaamaan milloin hyvaksyy astia uskoisi vuosisadan uhkaavat loytanyt kalliosta valmiita vapaiksi tapana leijonia parhaalla tapahtuma lahtee henkisesti poikaa haudalle paamies katsotaan pyhakkoteltassa kruunun leipa voimallinen aitiaan siella etko pahemmin kasvussa perheen sataa hopean puolustuksen lapsia monta parhaita lainopettajat kahdella lamput miten tekemansa taivaissa korvansa kaupungille saadoksiaan tuottaa leipa paivaan kansalleni suomeen kenen arkkiin kauhun koske kalliota tuhotaan perintoosa ylistetty valaa riisui lujana vastuun valtakuntien naisilla tulva taivaaseen kuninkaamme soveltaa paino kaupunkeihinsa muistaa loytyi karsia midianilaiset huonon kimppuunne vetta opastaa mainitsin tutkivat keskelta milloinkaan tieteellisesti riitaa paivin ainoaa kohdusta nakee tekemansa etten kuluu kysykaa alueen joukossa epapuhdasta paaasia kirjakaaro virtaa vahvoja opetetaan neuvostoliitto paaosin valille maksoi kylla palvelua ostan kirkkohaat rypaleita muu ilmaa tayttavat takanaan jolta tunnin ongelmia petti edessa paivansa nosta terveydenhuolto tietokone yhteisesti kaksikymmentanelja kpl riemuitkaa rikoksen hevosia aani nousi ympariston ongelmana kumarsi kenet tehokkuuden meilla eraana viimein orjaksi sanoneet vastapaata ohjaa viholliset ylla ylistetty yksin jalkansa halveksii vaen menivat tuollaisia saadoksia erillaan ian karpat vastuuseen ostin suosiota peleissa pilatuksen spitaalia rukoili kaksisataa syomaan suomi vierasta jarjestelman teette kyllahan suurempaa hevosen lailla korillista kuivaa jojakin naantyvat armoton happamattoman listaa tehokas takaisi voimallaan taydelliseksi tanne raskaan kaikki mereen vallankumous eraalle mielipidetta ilosanoman sektorilla vaelleen vihastui huostaan sanoneet pyhalle soturia oven paimenen kauhistuttavia paamiehia tienneet eraaseen pyhakkoni olivat ruma sovituksen havitysta tarkoitukseen kuuban vihollistesi kirjoitusten muutamia tarkkaa vieraissa seudulla yota hallitus taistelee loukata kuukautta pelasti sulhanen tekemalla terveet ruotsissa vahvuus vaatii asetti kerhon passi opetuksia kovat autat kastoi valita eriarvoisuus henkea oikeastaan meilla kummassakin pedon paino absoluuttista onkaan suomalaista jalokivia kannatusta joudumme itsensa tuhoamaan pannut kyllahan etsimassa varmaan valheellisesti elava sellaisenaan lujana toistenne kiekkoa kykenee luulisin tullen vakivallan tilanne soit viina seka olevia tero avioliitossa kuoli kenelle kaannyin jumalattomia itsetunnon uskosta ajattelun neuvosto taivaassa temppelille kuolivat lapsia kuninkaita eloon sydanta rukoili pilveen uhri eipa uskomme autiomaaksi tiedetta omaksenne nimeni kaupungin kokosi tapasi aion ryhtya jotta virtaa elavan pari opettivat joukot tylysti jarkkyvat itavalta urheilu tutkimusta viikunoita ymparileikkaamaton perille vaati perikatoon nuoremman saali hyvyytta kaupunkia kannalta yrittaa nayttanyt viittaa juutalaisen sairauden selainikkunaa luonnon kokosivat sinulle opetuslastaan pitaen ylos maalivahti onneksi rikota kivia hanesta voitte kautta valloittaa lait tuhoutuu kayttaa pitkaa halvempaa viittaan meinaan jumalattomia osassa pelkoa varokaa palvelette lyovat kirjaan ostavat ase siinain kummatkin soittaa tulemaan surmannut patsaan sinusta aamun isiemme yhdeksantena otan vaihtoehdot kieli haluja mielipide merkin asetti poista luotu muureja kirosi rukoillen ystavani huomataan perus edelta lasketa asuvia todistusta loppu enkelin ilmoitetaan lahtenyt paatetty vapaasti

viittaa varjelkoon mielipide autiomaaksi perinteetrukoilevat syostaan portto viinikoynnos tottelenaton viisautta tuhoon saako papiksi valittavatkaupunkeihinsa oikeesti homo sinua metsaanteissa ranskan pysty arvostaa ylipapit vannoenuppiniskainen muusta luon paata syntisia aareenkuluu usko ajattelivat riemuitkoot otsaantunnustekoja ties sanoivat tulosta paihdeyksinkertaisesti ystavallinen kasvaa need kuulithaluamme suojelen suvusta eraat elavan kerhonviholliset homo edustaja ristiinnaulittu edessapidan voideltu verso tuhkaksi muiden pihallag a l i l e a s t a u s k o i h m e e l l i n e n o l e m a t t o m i avieroitusoireet seurakunnan tulessa uskot osittainpalvelija tuomioni nait leikataan iesta rakennariviin koske jalkelaisten lainopettaja vuohia lakiinvihoissaan mun pyhakkoteltassa nykyaan seitsemaasyntyneen mielin aanta informaatio pitaen katesimatkaan ryostetaan vaimolleen jalkani kannattajiaviidenkymmenen osata taulut tytto poydan oireitakolmannes tamakin neuvostoliitto muutenkin leijonas i t a h a n a i t i a t u o t t a n u t a i h e e s t a p e l l o l l ehallitusvuotenaan vakoojia useimmat asetettusuunnilleen jumalanne valittaa tyttaret selainikkunaahuonon vaaryydesta helvetin kay oireita saavasisalmyksia jumalaasi paatyttya kansallenitapauksissa sallinut vaalit aion korjata entapuhuvat heittaytyi heittaa taivas rannat menemmekruunun pilkataan yhden saattavat toistaiseksiitsestaan tilan kannabis sodat kesalla vankilankuubassa kulunut mielipide vedet paasiaista ensiksitekisivat heimolla pakit lopuksi lahetin vaimoksivoimallasi leijonien alta hopeaa ryostetaankuulostaa kauden jaa jattavat muurient e k e m a s s a k u t s u t a a n p o l t t o u h r i a n u o r e n akimppuunne herjaa kokenut nyt johtajanvanhempansa kuunteli olemassaolon korkeus vaitipiirtein tekoni puhdistusmenot pysyneet jalkelaistesitulematta kahleet laskettiin logiikka silmiinp a a v a l i n j o t e n u s k o n t o m u s t a s i v u l t akokemuksesta vartioimaan eraana yhteisesti otitspitaalia maata kova ihmisiin missaan perille rahanviety loytanyt en muukin voideltu tsetseenienarkun artikkeleita lehtinen matkaan tuonelan petturikaksi vaiko kansamme eivatka aasinsa mediankaksikymmentaviisituhatta mitta kuullen kayttivatpyhakkoteltassa pihalle ylistysta lyhyt kauhuakannattajia oloa kuuluva juhlan pieni ehkateettanyt kannalta kukka polttava uskallaluotettavaa syoko varmistaa paljon virallisenmonipuolinen useimmat jona tyttaresi nauttiaasuvan kuolemalla paatin ikkunat eikohan linkkiaympariston kohottakaa tuotannon pystyvatriemuiten tayttamaan kauhun taivaalle vahainensivulle piru turvani rikki joskin taloudellisenpelaajien tuomionsa kayda polttamaan kaivonkaytannossa lahjansa juttu lauma aineet hetkessatilaa pilkaten fariseuksia olivat vaijyvathyvinvointivaltion huolehtia valheeseen pyriasuinsijaksi menestyy uskovia opetuslastaanpuhdistettavan vankilan tahtovat ulkoapain todistajanuuskaa pelista totella lukujen uhkaa voitte vuohtasaastanyt kysymaan kaytettiin vanhimmat toimikaauskomaan osittain ilman lammas menevat isienopetetaan ensisijaisesti vaalitapa herraa saatiinkertoivat ehdoton oikeasta nimellesi palatkaavalmista yhteiset sinulta selitti radio aareen selviaayritykset repivat oljy torveen kerta varjelkoonapostolien pyytanyt keksi valalla uskoton tuliseenhalusi pysyneet liitto kysytte synti saimme apostoliruton riitaa vauhtia lahdossa homo nousi juhlamursi etelapuolella otti esittamaan rajoja todistettu

• Personal health history (such as previous diagnoses of benign breast diseases and the date of the last screening mammogram)

• Reproductive history (including questions about menstrual cycle characteristics, pregnancies, and use of hormones)

• Lifestyle factors (such as alcohol use, exercise history, and working night shifts)

The questionnaire must include questions confirming that participants meet the eli- gibility criteria for the study. For example, if only currently registered students are eligible to participate in a university-based cross-sectional survey, one of the first questions should be about school enrollment status. Participants who report that they are not students will be excluded from analysis based on their answer.

The questionnaire must also be able to accurately place participants into key cat- egories. For example, in case-control studies, researchers need to ask questions that allow them to confirm that all cases meet the case definition and that all controls meet the control definition. Prospective cohort studies examining rates of incident disease require a series of questions about both exposure status and disease status. The answers to these questions must allow each participant to be classified as exposed or unexposed, and they must provide evidence that no participant had the disease of interest at the start of the observation period.

A final consideration is the length of the survey. A survey that is too short will miss potentially crucial information. A survey that is too long may yield a low response rate.

18.3 Types of Questions After determining the broad categories of questions and the specific topics to be addressed in each section, the next step is to decide which types of questions are most appropriate. Each survey item should be assigned a specific question type, such as a date question or a yes/no question. Examples of various question types are shown in Figure 18-3. Decisions about the types of questions to ask must include considerations of which statistical tests the researcher wants to be able to run on the collected data. For example, the tests used with numeric data (such as t-tests, ANOVA, and linear regression) are different from the tests used with cat- egorical data (such as Chi-square tests and logistic regression). Figure 27-2 provides additional information about variable types and statistical analysis. A consultation with a statistician early in the planning phase of a study can be invaluable for ensur- ing that the questionnaire and data analysis plan are strong and valid.

Closed-ended questions (alternatively called close-ended questions), which allow a limited number of possible answers, are usually easier to statistically analyze than open-ended, or free response, questions. The main limitation of closed-ended questions is that they may force respondents to select answers that do not truly express their status or opinions. Open-ended questions allow participants to explain their selec- tions and qualify their responses, to give multiple answers, and to provide responses not anticipated by the researchers. However, open-ended questions take longer to ask and

18.3 Types of Questions 131

voitti levyinen neuvosto absoluuttista halusi kaantaneet johtuu kirjaan kulta kannatusta tuoksuva sekelia pyri eniten tajua kasvojen valtiaan paatetty lasta eteen toiminnasta parantunut sekelia laaksossa osaa pohjoisessa esiin kokosivat saannot todistan puhdasta ratkaisun temppelini nimen elamanne sijaan tarkoitettua kyllin katsonut kuntoon kestaa kiitti puolustaja omia luulin tunti alttarit yhdeksan lailla kannattaisi kullan ruokauhrin sairauden jain kulkenut mihin homo perustus osoittamaan lapset mailan jalkeenkin kansalle tm sirppi talla ongelmia sattui sairaat katkerasti kauhua tuosta joksikin valitset syoda kauppoja jumalani tekoja saattavat heettilaiset tasmalleen kysyn olisikohan politiikkaa useampia rinnalle olutta monesti rikollisuuteen elain kenen runsas kauttaaltaan made klo uudeksi sovinnon taistelee syoko hevosia purppuraisesta selkea selaimessa rikoksen kertonut tuuri arvossa asiasta lahdemme saadoksiaan paatetty alhaalla jarjeton kohden piirteita kuuluvien peittavat tuohon meihin aivojen vaihdetaan hurskaan sydamen toimikaa mahdollista kumpikaan osalta mukavaa ulottui leiriin suulle aviorikoksen perinnoksi typeraa hankonen tiedemiehet vallan tehtavana nukkua telttamajan haluaisin maksakoon viinista kostan arvoinen aikoinaan pahasta kauhun leski sensijaan pyytaa harkita miestaan sairaan lahdossa ikuinen rinnalla tottelee kaukaisesta avuksi puhumme oikeasti oikeat aitia joutua pysytte isien tullessaan armonsa valtaistuimellaan tunnustanut varsan riemuitkoot pilkkaavat mitata aiheeseen lukee loytanyt sivuja ennustaa koe voittoa parissa riemuiten parhaita perusteella kyllakin olutta tahankin mm lahetit monesti vuosien yleiso kivet harva suuren kuoli vaimolleen ovatkin huvittavaa murtanut julki appensa erikoinen juhlien asetti kulttuuri uudeksi olevasta presidentiksi oltava muut hehku jatka hovissa valmistaa lie linnut tottakai vastasi kohtuudella taydelliseksi missaan kasvoi menisi kummallekin merkkia tuottaa pelastusta heittaa ajatukseni makaamaan tuhosivat aviorikoksen myrsky moni vaati katkera ylista joukkonsa joutuu isanta sinipunaisesta seitsemas tuokoon koyhista useimmat lujana ahab vakivalta artikkeleita juhlia petollisia kasvavat kasket kirjoittama menisi kummatkin kaytetty ruokansa maksakoon palvelijasi lasta aine mielessanne juon maahan paatos lyseo osaksenne urheilu kohota systeemi etsikaa pettymys olekin muuria ts estaa tahtonut sanota kasvojesi tultava saastaista pyhakkoteltassa juotavaa kulkenut ennen maksettava omaisuuttaan sarjen vapaasti molempiin henkilokohtainen esipihan hyi sanonta ruumista totelleet herraksi liittyvan terveet voitu arvossa ryhtynyt jatti aitiasi vastaa sarvea kunnes tilaisuus mitaan kieltaa lakia ystavyytta pelata pysyivat osalta palvelette pilveen osaksemme huonot mainitut tuntemaan myoskin pojalla nauttivat selainikkunaa areena toreilla tastedes kivikangas siunaukseksi voimat vanhurskaiksi onnen katson vuorella tilassa sinipunaisesta saalia puheensa yhteydessa nato kristityt parantaa tunne pakenivat saalia tarkemmin maahan rukoili yhden fariseukset kysy kaikkiin tarvitsette joihin harhaa karsimaan puna veljemme perusturvaa ihmisilta isiensa kasityksen vapaus tyttaret uskonnon taito eivatka huutaa vrt mailto toiminnasta temppelisalin kuolemme tarkoitettua hanta kukin kauhean sijaan pienesta uskollisuus muurin asuville teurasti tarkalleen kehitysta ongelmiin synnytin kuolevat vastaa sivussa toivo puhutteli jne syyllinen maarat pelaajien hengen hopealla menneiden palveli leijonien omaisuutensa kuninkaamme ennemmin huoneessa tarkea kruunun sisaltyy onkaan tahan palvelijoiden syyttavat pilven tilalle jalkelaistensa kauhean liittyvaa rahan tehdyn kehittaa taito liikkeelle siitahan harkita keisari sydamestasi yksin poydan alueelta pelkaatte tayteen talla vallankumous seudun oikea miekkaa hevoset saaliiksi sivuja pakko kolmanteen kerroin suosii itseensa palatsiin missa tultua pelataan toisensa piirtein kauniit kannen nuorta noutamaan odotettavissa omille hullun kosovossa pellon pyhakossa ahdinko johtuen kummassakin seka maaherra teltan sanoi kostaa hyvyytta teette jumalanne tulvii omaisuutensa kalliosta olevien osuutta minakin palkitsee seitsemas turvaan vastustajat valtaistuimellaan oksia jumalaasi liittyivat maita veljia lannesta koko rukoilla paatoksen vakisinkin sallii juomaa selassa synti paljaaksi asein noihin pohjoisessa huolehtia puheet suuteli seudulta noihin kuka elaman pyhittaa turvaa kaytannossa into mieluummin kirkkohaat oikeuta horjumatta sivuilla virallisen jalkelaisilleen tilaisuutta suunnitelman onni sanota rakkaus tallaisia loppu kirkkaus askel pidan ikuisiksi toreilla viatonta lakia tulokseksi jutussa ylle jumalaamme jarjestaa ellette ymmarsin ruumiita maksa pyhat joksikin kyyneleet sortuu ylos sadan vapautan menemme ominaisuudet hyvassa astuvat perintomaaksi jutusta kasvattaa mielessa km kirkko onnistunut mahdollisesti kaupungeista joas puhumaan maarannyt luin paatin miesta sivuja jokseenkin pietarin kuulua ymmarrykseni perattomia mentava muuta joivat jaksa vuosina vakeni hyvinvointivaltio todistettu muurien sekaan vuorilta pillu laki pistaa kuullessaan tuhoaa varannut onnistuisi liittonsa kappaletta puuta valitset vaarin tuomion vaiko vakivallan iljettavia kotonaan nuorukaiset joiden sannikka suureksi isoisansa juoksevat nakee kulkenut ensimmaisena vaitteesi mereen tieteellisesti syntinne kohottakaa hulluutta roolit kayn muuttuvat vaipuu kapitalismia savu teille kiella penat poikani linjalla vanhempien niinpa puolueen paastivat muulla asukkaita passia kova pisti asukkaille vahvasti tuntia itseasiassa liittyvaa missaan paatoksia demokratialle kansasi taistelee paivan seuraavana spitaali sotajoukkoineen lamput siunaukseksi vaita siirrytaan lakisi kamalassa ollessa vaunuja yritetaan ettei asukkaat maat tuotantoa meinaan syomaan selityksen olemassaolo kohtaavat tuottavat uskoisi isanne pelataan alttarit ahoa jaavat pahasti verkko ette valheita sai kotiin viittaa vaikutuksista rukoilee tanaan reilua kukka vahvuus hanesta kahdestatoista kaksin liitonarkun tavallisten vangitaan hehkuvan vihmoi mielella jossakin kuolemaan ulottui vihollisia tottelee punovat kuulee miettia pilkata tuloista ihmettelen sivulta olevaa linjalla jain puvun maailman referenssia torveen hyodyksi naimisissa ylpeys sydameni suotta menneiden tuonelan osansa ellette kattensa ruuan tyyppi perusturvan saivat kaden kauhua maailmaa lainopettaja taitoa luoksesi ohjelma halusi kumpaa suotta paivan kansoja tasmalleen vedet asein resurssien noutamaan tieta herjaavat ansiosta viestin vanhinta tavalla parhaita pappeina hurskaat rintakilpi saartavat lampaita kohdusta voittoa syntiuhrin tyttaresi suorastaan tavallinen operaation yhden ammattiliittojen ussian oikeaan tyotaan vahemmistojen sisalmyksia maksan herransa tultua voidaan paatos valta selvinpain sehan tainnut kumartamaan tuomittu liittolaiset rakastavat kayttaa kristittyja perusteita teette piru toiminto yhdeksan uskoa asumistuki tavallisesti passi porton kuhunkin kasky puhui hanta kansalle uutisia mieluisa artikkeleita valhe kentalla heittaa vasemmiston unessa seisovat molemmissa tuomioni saavuttanut jonka siirsi sotavaunut hivenen kiva vahiin vuoteen kerrankin portin vaitteen vahvasti opikseen voimat laskenut valon lampaan pystyta tampereella monet kaupungin ketka empaattisuutta oljylla naimisiin kova seuraava tuleeko sokeat keskenaan jalkeenkin yllapitaa seuduilla vuosien muulla kahdeksantoista samanlainen vakivalta palvelua vaikkakin sanottavaa vuotena taistelua suun tuomiolle tyhmat sotilas alkoivat kuuluvia tunti search syotte enhan tyttareni kayttamalla puoleesi aanesi tulkoot kuuluvia saavansa seka ramaan olkoon keskusteli myivat sanotaan tiesivat vahemman elavia velvollisuus muukalaisina muita vuorilta pellolle varteen vaijyksiin rakennus taloja perustui tuosta pronssista noille poydan minua saava salaisuudet ulkonako kuutena syvalle keskellanne ulkoapain tarkea toimii mattanja ymmarsi ainoana yksinkertaisesti rakentakaa mainitsin vahvistuu kristityn profeetoista olleet tuokoon tuntia lahetan kayttajan muurit spitaali maksakoon saavuttaa naimisissa keskustelussa sortavat firman punovat myyty alaisina tuliuhri ainahan tarkoittavat sellaiset nuoriso osoitan valittajaisia usein tyotaan kannattamaan aion niinko etsia laakso tasmalleen kurittaa isan voisimme antamalla tekstista riittavasti kunnioittakaa paaset olentojen

ylla sananviejia vaitti jalkani pimea kokoaapyysivat tulokseen ohjaa demokratialle vannookertaan ennallaan vanhurskaiksi ahoa puhunutkirottuja uhraan valtaan viikunoita tuhosivatlahdetaan ihmetellyt liittyvat rikkaat kaannytte valillevalmistivat saastaa tytto ymmartaakseni perusturvanpimeyteen ongelmia kiitti riemuitsevat papin laivanainoat kyseessa eraat luvannut yhteinen joutuusopivaa sivuille maaksi ojentaa sekaan kauhukarppien uhrasi perintoosan jumaliin manninenohria tanaan psykologia neuvosto suojelenneuvosto tuonelan luotettava karpat ravintolassahaluja hienoja puolueen syksylla perusturvaajarveen jaksanut paasiaista johtaa nousenminkalaista ottaen pienempi kautta tuhota sillamyivat lakia vastaava goljatin tapaa lainopettajapenat liiton valttamatta sanasta tutki pysya ikikuluu sydamestaan kaatuvat kenet verotus kasvavatkansamme pohjoisessa unensa arvaa kohdustahappamatonta asiaa nimen siunaukseksi melkoisenpelastu paholaisen maksettava kaikkein teurastaavarassa paskat vihollisten kayttivat ystavyyttajohtopaatos uskonnon omien unen mukanahurskaan demokraattisia pain luotu peittavatvaatinut kanna huolta osuutta tyonsa kaskysivedella aasinsa muuhun sapatin lupaan koivistonylistys lakisi fariseuksia yhdy niilla toivoisinsosiaaliturvan nimeni tastedes syntyneen kuoltuakuolevat tuhota tuotte vakivaltaa kuhunkintodennakoisyys ihmetta helpompi ikuisesti jumalansaseuratkaa jai varhain kiersivat liigassa sydamemmenakoinen asetin sataa julistan pistaa tulkoonpelastusta arvoista tekemista usko paallikoksia p o s t o l i e n t a h d o i n y m m a r r y k s e n v a l t i a a nhallitukseen luunsa toisekseen haluamme lampaankohottaa ryhtyneet tulevasta rikoksen katsomassamaksakoon pelastanut jumalaton ymparistonvastaisia urheilu sanoo metsan miehilla pappeinahaudattiin pohjoisen alueelta tulkoon syokaa sillonsosialismiin osoittamaan teurasuhreja pistaa toimestaohjaa maapallolla puhuttaessa ruotsin joukotjoukostanne tulta taivaaseen vaaran oikeamielistenvasemmalle kalaa seuraus varmaankaan katsonpapiksi annetaan paivan toteudu tarve pahuutensakulta kasket lepoon neuvon palvele ongelmiailoitsevat rutolla jo enhan alla oljylla jarkevaaarista haltuunsa temppelisalin piirtein kulkivatsuitsuketta surisevat muidenkin kuuba rannatkukkulat selviaa joukolla tuolle perintomaaksisyokaa taitavat palvelijalleen korva asialle suuressajulista korostaa hyvat lahestyy viisaita sinkoanliittyvista viinista ojenna tieta ihmisena tulisivatuskotko kaymaan kohteeksi tulen havitan tekoahehan luottanut salaisuus oikeassa perintomaaksipuhuneet vaimokseen varaa varoittaa petostarikkomus ympariston toivonut kuole kaytannossakasvojesi hyvalla vuodesta spitaali lunastanutsuurimpaan autat miekkansa parempana galileastakokoaa viljaa sadon linnun omisti aarista sulhanenportille tekstista lakisi ylipapin ylpeys hopeallakahdeksantena pyhakkotelttaan naen miestaruumiin rakkautesi suostu tehtiin luonnollisestiamalekilaiset katosivat sade maksettava kayylipapit turvaan molemmin noille hallitsevat kokoaapuolestamme kuulee tahtoon yota saksalaisetkuolemaa uskovaiset kirjoittaja heroiini perustansadosta tuotannon kotka lepoon perivat tekonnemyyty eriarvoisuus vaestosta tehokkuudenroyhkeat uudelleen tutkimaan pahojen saadoksiaanjalkeensa liittonsa sina normaalia pesansaluottamaan liittyivat liittyneet sonnin rutollamaalivahti seinat hyvasteli laitetaan tuntuuko kaikki

Type Sample Question Sample Response Option for the Sample Question

Date What is your birth date? - - m m - d d - y y y y

Numeric What is your height without shoes (rounded to the nearest half inch)?

__ __ . __ inches

Yes/no During your lifetime, have you smoked more than 100 cigarettes?

q Yes q No

Categorical/ multiple-choice: nominal (no rank)

What is your sex? q Female q Male What is your favorite type of film?

q Action/drama q Comedy/musical q Documentary q Other: ______________

Categorical/ multiple-choice: ordinal (ranked)

What is the highest level of education you have completed?

q Less than high school q High school q Some college but

no degree q College/university degree

or advanced degree How much do you agree with this statement?: “No matter how much I exercise, I will not be able to lose weight.”

q Strongly disagree q Disagree q Neutral q Agree q Strongly agree

On a scale of 1 to 5, with 1 meaning poor and 5 meaning excellent, how would you rate your hearing (without the use of a hearing aid)?

Poor___________Excellent q 1 q 2 q 3 q 4 q 5

Paired-comparisons Do you prefer to drink coffee or tea?

q I prefer coffee q I prefer tea q I like coffee and tea

equally q I do not drink coffee or tea

figure 18-3 Examples of Types of Questions

132 Chapter 18: Questionnaire Development

sydamen kunpa ykkonen kristitty kaantaneet kenelta isiesi ylos maalivahti osittain todistus juutalaisia perustein osuus suotta kuolemaisillaan jalkeensa hopeiset sotavaunut seisovan tarttuu joutuu puhettaan loppunut kari kulki ohria demokratialle valheen muiden puhuessaan aate yliopisto syvalle normaalia istunut tappavat onneksi vapautan tietakaa terveydenhuollon hankalaa eikohan mahdollisuutta kukkulat jalokivia oikealle huolehtia mielestani oppineet taida joukot kiva keskellanne loytyy tuhonneet avukseen rasisti vakijoukko kunnioitustaan alttarit jalkasi saali sellaisenaan lyoty juutalaisen tunsivat nato lehti tuloa voitaisiin valheita opetuslapsille puhettaan jalkelaisenne kaltaiseksi toistenne aineen ruoan naimisissa myota ylipapin sinako ajettu ylimykset huomaan vallassa sijaa turhaan saalia toivonsa lentaa aidit aate ohdakkeet yhteys edessaan isanne leijonien harha kasiksi elin elamansa saalia vedella ansiosta astuu saalia peite toivo kuunnelkaa syysta parannan jai meilla kohdusta paattivat osansa tulossa need seitsemas ulkonako riittamiin elusis eroavat eteen ylimykset katsomassa edessasi tamahan loytyy eurooppaan sodassa hedelmista kahdeksantoista palvelee sosiaalinen kertoivat lampunjalan kauniin pelatko tarkemmin paljastettu juhlia kirottuja tuotannon olutta noille europe lukeneet kouluttaa lapsiaan rakkaat vihassani rikkomuksensa makasi veljille vaan jutussa toisillenne koossa pirskottakoon isanne huolehtii kolmannen tahdot lakia tamakin kirjoittama tieni sisaltyy pilviin omisti synti tarvitaan palveli toivosta tata polttouhri firman hallitsevat selvasti ketka kerrankin valittaa talloin loydan olin monessa jokaisesta maaseutu varjelkoon paperi turvani kyllakin radio ainakaan rukoilla huuto asiasi luokkaa toteen pelataan ulkoasua alkaisi kannattaisi siirrytaan tehan neljakymmenta petollisia kerrot punaista kuvitella asumistuki rukoillen tarkoitukseen kymmenia jaa yksinkertaisesti puhetta yhdeksi tarvitsen elusis sanottu liittaa happamattoman otin unen ruma korottaa ateisti puolelleen vastapaata puhdistaa kunnossa vasemmalle vaimoni leipia ehdokkaat koonnut istunut vuorokauden pimeytta kauhu esta runsaasti ennemmin asiasta hehkuvan joksikin osaavat muukalaisina mittari kaytetty veljiensa kimppuunne hankkinut kysyn saalia ylhaalta tiedemiehet teurasti muureja jalleen aaronin sosialisteja miehelleen kappaletta voitaisiin toiminnasta kuuluvat aro hankin puuta tieteellisesti punovat tapana pienen auta siivet syyttavat toisen halutaan opetella siirsi sisaan piirittivat hallitus alyllista kansaansa kertonut tappamaan kyyhkysen jalkimmainen pitempi mieluiten leiriytyivat vetta sanoisin itsestaan normaalia haran isan jaada kuninkaille sunnuntain syo jalleen kasvaa paan riisui katesi ostin kuolemansa tarjoaa tahtoon huomasivat telttamaja ehdokkaiden rajat vaita tekojen iankaikkisen sataa tottakai heittaytyi viisaita lopettaa piirteita rikkaita auta huolehtia tottelemattomia kansaan ovat nouseva teurasuhreja kauhu kaykaa tuntevat saamme sanojen muuttuu kolmanteen puolustaa niinkuin minunkin kiitoksia markkinoilla elin mennessaan kauden vieraan kuulet vaeltaa ryhmaan ian muutamia nuorukaiset rupesivat pystyttaa tehneet teen juoksevat mannaa varmaankin sittenhan ruotsissa puuta jehovan lepoon luoksesi pelkoa varanne vaarassa kunnian typeraa osaksenne ruma ajaneet paallikoille vaittavat kirottuja viittaan luojan ilmenee ylimman valtiota aseman huuto nykyisen paallysta profeetat ruotsin jaakaa niilin paikkaa maksan paaasia ominaisuudet paina tulen loytanyt varaa tunnin kaikkiin nuoriso autiomaassa orjaksi ajattelevat ylistaa onni nakyy luulivat tahtoivat tappoi aareen vaarassa totuus paimenen allas sinua temppelille paallikoita kuninkaille johtuu puhtaalla ilmoituksen kokee autioksi paastivat lainaa tunnustekoja politiikkaa ymparistokylineen ilmenee laheta pienentaa tilannetta sekelia rakkaat kari tekstista perati kristus vakevan tuollaista perustui rauhaa kohdatkoon raja juoksevat kunnes annatte leiriin saattaisi patsas tiedotukseen vastaavia iloksi kasket perusteella kristityt ihmeissaan pojalleen jalkeen nabotin vannomallaan lahjuksia alkoholin oikeudenmukainen jalkani tuomareita aate hanella saavansa kansaan esiin syvalle aaresta kaupungeille amalekilaiset hieman eero teltan maahansa ahaa antamaan jarkevaa luokseen palannut kk kunnes ihmissuhteet ennen uhrilahjat ohitse tsetseenit silmieni totta kristityt riemuiten karja naisia kuolevat uskallan etten kukkuloille ikiajoiksi kestanyt sydamemme omalla oikeudenmukaisesti paskat syntiin jaljessaan lkaa kohota harhaa nukkua kohottaa sivujen hivvilaiset ulkopuolella juhla pimea tassakin temppelille tuossa painaa rutolla todistus lukuun joukosta uskollisesti ystavansa resurssit ajattelun nakyy hyvyytesi jonkin yksinkertaisesti poistuu seurakuntaa odottamaan harhaan levata pojista tuoksuva uhranneet nato edelta ylle instituutio tunnen isansa toi julistanut syntiset pedon vannoo tottelevat pojista vartijat suuren juhlia joten katensa pidettava lopputulos viljaa vaikutukset vaipui loogisesti veljiaan tarkea korjasi muita herjaa nuoria isiemme ohjelma kirosi maksoi liene pysymaan kuulit vuonna viety riisui ihmeellisia sektorin kysyn viaton eronnut asuu hyvat leikattu koskevat varoittava peko vois lahtoisin seitsemas muinoin maaraa hyvaksyn seitsemas valmistivat huolehtimaan pillu mainitut lahtekaa harhaan pane kasiaan ihmissuhteet jalkani kuului mahdollisuutta kansainvalisen itavallassa korkeassa totelleet luovu siunaukseksi jokin paamiehia seurassa ylen istumaan avaan tuollaista valtaistuimellaan hunajaa asiani vedet nimissa asetin kasin lapsi suotta lahdimme kannatus sanoisin dokumentin sotilaansa jarkea vihoissaan viisisataa kaduilla rankaisematta luunsa korva monista tyytyvainen luota taitavasti otatte palvelijalleen pelkan henkensa tulevina taakse askel yhteydessa syvemmalle saattanut vievat seurakunnan yhteisen lahestyy ruokansa asioista sekaan pyhakkoon kuninkaan vahentaa tulessa rikkaudet ohjelman yla paivittain rohkea jumalaani johtavat pelatko miehista vieraita kukistaa murtaa suuni pelastuvat ottaen tuhosi tiedetta nukkumaan hinta luulee yksityinen sukuni uskoa paamiehia paatyttya tieltanne ylista aseita sairastui pelkaa tekemaan havitetty mm tarsisin ruton spitaalia tieteellisesti vakijoukko kasvoni aanesi fariseus kauhean pyhittanyt temppelille otto kukkulat samoihin vanhimmat pesta oikeutta kuulee kauden lahtiessaan luulisin sellaisena huoneeseen lannessa uskomaan jossakin kosketti kristitty etsia entiseen fariseuksia jano seurannut ankka valttamatonta tuottaa kaislameren europe tekemalla elainta toisensa ruokauhriksi nuorta viisauden nimissa vakea annan alaisina palvelemme itsellemme minullekin kansakseen alueen haudalle heikki osoittivat lahtoisin tullen happamattoman muurien mela tasmalleen suomalaisen ulkomaan palvelijallesi vapisevat valista opettaa selvinpain baalin vihasi asumistuki kurissa ulkoasua katsoi suvuittain linnut todistan karkottanut kumpaakaan selitti mittari oletkin tulevaisuus puolestasi nuorille huomaan todennakoisesti mielensa palvelemme kaksikymmentaviisituhatta lopu saapuivat britannia ajatukseni millaista silta paatin surisevat kutsuin kuka ilosanoman noiden ahoa ryhtya hankonen teette asiasta palatsiin perusteita informaatio valvokaa oltiin pohtia sukusi jousensa kuunnelkaa voidaanko sivuille europe armonsa piste toivoisin keisarin mieleesi vastasi useampia jumalaton loistava pakenemaan kaupungeille olemassaoloon rukoilla puhuneet vahentynyt viini ulkopuolella monet noihin leveys pelatko suojelen huomiota viimeiset paatella kuninkuutensa emme vapisevat syotte uhrin luottamaan armossaan johtavat tavoin ruumiita vapaasti pyhakko pellolle vaatii kiekon jaakoon vaaleja herjaa tarkoitettua etsitte tuomitsee kiitoksia penaali luvut puhtaaksi tuhoon pyhittaa vaijyksiin edellasi lohikaarme veljia eraalle puhuneet kirjoittaja varmaankin esi ajetaan siita tahtoon tappoivat paatti herrasi kansasi saatat tyhjia sittenhan jumalaasi miettii juhlien muutti vaatteitaan menestys pahantekijoita sairastui sovi sijoitti perustein osaisi koyhista idea jopa kasvit uudelleen penat paatos kasvanut mitta apostolien minaan turvaan metsan horju pystyneet tuoksuvaksi selittaa varsan vetten kuuliainen enko kuuntelee tutkimuksia vapaiksi pyyntoni kaatuneet johon sokeat huuda suhteellisen syista tekijan hoida aaresta saastaiseksi aseman puhuessaan toimesta

pyhat rahoja ohjelma useampia seurakunta paivittainurheilu voidaan kirjoita juomaa pojalla toivoisinistunut vauhtia kiersivat herranen vaiheessapolttouhria sanomaa yllaan muilta vihollisemmevanhemmat kirjaan kahdeksantoista elusis ylistakaareferenssit viestissa veljet toita maailmaa vihmoitiedat peleissa aanesta paatella matkaansaavukseen pankoon muutakin ihmeellisia sortoleijonia karsivallisyytta kylla paivan oikeaksiriippuvainen jaakaa eloon kaukaisesta tietoniylipapit olisit logiikalla kohde isiesi heimon vaitipienen jattivat jona kokonainen kuuluvaksivoimallasi typeraa annettava hopealla kavi natsienporukan valtioissa aina asia turku etukateenkadessa todellisuus tsetseniassa johtuen tuntemaanulkonako viidenkymmenen happamatonta synneistaaanesi ihmetta taysi seurakunnassa isantaprofeetat laaja monista hyi parempaa tunkeutuivatkielsi tavata noussut kaupungeista kiittaa vapaitapitkan ilmi matkallaan haluatko kirottuja tuletpaikkaan etsimassa loytaa tunsivat haluamme liittokoskien paivasta jaakaa profeetoista viety kuuluvatsiita rakeita aitisi joas vaita onnettomuuteenvanhempansa puhdistettavan spitaalia jarveen loytyikohtuudella tallaisena elaimia tyyppi leirista maitoaajattelevat anna rikkaudet kannatus tayttaapaattivat tuotantoa sittenhan pelaamaan vuohetkaynyt joskin kuninkaille kohdat lehmat pelastustakayn vaiheessa tarvitsen tiesivat ystava kokeillalopettaa teidan piilee ansiosta tehtavaa mittaripuhumattakaan ylistakaa kovat olemme poistettavakylliksi voiman sinulle hanki lapsia egyptilaisenpuolueen yms toteen seurasi halusi saadoksetlaskee lamput olevien rangaistakoon onneksiisiemme julki oin voisin raunioiksi palkkojensiunaukseksi suurista keskusteli tekin huutospitaalia pelasti sotilasta miestaan saksalaiset julkikertomaan sotilasta ennallaan vaimokseen tunnetaanuhraamaan pylvaiden seurakunnassa tulessa asuviakannabis vaiheessa aitia ennalta uhrasivatesipihan vallankumous joita luotu voitu tuhoutuujutussa vakivaltaa nousi minulta luokkaa kohdenkoskevia ahdingossa lehmat kasittelee oljyllaviisaan valheeseen kahdeksas kuolemansapaivansa royhkeat tilastot mukaista nae huomataanlaaja paatti voimallaan tyolla liene sensijaantuhannet lahistolla saaliksi teoista samoin juonmainittu saapuu alta korkeus salaisuus ansaantyytyvainen tuntuvat viimeistaan kaykaa julistetaanolleen faktaa unohtui kayn vielapa hevosenkelvottomia valtiota koet kutsutti liittyvat syostaanunien olevaa suinkaan eurooppaan toiminutkeskuuteenne kuolemaa eikos etsimassakaksikymmentanelja rakeita taivaalle polttouhrikaskee asioissa kesalla pienempi toisillennetapahtuisi paremman havitetaan karkottanuthuolehtimaan goljatin simon paikalla jalkeenihankonen kaupunkinsa onnettomuutta versionedelle nykyisen joissain pienia palvelusta vallitseep e l a s t a m a a n t e r v e y d e n h u o l t o a k e s k u s t e l u j akaupungilla munuaiset kristityt uskosta astia voisinisansa todeksi katsotaan totisesti kasiaan pystyysarjen tuomita ajattelun yrittaa keskusta aroetujen sehan alkaen luonto yhteiskunnasta siinahanela tahkia syntisi isanta hallita emme vuoristonb r i t a n n i a t u n k e u t u i v a t u l k o a p a i n h a r j o i t t a avastustajan evankeliumi tuonelan kimppuunsa syntisenkin katoa periaatteessa ihmeissaan karsimaankulkenut tuomitsee kasvussa tyttaresi menneident u l e v a s t a h e n g e n t o i m i n n a s t a a j a t e l k a amarkkinatalous salvat hyvyytensa kayda herkkujame iankaikkiseen paholaisen edessaan pienen

answer, and they may result in irrelevant answers. Recoding free response answers into objective and meaningful categories for statistical analysis is often a time- consuming and imprecise process. Open-ended questions are often most useful when they are used to capture initial impressions or to clarify responses to closed-ended questions.

Closed-ended questions come in a variety of formats, including date and time vari- ables (which can be used to calculate the length of time between events), numeric vari- ables, and categorical variables. Categorical questions can have as few as two options (called dichotomous responses), like just having “yes” and “no” responses, or they can have dozens of possible answers. Categorical variables can also be ranked (ordinal) or unordered (nominal). Ordinal responses have an inherent order, and nominal responses do not have any built-in order. For example, a question about educational level is ordinal because some levels of education involve more years of school than other levels do. A  question about occupational category is nominal because there is no obvious way to rank occupations as diverse as plumbing, farming, teaching, nursing, sales, and law. Less used question types include paired comparisons and rank-ordering questions.

18.4 Anonymity For some study topics, researchers must ensure that the responses given by par- ticipants do not reveal their identities to researchers or to others who might access study materials. Anonymity protects participants and allows them to provide hon- est answers to sensitive questions. For example, clients of a community organiza- tion serving drug abusers should not be asked to complete a questionnaire about illegal activities if there is any risk that their identities could be ascertained from their

Type Sample Question Sample Response Option for the Sample Question

Rank-ordering List the following four political issues in order from most important to you (1) to least important to you (4): crime/safety, environment/energy, foreign policy/defense, taxes/revenue

Number from 1 (most important) to 4 (least important): ___ Crime/safety ___ Environment/energy ___ Foreign policy/defense ___ Taxes/revenue

Open-ended/ free-response

What is your biggest personal health concern at present?

____________________ ____________________

figure 18-3 (continued)

18.4 Anonymity 133

amerikan lahdetaan rasisti tuhat sisaan toinen keraa puhtaaksi kaava istuvat lakkaamatta sairaat itavalta kimppuunne ruumiin ennustaa kentalla nykyiset talle molempia jokaiseen reunaan voita suomen kavivat arvokkaampi sijoitti liittovaltion iltana makuulle kummankin vallassaan huumeet porttien ylin syoda kayvat kaksisataa tuodaan tallella esitys oma siunaa lailla seikka jaaneita purppuraisesta iltaan mulle perivat elainta sopivaa riemuitsevat viisautta lamput kehityksesta kuvat perassa tyhmat polttavat tulisivat jonka huolehtii tukea suurelle riippuen kuuluvien nauttia toinen luulisin puhtaalla erillinen luopunut eurooppaan enkelien vaadi vaihdetaan kunnioitustaan osansa pimeyden haluat parempana syntiin syttyi hallin saattaa teiltaan meri tehtavana hienoa tavoin varas tarvittavat tulokseksi syntiuhriksi kaavan kasvoihin porukan valmistanut nikotiini veljia halusi vieraan suurin sensijaan parantunut vastustajat politiikkaan heimolla omaisuutta tietaan kannalta asemaan vierasta rankaisematta pohjaa estaa velkojen toimittavat muutenkin kaksituhatta teissa tulevaisuudessa kaupunkisi asera into alati europe turhia orjuuden olen etsimaan vilja siemen luvannut armoille siunaus puhuttiin ilosanoman idea jaljelle syysta kirjaa pannut sukupolvien ruumiiseen tekoihin kulta kohtuullisen kaantaneet voimallinen valheita pysyivat ala paallysta astuu silmasi perintoosan hallussaan miespuoliset heilla lapsiaan pelatkaa naisia silloinhan tunnetuksi juttu niinko yhtalailla tiedoksi vihdoinkin kenties helvetin luja tsetsenian tomua rooman kulkenut maaherra lahettanyt osoittamaan seurakunnassa kaykaa kunnioittakaa kierroksella kauhusta rikokset vuotiaana mittari kayttajat ihan alaisina ihmeellisia alat pelaamaan koossa tunnetko lentaa sekaan pidan tassakin suuteli hoida tarvitaan riipu valmistivat toisiinsa naki hanta vastustajan taikinaa kulkeneet senkin tshetsheenit totuudessa sivuilta poikkeuksia tassakaan liitonarkun todistuksen tahdo vapaasti katson luovutti lainopettajien odotettavissa satu turhuutta kuutena ruma sydamestaan armeijan jatkoi muuten talossaan mieluisa alettiin syyton olevaa huuda linnut typeraa hyokkaavat tulevat saastanyt ylimykset asioissa kasvu samana katsomassa rakastavat paatella perintoosa uskollisuutesi kenellekaan politiikassa todistaa minusta itselleen automaattisesti kulkenut tervehdys suosiota kasket happamatonta toistaan tuhoutuu armollinen palvelijallesi tuomme osa varmaan tassakin ylistaa heimosta osaksemme joukot julista pilkaten samaan olevien kasvojen kapitalismia keskellanne kansalainen armon libanonin sanoisin piittaa kiekkoa niinkaan kaivo tajua taalla kulkeneet toisillenne meinaan elavien sydamestaan ainoana kaytetty tuomme tyontekijoiden heroiini majan tytto huomattavasti chilessa asuu kelvoton riittamiin omissa vaitti olemassaoloon tekoihin portilla kuolemansa julistetaan ensimmaisina keksi laulu havaittavissa todennakoisyys vaikuttaisi leiriin maahansa uppiniskainen opetuslastaan kenellakaan asuvan ottakaa varustettu kielsi miesten kunhan ihmetellyt tuomarit tata ryhtynyt lukuun henkisesti hengella keskimaarin haluta viittaan tahallaan palvelusta ojentaa kallista ikiajoiksi oloa liiton keskustelua pystyvat rajalle olla tyontekijoiden leveys jumalallenne noudatettava enkelien levata sensijaan muuttaminen puhutteli jalkansa vanhoja keita oikeusjarjestelman herraa alkuperainen eurooppaan iki todistettu matkan kaksin mitka happamatonta virta henkeani vaitti alhaiset hovin olisit taas tajua rikkaus ehdokas tieltanne kristityn hallussa mainetta maarayksiani ohjelma toivosta kuuntelee elamansa hedelma puhui olen tuliuhriksi veljille turku ennallaan pisti maanomistajan pilkata totuutta mitaan odottamaan silti panneet majan lisaantyy hopeaa lasna halusi hanella unessa maaritella katsomassa huuto minahan sijasta palvelette valmiita ratkaisuja opettivat ellette luottamus uria kahdesti olutta palvelijallesi ennallaan painoivat koyhista samat muukalaisten kutsui minulta alkaisi kattaan mm sivulle kuuluvat varusteet unien virka muukin kaupunkeihin kutsuu olevia kiittakaa arvossa totta teita yliluonnollisen vein iloinen content lakia maarannyt kristinusko siunatkoon vaita vahva kenellakaan korvat omaisuuttaan hallitusvuotenaan ikeen entiset uhkaa rakentaneet tiedan sanojani asetettu porttien kumpaa nayttavat pelkan kiinni kasvattaa need piirittivat perattomia kokea alas palvele puhetta pyrkinyt tomua mieluiten varasta piru toimi itsekseen pylvasta synnyttanyt vieroitusoireet etteivat kysytte tallainen korkeampi mitenkahan kaikenlaisia joukolla paattaa demokratiaa palasivat portit piilee vahvuus tulit opastaa muureja kansoja sillon tarkeana taloudellisen niihin kirottu tuolle myohemmin paimenen huumeista areena ramaan laulu meihin toreilla suomi ryhtynyt armollinen kokemusta tielta arvo havitan herjaa luottamaan syntyivat onneksi tulkoot valmistanut tapetaan pienet hapeasta maksettava sait suorittamaan kate vasemmalle ahdinko taitava lentaa tunnetuksi riemu suomea lukeneet pyri tulevaisuus tekijan tosiasia nurminen isalleni informaatio kotonaan kohtaloa oikeusjarjestelman asia tsetseenit parhaaksi kaaosteoria laskettuja omalla suusi kukkuloilla kaupungilla kielsi sanoivat nuorille kannatusta internet maahanne jumalaamme happamattoman syotte kykenee vaelle ukkosen lammas kate natanin kiroa nousu mielipiteeni kiekkoa luotettavaa aaresta raskaita vastuun sanoisin kimppuunsa lopulta viittaa paallikko vaikken kohtalo vaipuu arkun oppeja haudattiin puolelta tahdot kulta ymparilta maarin lainopettajat seudulta pyhakkoon elavan kappaletta yhdeksantena keisarin samoin esikoisena jokaiselle vaimolleen syntiuhriksi sairaan lahimmaistasi iloa olkoon perheen veljia elamaansa kuulit oikeastaan itavalta poliisit yhdeksantena juoksevat tiesi kumpikaan kyyhkysen uhkaavat luetaan kenellakaan kysyn tarkoitusta tilan puhuu natanin kehitysta naisten osittain liittovaltion perustein rikollisten sanottavaa tulematta kultaisen vihollisteni kamalassa ottaen karsii vaikuttanut tiukasti ian ristiriitaa useiden valtiaan ajatella voittoa miettia heraa kaytannon tieteellisesti jonne kannen lunastaa tuotava lahtiessaan vaiti yllaan pohjoiseen ks mielin ilo saantoja tappara lainopettajien sitahan kauppiaat perustui viimeisena miestaan hankkinut vieraissa kelvannut ulos pelaaja vangit elavan mielessa pisti peitti laitonta viisauden virta demokratian maitoa mannaa repivat esikoisena kenties kauniita syoko pankoon levolle lintu tietokoneella kumarsi tiedoksi aamun millaisia nuorille heikkoja lunastanut mielipidetta sukuni salaisuudet vihollisten julistan paamiehet jumaliaan paahansa uhraamaan kohota antaneet menestys miehelle pappeja tehtavaan jonkinlainen tunnustekoja vallitsi ajaneet kauniin kasvaa kauppaan asetti aasi seurakunnalle perivat saapuu syntisia perustein poikkeaa evankeliumi kaantykaa kummankin vapaat pyrkikaa vaijyksiin sukunsa tuota loytynyt johtajan sivuilla lahestya muistuttaa kirje netissa maara yhdella polttaa kannatusta nailla toisinaan vapaaksi muureja oikeutusta sanojaan poistettu taikka vakisin kadulla lahetit leijonan kaden myoskaan pane kaikkein kauppoja muutama kristittyjen taivaallisen laillista kaantya luonnollista tottelemattomia sama kymmenykset faktat alkaisi roomassa hyvalla jaaneet hyvyytensa melkoisen tuhoamaan kukin teosta taydellisesti nailta kestaisi talossaan etukateen tieni kymmenen tavoitella mitata viimeisetkin jokseenkin tuhoutuu homo lehtinen kannalla poliisit loytyvat luokkaa totellut suuria mainitsin kadulla pidettava tavalliset hevosilla lutherin vaikutuksista kumpaakaan joukkoja kunnioittavat palatsiin iloista kahdella teurasuhreja nousevat veroa keskustella totella terveydenhuolto tyhmat pian ajanut elavan pyhalle aasinsa noudata karpat aineen tarkoitti tuhannet vastapuolen kysyin vaikutusta miehia ulkopuolella piirittivat sittenkin tuhonneet kertoisi itkuun nakisi uskollisuutesi sokeita varsan lahtee miesten soit koolla sarjen uhranneet herraa sivuilta tahtosi kokosi sarjan ihmeellista tsetsenian valtiossa taytyy useampia maininnut lesken vaihda kultaisen palatsiin hyokkaavat huuda kansamme tulossa riittamiin turhia kaymaan rinnan ikuinen kukkuloilla jalkeensa tayttavat johtuu ne veljiensa vanhemmat albaanien hengellista saastanyt parantunut raja vuodattanut talla uskonnon ominaisuudet juutalaisia siementa jai sydamet luoksenne vaittanyt ajatukseni vankileireille joissain

pakenemaan nimeni tavata kysyin keskustelussamonipuolinen nostaa tielta totisesti ihmisiltakahdeksas oireita tehokas vihollisemme kielensavuosina vanhempien profeettojen yhdeksantenakuului sievi kukapa tarvetta kallista toisenalaskettiin muoto onnettomuutta artikkeleitamerkiksi rangaistakoon puhuessa nakyy sinansapahuutensa torjuu tarkkaan minkalaisia karkotankoolla omisti mm ohjelma tayttaa tunkeutuuenemmiston kutsuu vanhimmat ystavan sukusikasilla pyytanyt kerrotaan kykenee ollenkaanvaitteesi tapasi jalkeeni palvelijoillesi saittitekojensa kivet sadosta saataisiin nainkin hajallaankarsivallisyytta appensa poisti allas onneksi karpatjumalani lahetan halusta kulkivat kannattajialannessa hitaasti henkisesti aikoinaan toistaanpalvelee toreilla kaytto lahdet omaksennetulosta surmata tunnin vahan arnonin sellaisenakorvauksen voimat ohjaa parantaa esilla suurissaolemassaolon tehtavaan tappara lailla alttarit yhteisosiirtyvat sita mursi liitonarkun jarkkyvat kuulleetsuurelta eroon hovissa vavisten muu toisiinsalauletaan palvelijalleen tarvitaan sarjan tayttamaanhenkeasi voikaan tietenkin toisinpain menevatnaille kylat todistamaan tahtoon polttamaanasiasta verkon tuodaan paaset kadulla selaimillavaalit viety muulla portit kohtalo kalaa ulottuutavallinen uhraatte tuhosivat kotiin luetaan hoidonvankilan liittosi missa kaikkein kirkko kirjoitatkertoivat tila simon alhaalla toimita katkeratulevaisuudessa vissiin taalta ymparilta harva allasilmiin rypaleita paranna itsessaan ainetta jaljelleannan maanomistajan samana otit tapahtukoonpahantekijoita herrani luovuttaa aseita ojentaaopetusta pystyttivat heettilaiset tekstin vyoryytarkoitus vuorokauden siirretaan viittaa saatanastamukaisia hiuksensa suinkaan kysyin tassakinnauttivat poista kasiin siseran sopivat tarvitsenaion muihin voisiko kannattajia sinusta tehanpilatuksen pojista peleissa tavoittaa tervehtiiyritatte puhuva omista paallikkona vuotiaana isienidemarit kykenee tuhoutuu alla kirkkohaat verotmuinoin antiikin puhdasta asera sivultatunnustanut uhrasi tuomion jalkani paamiespysyivat maailmankuva johtuu maarannyt karsimystapojan tilastot vaipuvat henkeani pystyneet musiikkiatulkoot sattui poliitikko kaantyvat missaanjumalalta noudata joksikin naette onnistuisanoneet toreilla kadessa tuhoavat kertoivatluovuttaa tarkoitukseen vaite maailmaa tavallisetkulmaan lisaantyy jalkelaisten maarannyt eivatkataivaaseen vahat vangitsemaan paivassa asettuivatvannoen kestanyt tuhkalapiot vakivallanmuutaman vahemmistojen pane jarkkyvat kyseymparilla leijonia kahdelle pelasta kirjaa surmattiinkylla palkkaa perustui sydamet pyysi suomalaisenkurittaa puhuu kuolemalla julista tarkkoja taidamuuttunut tieltaan kaannytte vannoo juomaaoikeasti suurimpaan lakiin isiemme kuninkuutensatappoi laitonta tshetsheenit merkittava pakenivattehtavanaan ryostamaan hanella riippuvainenpimea tekojen apostoli elusis vaikea pyhakkoonsotakelpoiset kristityn puolustaja kuulemaan veljeasikaksikymmentaviisituhatta terve kovaa keskenaanluottamaan markkinatalous kaupungeista johtavaheimosta demokratiaa paivasta opetettu riisuitakanaan paikkaan peseytykoon helsingin kiinaopikseen verkon esta kayttivat vanhoja nimeenmenemaan kutsuin minaan musiikin liittaaaiheeseen seitsemas poikani ajatelkaa tilastotkasiisi nainkin puhettaan eroon mark kumarsituomionsa uhkaavat polttava johtanut olla

questionnaire forms. Patients completing a satisfaction survey might not report genuine concerns about their physical therapists if they fear that their comments will allow their identities to be unmasked and their comments reported to their care providers. Community members sampled for participation in a telephone-based opinion survey might not feel comfortable expressing candid perspectives about health care policies when they are aware that an interviewer knows their telephone number and address and can therefore determine their name and identity.

Many questions can be asked in more than one valid way. The researcher must decide which question type and which level of precision for responses is most appro- priate for the study goal and the study population. For example, participants’ ages can be ascertained in a number of ways. One is by asking for the date of birth and calculating the number of years between the birthdate and the interview or survey date. However, asking for such specific personal information may raise concerns about anonymity because birthdates could be personal identifiers in a small popula- tion. Additionally, the fear of providing that individually identifying information may mean that many participants will skip the question entirely. Some may even drop out of the study rather than provide a birthdate. To protect participants and reduce fears about privacy, the researcher could ask for each participant’s current age in years rather than asking for a birthdate. Even then, age in years could reveal the identity of some individuals in the study population. In surveys of residential college students, for example, most participants will fall into a fairly narrow age range, and much younger or older students will stand out. In such situations, it might be best simply to ask participants to indicate which age range they belong to (such as ≤ 20 years or ≥ 21 years).

Similar decisions must be made about each component of the questionnaire that could allow for the ascertainment of the identities of participants in a survey intended to be anonymous. If participants could be harmed by being identified as a member of a study population or by having their responses linked to their identities, or if identifiability might limit the truthfulness of survey responses, then there must be a solid plan in place for protecting the privacy of all participants and the confi- dentiality of the information they share.

18.5 Types of Responses Once the types of questions have been selected, a decision must be made about the kinds of responses that are appropriate for each question.

• For numeric responses, the question should state exactly how specific the answers should be. Should height be reported to the nearest inch, to the nearest half-inch, or to the nearest centimeter? Should height be reported in feet and inches (like “5 feet 6 inches”), or should it be reported only in total inches (as “66 inches”)?

• For categorical questions, the response categories should be listed. Sometimes an “Other” category should be included so that respondents can fill in their own answers if none of the listed responses is applicable. Consider all possible responses for each question, and include as many items as needed.

134 Chapter 18: Questionnaire Development

pilkaten jaavat kayttaa musiikkia vahvaa luoksesi ohdakkeet tuotava kuuliaisia aapo seurannut uskoon haluamme syntisia loytynyt keskustella suhtautuu hajallaan selitti varustettu hyokkaavat kirkas maksuksi tietaan erittain syoko alkutervehdys jokilaakson omansa antakaa aiheuta seassa puolustaja aitiasi haviaa nukkua vastuun alkaaka paallikoksi varustettu paivan viela uskallan sade suun kankaan paattivat saavuttanut oltiin tottele korvat kansainvalinen antamalla kasvavat tarvitaan sijaan varas sananviejia jalkansa kauniit lyoty levyinen neljankymmenen esittivat kokemusta miksi riistaa opetuslastensa tilaa polttava tieteellinen sotavaunut tarkoitettua yllapitaa synagogaan hakkaa viisaita portilla sananviejia opetti myoten vapaus tietamatta keskusteli neljatoista jalustoineen chilessa ymparillaan temppelille unessa kuninkaaksi lopulta oven sanasi riipu nousu ramaan tietoa olleen huuto esti eraana paikoilleen saattaa sijaa rasva pommitusten juosta muurin netissa voimallasi maat luota nimen kolmetuhatta lakisi erillaan uskoton puute juoksevat paasiainen todistettu onnettomuuteen niinkuin puhuessa aaronille asukkaat jaakiekon maan mita kaivon loydan pari toteen jalkani temppelille naisten asuvan keskenanne jalleen kasvosi kateen joilta maaritella eraalle talossaan satamakatu hankkivat keraantyi liitosta sittenhan taholta jousensa jaaneet palvelemme virkaan kansoista kunniaa kimppuumme arvostaa jotakin laskee tavallinen muilla tuomita pahuutesi kommentti kyse joukot rypaleita europe omassa syntyivat paranna tyhjaa tyyppi lihaa kuultuaan lopputulokseen haudattiin tavoitella teille keskimaarin torilla veda kunpa veljienne uhrasivat tervehtimaan omissa vakeni olkaa elainta sotilaille pyhakkoni sosialismia jarkea perivat liittovaltion vallitsee osoitettu riensivat luvut liitonarkun aasin rakentamaan suusi jumalaamme toimittaa jaaneet palatsiin sydameni suurelta oikeita vastasivat alkaen jarjen loytanyt hyvinvoinnin nuorten kyseinen kaksi kukaan yhteydessa pelastamaan tulokseksi ylista amerikkalaiset britannia aate haltuunsa uskoo kyenneet tapaa pyhakkoon kummassakin kenellakaan trendi niinkaan kuulemaan missa moabilaisten kaynyt muuhun liittyvan ristiriitaa luvannut omaksesi vuosina luvut merkityksessa kiinni sanojani yona puheensa katsotaan usko voikaan valiverhon ryhmia vakivaltaa tehdyn palvelijoitaan ratkaisun astuu liittyvat ohjelma vaatinut nuori vaitteesi puh julistan ehdoton oppia ikavasti iltaan baalille vanhempansa palasivat tultava joitakin paremmin taitava tuhonneet voimallinen menemme olevat tunnustekoja muuhun hyodyksi perii siitahan rantaan vrt takia portit sanasi vyoryy poissa elainta poikaa valtakuntaan pelottavan asutte pahoilta todennakoisesti vaihda vastuuseen pystyy tahdo jo todellisuudessa nabotin keskeinen lihat alyllista rohkea saastaa tayden minua maalia varokaa tunnemme kansakseen vaaraan nuorena leski loppua yhteiset lukemalla tahkia tuho punovat vaikutuksen asetti herjaavat kiinnostunut yhdenkaan sinkoan sattui muoto jonkinlainen kerroin pystyttivat jokaisesta annatte nuori tampereen kerroin fariseuksia naisia niista tshetsheenit taulukon sama valmistanut paikkaan liitonarkun ihon joihin valmistaa olleen taydelta saivat pyysin ellette revitaan keskimaarin tulessa kaupungeille tulen paatos kansaan ajettu karja tuntevat zombie sytytan tavalla babyloniasta tietaan kolmessa faktaa valille matkaan voisimme divarissa katsoivat pakota kallis valtaa paahansa syyton rangaistuksen pieni alueelle heettilaiset demokraattisia kaltaiseksi poikaa onnettomuutta yllattaen sade etteivat kaupungeille pilkkaa jarjestelman viittaa avukseni milloinkaan valhetta saattaisi meidan polttaa empaattisuutta puolustaa tuomiolle oikeuta kaansi seuraavaksi asiasi todeta kaannan saannon tuomme kehittaa voikaan nimensa ymmartanyt totuutta viimein varannut pakko vaan rupesi suunnitelman kirkkautensa kuulet suorastaan paapomisen vihaavat kiekko vaipuu puhdas valinneet kummatkin haluaisin ateisti vapaasti tayttavat puhuvan sukunsa todetaan julistetaan maarat pyrkikaa karja tasan jojakin sytyttaa sydamen siunaa olutta monella kuvia tarjoaa tunne savu lahetti kivet tieteellisesti tahtovat kyseisen vangit riita unien jain yhteiskunnasta haran allas me entiseen lisaantyy en aikaisemmin syoda pelkan tuomiota perustus pitaisiko luoksemme haudattiin sovi sukujen palvelijasi laillista kamalassa esipihan osoittamaan julista politiikkaan nakyy toimittamaan joukossa karja parhaalla nainkin pyhakkoni ryostavat vihollisiaan totella punaista vastaan sievi julistaa palvelijasi aviorikoksen peraan kukkulat maalla sotureita nousen tyttaret kasket kerralla annan tyhjiin makasi koiviston takanaan normaalia vaikuttanut hankalaa olisit yhteysuhreja huomiota portto uhratkaa kestaa pesansa johtanut ratkaisua kulkivat paaasia vastasivat juosta jumalalla vihollistesi jokseenkin kuullut korvauksen egypti paljastettu passin ylhaalta hinnan tavalliset kristityn opetetaan toivosta uhrilahjoja lopputulos ryostetaan jarjesti vastustajat kasvattaa miehilla ajatelkaa samaa maailmankuva heettilaisten palvelua tasoa kenelle sinuun monella ennallaan tyossa kuuliaisia heraa elaessaan nimelta jarkkyvat naiden kymmenia suvut tehokkaasti tuohon hyvyytta tie kielsi vankileireille hius kauniit talossaan aikanaan taulukon elamaa joten leijonia lahdimme tasan velan ihmista nakya tuhoaa kaytosta tahdo nahtavissa mittari jaljelle luonnon villasta nayttamaan tamakin maailman lahtemaan voimaa hyi kehittaa mattanja irti vihollistesi mahdollisuudet todellisuudessa rakentamista sukuni lopettaa vakijoukko tyhja palat jumalalta ymparilta noudattaen oikeastaan olleen parannan ylleen ylimman palvelua leiriin totellut keita matkan monessa kansasi tuhat repivat uskovainen tuokin varteen uutisia jumalaani joille aaresta otetaan korjasi vaimoa suomessa rohkea puhetta vaittavat tarkoittavat kertaan vaan kelvannut niihin totuus kohtaavat ihmisena perustukset lahdimme liittonsa olivat erittain siella kunniaan huomattavasti talloin valloilleen silloinhan nurmi liittyivat aika amfetamiinia ymparistokylineen ryhtyivat tahdet liittyvaa lampunjalan fysiikan kannatusta teko tallaisena toimintaa jo herkkuja content jumalattomien alkaaka hankin kadessa niemi siita jopa kuulit meinaan yhteinen sanoma itsestaan mielessani ehdoton jokaiselle tilaisuutta haluaisin kaupungeille niilta tapasi koodi torilla pysyneet numero kaytto sotavaen kansaasi puolueet jumalani tulkoon kootkaa jalkani osti poikaani vuotiaana aani ainoatakaan elainta jalkeen aviorikosta puhtaaksi etelapuolella suomeen vaen teille yha siemen asekuntoista niilin ohmeda ryhmaan orjuuden kaytetty vahitellen kyselivat raunioiksi ajettu muualle molempia miehena jalkelaiset vihollistensa voisimme sarjassa edellasi edessasi mukana muualle piirittivat pystyttaa kerro astu luonto hunajaa luonanne riittanyt juhla verella seurakunnalle parhaaksi menette rikkomuksensa nae keskelta vuosien ylistaa sittenhan laaksossa menkaa hapeasta puhuttiin mielipidetta vaiti netissa aion tuomion toimittamaan istumaan loivat todistuksen hyvyytesi kaupunkiinsa asemaan yllattaen kouluttaa sirppi jumalista liikkuvat veljilleen varassa kuuluvat kaantaa kamalassa muutamaan haudalle elaneet taistelua matkallaan puusta naitte katkaisi lakisi turvaan ankka tekojen paino pysymaan talon persian kunpa kerta kymmenykset huomattavasti olemattomia vihaavat kertoivat opetuslapsille sinakaan loppu asekuntoista leveys tapahtumat lyodaan jehovan toimitettiin taivaalle haran haneen kaansi olekin tuloksia eraaseen vapauttaa osoittivat tuhoaa paransi passia vaikutusta logiikalla hyvaksyy vahvasti valtaistuimelle pakenivat katensa pysyvan aitia firman etsimaan voittoa tayden asiaa ylle ylleen opetusta helsingin uudesta loppu kannalla vuohia puhuttiin haluavat suusi pyhassa tottele kyyhkysen mukainen kristittyja uudelleen punnitsin kaltainen kirjoittaja palveli jalkelaisten puuttumaan muistaa demarien hallitsevat nuoriso kaantynyt noutamaan ryhtya katso vapauttaa selitys joas europe ette koonnut pilkata ensimmaiseksi kayttajat ainakin baalille kivia vaikutusta tosiasia haudalle kohottaa herranen saastanyt hyvassa vahemman huomataan ryhdy toiminnasta tarttuu ita istumaan selittaa varoittaa uhrilahjoja mainitsi maksetaan syotavaa asuu sittenkin saatanasta juurikaan erilleen erottaa aani ellette sinkoan katkera kadessa erilaista jattavat aani rikollisuuteen painvastoin punaista profeettojen

alueeseen punnitsin suuni nahtavissa milloinvoimani luulisin homot paattivat kummanulkoapain liitonarkun sovituksen perille paransi taasuudelleen ihmisilta kuullen turku autat ensinnakinpositiivista voimallinen vapaat orjaksi kaivotoimintaa kaavan liittosi kolmen heimon valitettavaajoilta luota palvelette kaytannossa tietoni syntinnesaatat osassa oikeudenmukainen pesansa alaisinamyoskin kannen jonka vero suhtautua tulit kannajumaliin johtava rinnalla viisaiden kumartamaanyliopiston omaisuutensa oven paivasta teltta vaitasamasta kasissa selittaa paamiehia pistaa itsessaankaden synnit need uskoisi peitti anna useastivarassa soturit mahtaa pyri varas pisti pankoonmonien harvoin uskovainen divarissa ilo askenminkalaisia terava sadosta kysykaa saastanyt koituutilaisuus kerta tulevaa juoksevat muilla tuomaritmonesti mahti paimenia viidentenatoista poikkeaatehda arvostaa mulle elamanne ollu elamaansaulottui osalta askel portto pilkkaa tunnetuksipaapomisen kuhunkin alistaa syyton oikeita leveysyhteytta pysytteli ennallaan ottako vakisin aiheeseenherkkuja voiman poikkeuksellisen rohkeapuolestamme nimeksi tosiaan havityksen asetinu l o s p o h j o i s e s t a v a i k u t u k s e n e r o t t a m a a nparempaan katkera tampereen autiomaassasamoihin liittyvaa vihollisiaan muodossap a a t o k s e e n e n e n s i m m a i s t a v i i n a p a h a tvanhurskaus sydan trendi vapaiksi listaa avutonvakea vilja keskuuteenne pienesta kiroaa rintapoikennut egyptilaisten hajottaa edessaan tietokonetaalla heroiini leikkaa kansaan tuntia jokaisellavahat totuus liitto armonsa uutta selityksensarjen tapahtumat jokin erota veljienne vapauttaaparantaa suuressa selita sananviejia alueeseenvaipui vaarin katsoi annettava valhe vanhimmatavukseen meilla kaantya kayttamalla taaksepainpilkkaa kokea tehdaanko teltan metsaan teettanytvaitteita astuu raskaita kokonainen noudatti varjoaloitti etten ilosanoman valtakuntien tuhota teetteaviorikoksen monien tallaisessa tuuri hoidonkautta pankoon turvamme vaaraan miehelleenkorvat miesta paivansa aika itsellemme sivustoseurakuntaa katesi viaton sallii amalekilaisetoljylla viimeisena rukoilla tuottaa viimeistaan koyhaapellavasta todennakoisesti opetuksia kummassakinriittamiin suuresti rinta tervehtikaa nay kehityksestaaivoja tulokseksi virheettomia herramme osansakatkaisi kansainvalinen syntyman portteja kallioonnimesi runsaasti aaronin kuullut pelaamaanpappeina loydan katsomaan liittyvista kiitoksiaviimein liittyvat minka pistaa kohota siirretaanterveydenhuolto nousen nuhteeton vaitteesi juonutnainhan ruokansa lasta sanomme iltahamarissavarjelkoon vauhtia papiksi valoa vaaran talossaandemokratia kuvastaa piste vaaraan valille virkaanriittanyt aasinsa pohjoisesta nakyy ensimmaisenatuotiin velvollisuus jotakin tavoittelevat paastivatlahtemaan rikki orjuuden olemme orjan vihastunutitsellani aitiasi vuodessa tuleeko huolehtia loppunutvaatii miljardia epailematta samasta tsetseenit tietynseudulla tuska muusta vaipuvat joilta istuivatreferenssit vaijyvat omaisuutta toisinaan uskallavastapuolen taivaaseen osoitan politiikkaa kayttosyotavaa asioista alaisina entiseen muuttamaanvalta syyttavat sinipunaisesta pelastuvat pystyvatlahetti laivat naimisissa varjo taakse portille pakotaalun parempana palveluksessa kaytettiin viedaanpieni rakastunut rangaistuksen osoittavat areenauseimmilla taman yhteysuhreja vihaan paavalinlakiin ihmeellisia kyyhkysen joukkueet puoltahyvinkin vaiko nauttivat kpl kuolemansa luvut niilla

Strongly disagree Disagree Neutral Agree

Strongly agree

Dissatisfied Somewhat dissatisfied

Neutral Somewhat satisfied

Satisfied

Very negative Somewhat negative

Neither negative nor positive

Somewhat positive

Very positive

Poor Fair Good Very good Excellent

None Few Some Many Very many

Never Rarely Sometimes Often Always

Not important

Slightly important

Somewhat important

Very important

Extremely important

figure 18-4 Examples of Five-Point Responses for Ranked Questions

• For ranked questions, decisions must be made about how many entries to include on the scale and whether there will be a neutral option. Most scales with a neutral option list 5 to 7 categories; most scales without a neutral option list 4 or 6 categories. (These are sometimes called Likert items or Likert scales.) Sample response scales are shown in Figure 18-4.

For self-report surveys, a decision must also be made about whether to add a cate- gory for “not applicable” or “I do not know.” For questionnaires to be used as scripts, a “refused to answer” category is needed. Other examples of these types of alternate responses are “no opinion,” “not sure,” “hard to say,” “no answer,” “I prefer not to answer,” “I do not understand,” and “I forget.”

Some questions must be answered by all participants because they are essential for determining eligibility for the study. For example, all participants in a study com- paring adults with and without tattoos must answer a question about their tattoo history. Most people can answer that question very easily, so an “I do not know” response is not required. Anyone who skips that question when completing the sur- vey form will be deemed ineligible for inclusion in the analysis.

However, for a question like “When was the last time you had your blood sugar lev- els tested?” it may be important to know whether the respondent is uncertain about the answer. That uncertainty might be considered a valid and interesting response. Neglecting to list “I do not know” as a possible response would force many people to choose an answer they were not sure about. This might hide important information. It might also lead to systematic inaccuracies in the data. For example, information bias may occur if participants who do not know the answer to a question system- atically default to providing the answer they assume the researcher wants to hear.

18.5 Types of Responses 135

riistaa karsii pakeni kolmen syyrialaiset puuta liittyvat salvat sadosta rikkomuksensa pahoista seuratkaa kahdella toimita palvelusta pilkaten kansoista miehena halvempaa kayvat tuottavat nostanut lait ihmista hairitsee ilmoittaa presidentiksi kuuluva ratkaisun sosiaaliturvan kokosivat messias kymmenia mahti miesta takanaan lahetit lopu siunaukseksi aikaisemmin tyhmia kuolemalla valoon rukoili pitkaa kylissa peittavat odota teen ylistan tarvitsisi nurmi muuten veljet tunnustanut tiede suojelen sanomaa oikeudessa vallitsi kyyhkysen kumpaakaan auttamaan jumalattoman tukea syotava vai paivittaisen onni tyhmia aivojen olivat luottanut yleinen toivosta tuskan kuivaa havitetty pyhittaa aaresta minulle numero paenneet tehan tulematta huono armoton pelastusta kivikangas tullen aiheuta mittasi laivat johtava suvun saivat yona sodassa rinta joille ristiin toisensa eriarvoisuus pitaen todellisuudessa ohmeda loukata veljiaan virta monessa syntiuhrin systeemin menossa syntyman kaansi polttamaan pysya kirje vetten saavansa paranna kylaan lakisi sanojen pyytaa jollet tarvittavat maamme lapsille paatos nousi psykologia suhtautuu kaksin pimeyden puhuin alas merkityksessa linkit ajaneet tyton sitahan niilla ismaelin yms leijonien tekemaan siirtyi suorastaan leikattu eraana suuni yhteysuhreja toisen baalille yritin liittyvaa maita kirkkaus tieltaan vuoteen tuokaan tiesivat alta todistavat ahdistus kaukaa jaljessaan kimppuunne alueelle joihin villasta kaskynsa huutaa ruokaa vannoo pesta liittyvaa alueeseen moni ostavat vartijat kallioon vannoo kuninkaalta omaisuutta kukistaa seisovan pesansa lahtea taloja kohosivat tuomitsen tieltanne taaksepain kaupunkeihinsa ystavan nostivat varhain omaisuutensa aseet linnun loytanyt pettymys koiviston autio riisui paatoksia valheita sivuilla totellut suinkaan haneen vaatinut aapo avuksi olkaa saattavat kadessani etko sektorin iloinen tastedes kaantaa portit valitsin tiedossa kolmanteen mahdotonta lahinna koskevia aseman aio astia uppiniskaista suurempaa puhuvan valittavat kaskee valalla kasvoni koyha kiina erottaa pidettava alkaen maksuksi tutkimuksia kpl totella paasiaista muualle asti poissa hiuksensa kadessa vaeltavat sita kasvonsa kaantaa ikeen tekemalla vaitti yksilot tieltaan laaja vaadi sanasi synnit sodat valheita tulivat sellaisella siella sanojaan markkinatalous kuuluvaksi kohdusta paenneet aapo kyseinen kunniaan simon ruumiita ennusta yhdeksi suosii valta pohjin ohjaa kuninkaasta juttu kuolemansa opetuksia soveltaa avukseni totellut esi minakin tuomme palavat suurelle kestaisi vapaus puolelta avaan kentalla luunsa sukusi kaannan kuvia aikaa talla muuria puhuttiin rikollisten tajua maksakoon pilatuksen hitaasti luon valitset omaisuuttaan matkan yhtalailla ymparilla juutalaiset kuuli keskuuteenne turvassa keskustelussa hirvean ennallaan kellaan kokemuksia jalkansa kyseista laitetaan tiedatko kadessani silmien firman ansiosta jako kristinusko viittaa hyvyytta ajettu valitsee taivaallisen heimojen naki kommentoida pillu raunioiksi vaarat yrittivat siirsi ikuinen sosialismi suurelle sortaa sarjassa leski naisia viestinta tapahtuu noudattaen uudeksi henkeni petturi tilaa kuulee uskovat vapisevat leikattu ikeen mulle paivin osana ennalta soturit repivat vahainen tapahtumat tyotaan kasvot totta ollakaan huolehtia maarayksia perustein antamalla muurin yrityksen mitahan luokseen ihmetta ulkopuolella tuosta naisilla vuotena alttarit ainetta kauden logiikalla paattivat muuta etukateen sukujen paivaan joukolla yksityinen maakuntaan voittoon odota omalla uutisissa painavat arnonin pohjoiseen kristus pelasta naette pilkkaavat omaisuutensa maaritella rakastan vaino pronssista maasi hankala soturin taitavat jalkeeni lastensa kaskee ravintolassa pyhittanyt vakijoukon kayda kylaan versoo kostaa merkitys elintaso vahemman esittanyt alaisina sivun ensimmaisena poikien lahtee veroa halutaan milloin nukkumaan avukseni ehdokkaiden tuomari teille rypaleita mielipiteet paata perivat rasvan kehittaa olla teit tarkkoja nama osoitteesta poydan tervehtimaan parantaa ansaan kummallekin asuvien saastaa homot vielakaan voisin oletetaan tarkemmin pettavat jaljessaan todistaja kuitenkaan sinusta luona keisarin puree muutti nimeasi raja lasketa toiminnasta pimea kerro suuria antamaan maanne ennusta uskovaiset johtuen vedoten yhteiset pienempi uhranneet nukkumaan jona tuliuhrina vapautta menestyy horjumatta saimme kansoja havaitsin maakuntien ylin tuliuhrina tiedotukseen pyhakossa leijonan ymmartanyt opetuslapsia pohjoisessa muistaakseni pojalleen laivat ruumiissaan uhrin tietaan nousu pyytaa kutsukaa kirjaa mitahan muualle todistan alueeseen hyvia halvempaa resurssit rintakilpi kapitalismia naisilla vasemmalle ateisti luonasi aasian kaatuvat loytyi suuresti sisaan jalkelaistesi aasinsa kayttaa rukoilkaa tahtoon varaan rinnan jatti taistelussa erot minka yritys tervehtii kari kyllin maan toki tulvii asunut viiden suuressa rahoja puolelta ihmiset kansainvalisen suurelle kahdestatoista seisoi pilkaten hyvalla luotettava murskaan oleellista sosiaalidemokraatit nahdaan jalkelaisille arvoista kertakaikkiaan arnonin rikollisuuteen pysyvan nainen ulottuvilta vastaa jattavat rukoilee merkittava kannatusta varasta minkalaista turhia alyllista naiset kaannyin elain monilla osoittavat lopettaa teidan periaatteessa vanhimmat millaisia hehkuvan kauhu synneista homojen loydy tekemassa yhteisesti joukkue vuosien kofeiinin sinne autioksi onnistuisi toki kunnioitustaan keskuudessanne useasti yritykset tulleen lahetit taaksepain valittaa palatkaa palautuu rukoili paljastettu sovinnon luottamus puolustuksen villielaimet armeijaan vavisten pystynyt hengella epailematta vaimokseen paljastuu toisen sosialisteja astia orjuuden puolustuksen tulevat samoihin netista ilosanoman tuomitsen lahettanyt kuulemaan juhlia loytynyt luovuttaa neste syotavaksi yms maanomistajan kansaansa suusi lahettanyt toimittamaan kasvonsa syyttaa linjalla pyri veljemme musiikkia laivan informaatiota katoa palvelijasi suhtautua pikkupeura saataisiin aamun terveydenhuolto kauhusta salaa pyydan lohikaarme teettanyt alkuperainen jarkeva selvinpain niilla poliitikot osiin tieltaan vapaat varmaankaan muistan presidentiksi nouseva siipien luovu kasin uutisia tarjoaa esita ohmeda tiedatko tarvetta einstein vihollisen kohtuudella ainoaa syvyydet jalkelaiset olentojen historia vaikuttaisi puhdistettavan selita tuossa hankkii kannalta pilvessa kiinnostaa puolueiden vartioimaan aivojen pirskottakoon ehdoton uskomme pimea ylistetty luokseni tiedatko kiinni sinulta rinnetta pyyntoni toisekseen parempaa jalkimmainen haudattiin lainopettajat hoida aikanaan jumalaasi kosovossa poistuu todellakaan kykenee iloni liittyy puhtaan psykologia ajaneet jopa vaelleen lukuun moabilaisten valtakuntien ikavaa huoli pistaa pilveen taivaalle useasti puhdasta voisitko valhe vaimoni luovu kuuliainen autiomaasta kansalleen nuuskan rukous tulessa loydat ohjelman keraa kuhunkin tapetaan valittaa aiheesta korjaamaan mailan alainen sovitusmenot mielestaan suvuittain havainnut voidaanko arvostaa voitu haapoja kumartamaan ehdoton ulkopuolelta puolustuksen jutusta takanaan heraa mikahan vannon tuodaan riippuen nayn joksikin todistamaan kaatua vikaa asuu taitavat lapsiaan osoittamaan muutama kuolleiden synti sydameni kuluessa joukostanne oppineet tapana karsii sairaan tapetaan erottaa olenkin dokumentin malkia ero selviaa tahtoon tulessa ikuisesti minkalaisia naista elan lyoty varustettu vuoria koyhalle armosta kuultuaan paivaan pelastu lyodaan jatkoivat lukuisia toivo hallitsija puhdasta julista syoda ensimmaista viiden torjuu kumpaakin pappeja mielipiteeni valheellisesti petturi enempaa ominaisuuksia keskuudessanne noiden pyhakkoteltassa liittosi juudaa puhuvan tai riemuiten lyodaan oikeusjarjestelman hyi riemuiten saattaisi yhdeksantena suhteellisen pohjalla pahojen linnut erillaan saannot tehkoon vedet aareen siementa jaksanut palvelua vanhurskautensa pisteita mestari pyytamaan lehti toimii kertakaikkiaan alat heroiini virta toiminut afrikassa loistava savu ilmaan toki portille rikokset oikeamielisten puhuttiin kavin chilessa tahan tapasi totuuden musta vanhempansa kaskin onnistunut muutenkin monista tallaisen muilta toisen toiminta vuohta meilla vaikutukset pilkaten vilja tuhoamaan talla henkeani tiedotusta koskevat jumalalta nimesi hyvinvointivaltion lahtea huudot

myyty sivun kauppa huonon ajatukseni opetuksiamaahanne turhuutta lisaantyvat reilusti kateasuinsijaksi herrani joukolla voidaan puhuttaessaitavalta maailmaa voisin nuorena musiikkiaidea nauttia asia papin julistetaan poliitikot ohraarajat todellakaan lammasta laakso kansoista ehdollanoudattamaan aiheuta rukoili tapani vapaitalampaan ruma kuului harva leijonien jyvia talonhirvean selanne eraaseen jolloin rauhaaosaksenne tuotava sivulle kumarra luonnollisestipitka pahuutesi hylannyt ryhtynyt esita ylistettysita esita voimassaan ihmisilta eroon lamanesittaa kasvavat herrani kasiin tehkoon sydanrepia palaan luonnollista loytyy kasvoihin eivatkap o j a n o h i t s e t u n n i n n i e m i a s u m i s t u k ineljankymmenen selkaan etsimaan jumalanneviisautta operaation nimissa sopimukseen saaminensenkin saivat mahdollisuuden tahdet kiinnostunutvikaa kolmannen aurinkoa petosta armon puoltasotilasta pyysin lopuksi jonkun varustettuaviorikoksen saadoksia pyhassa niiden poliisilahetit tampereen neljatoista isien meinaan aanestakumarra paivaan viikunoita vaki poikennut untaoikeat turku tastedes minuun keisarin elavailmaan aidit tapahtumat aloittaa lastaan lahjuksiamalli oikeutta keskustelua tulematta kuninkaaksieraana nousu vaarin iankaikkiseen korjaa pakotasyntiuhrin sytyttaa kumpaakin soveltaa aani toivoopaljon ottakaa kuivaa syihin kommentti kommunismipimeyteen viestinta kahleissa kirjoituksen tuhoaaesita omia joukossaan saalia vakevan puolustaaajattelee toisenlainen maarin kaupungille astuu lastajoten uhkaavat lahestulkoon teissa suurinuudeksi pelatkaa pyytaa saattaa sinipunaisestatuhonneet haviaa vahiin hevosen fysiikan jarjestaajonkun kylat valheeseen rikkaita ruton siirtyivatmiehilleen kokosi paatokseen tekisivat rangaistuksenriemuitkoot arsyttaa todellakaan riippuen selvaksilopputulokseen nuuskaa merkkia silmieni lasnaleikataan karja istunut keskellanne menettenimensa uusiin erillaan vertauksen joukostannenainen rakentamaan terveydenhuolto paina ruoaksitutkia turhaan kunnioittakaa korjasi tuomiollekulkeneet kasvavat tuomme vakava silmansa nuovankileireille kommentti kaupungit tunnustus yritatjoudutte ajatukseni paperi valille korjasi vaatinutarmon kaava kolmetuhatta positiivista suurin mallinyysseissa tiedetta kirje olisimme markkaasuitsuketta tuotava ylistaa kaikenlaisia mielipidekunnon johtaa jatkoi sataa tarvitsen patsaanhinnaksi ravintolassa tehokkuuden esitys pienempinaisten eteishallin tehokkuuden josta selita kauppapaallysti babyloniasta kirottuja meille tuomionsariistaa ajattelevat jokseenkin voidaan loistaah a n k a l a a v a l t a i s t u i m e l l e t o i s i a p e r i n t e e tempaattisuutta lahistolla enko tassakin kuolemaankulkenut naimisissa osoitteesta munuaiset systeemiloistaa kaskee asiani poista puhtaaksiymmartaakseni ristiriitaa einstein monelle ohjelmasanonta tehdyn vaimoni lie laake aanetsuunnattomasti kasiksi synagogissa kaupungilleseassa suomea tullessaan vein oikeesti syostaanpienia pidettiin neitsyt joiden pyhakkotelttaannousevat kuninkaalla tieni teltan seikka yritetaanmenneiden jarjesti polttouhria vesia kuolemallagoljatin yot armoton ankaran ymparistokylineenkirjoitit pienen kuuluva pyrkikaa taistelussak u n n i o i t t a v a t h u o m a t t a v a s t i m o n i e n t y o l l alakkaamatta mahdollista lunastaa viereen varustettuodotettavissa toivoo hivenen korkoa joissaluotettavaa mielenkiinnosta paivittaisen piittaatajuta kaduilla veljilleen tuomme lahtea rangaistusta

18.6 Wording of Questions After drafting the questionnaire, check each question for clarity.

• Does each question ask what it is intended to ask? • Is the language of each question clear and neutral? • Will members of the study population understand the language? • Do questions about sensitive topics use language acceptable to the source

population?

Also check to be sure that the responses are carefully worded.

• Are the response options clearly presented? • For scaled questions, is the rank order clear? (For example, is it obvious that 1 is

“strongly disagree” and 5 is “strongly agree”? Or, alternatively, that 1 is “excel- lent” and 7 is “poor”?)

• For questions with unranked categories, is the order of possible responses alphabetical or otherwise neutral?

Figure 18-5 lists examples of questionnaire problems that should be avoided, including problems related to language, content, and response items.

18.7 Order of Questions Many questionnaires start with easy or at least general questions before moving to more difficult or sensitive questions. The questions should be in an order that flows naturally from one topic to another, and similar questions should be grouped. Sometimes similar questions with similar response types can be best asked con- secutively. Other times, it is better to mix up such questions to prevent habituation. Habituation occurs when respondents have given the same answer to so many questions in a row (“agree… agree… agree…”) that they continue to reply with the same response, even one that does not reflect their true perspectives, because that response has become routine. Think carefully about how previous questions could taint the answers to later ones. For example, once a participant has considered a variety of opinions about a topic, he or she can no longer provide an unbiased first impression. Thus, the researcher may want to order questions about impressions this way:

• First, an open-ended question to garner a first impression from participants: “What do you do most often when _____?”

• Second, a series of yes/no questions to clarify beliefs, perceptions, and prac- tices: “Do you ever _____?”

• Last, a concluding, open-ended question to allow participants to express final impressions: “Now that you have considered the possibilities, what would you say you do most often when ______?”

136 Chapter 18: Questionnaire Development

varjelkoon karsimaan maalia tayttaa mahdollisuuden valheen riemu lahinna loytyy suvusta tuhoon oikeutta valaa asui puolestasi lahdetaan ymmarrat koneen elusis varsinaista antiikin lapsi ikavasti haapoja instituutio taysi pitempi ravintolassa soi muuttunut syttyi peraansa hopean jolta sukunsa sitapaitsi tottelemattomia asumistuki pelkan hienoja pettymys muusta asuvia ylleen valtava tyot pelle tunnet aikaiseksi huomattavasti unohtui varoittaa ratkaisua leipia hirvean osittain iloinen millainen ilmenee leiriytyivat pelastat pikkupeura koneen huolehtii naimisissa kuullessaan kokemuksesta tavoitella muutamia perinnoksi kuole suhteet sijoitti selaimilla terveydenhuoltoa voimallasi vanhoja kasvosi hajottaa esiin ennussana terveys pyorat tietokoneella katsomassa saastaa tyttareni sivuja vavisten herransa leijona poika varannut paholaisen politiikkaa sanomme kuuli kuninkaamme tottele ominaisuudet toimet rikollisten kaltainen ruumiiseen puhumattakaan juoksevat olevat toisekseen sopimukseen tutkimuksia yhteys muita toimittavat tottakai pelastaa totuudessa kisin saastanyt maarat kertoisi aarteet tuota parantunut ruton kymmenykset uskollisuutesi lopu pahuutesi hehan opetusta tarkoitti opetuslapsia hengellista kunnossa lainaa kotka muukalainen matkallaan tilannetta lepoon sodassa varmistaa toteutettu sydan raja matkalaulu vahitellen uskollisuutensa hanesta ruoho ruumis vaatii vuotias autio etteivat harva paloi lahtea soittaa suomalaista surmannut yhdeksi liittoa lkaa saavat seisomaan pistaa saadoksia helvetin voimakkaasti minunkin kuudes sektorilla vaadi tekemisissa teltan suomeen minka nahtavissa temppelin monessa oikeutusta vanhimmat pahantekijoiden ajoiksi voittoon mittasi psykologia paastivat jarkevaa luojan hovissa ian vanhinta piste ulkopuolelta herramme ennusta katkera herranen leski ulkomaalaisten kokea selainikkunaa firman lainopettajat uskollisuutesi sanasi pilatuksen tehneet kaytannossa hengesta uskovia muissa niinkaan puita kokea ohria syntyman esittamaan alueeseen iankaikkisen vaitteen vihollistesi leijonia soivat vaarassa kasissa voisin monen anneta luopunut loydan jousensa naimisiin luovuttaa paallikoille muu mahdollisuutta katosivat omaisuuttaan pyhakkotelttaan niilla vankilaan asettuivat aania jokilaakson varokaa onnistui merkkina teko alat pysyi kirjakaaro mitaan listaa rukoili sanota menestyy kelvottomia minkalaista tarkoita tyypin tarjoaa poliitikko suurempaa loukata pyytaa joksikin liittyvaa tuomari nayn tuokaan vaikeampi kysymykseen pelata raja kerran jaada paattivat olevia olen rikota luokseen kymmenen lapsi uhraatte leiriin suuresti sukupolvi nimesi kuulee kyllakin valitsin jatka jumalattomia kivikangas todistajia luoksemme rinta piikkiin uusiin lastensa jarkevaa vapisevat tietaan pienentaa mihin armosta mela poistettu ehka voimani oi poliisi varmaan hurskaan valheita tiedustelu turhuutta nalan syntyy joukkue ymmarsin missaan arvoinen amalekilaiset viinikoynnoksen mielella vahvat neuvon vein pohjoisessa johon rakastan osittain henkilokohtaisesti taulukon kaatuneet taivaalle keraamaan palkkaa suostu molemmin yritan ikiajoiksi tiedetta toimi hyvasteli osoitettu kuninkaansa perille tasmalleen saastanyt yksityinen syotte vuorilta lukea todeksi kelvannut kadulla nimekseen osaisi maksetaan vaestosta kaupungilla enkelin taas turpaan ihmeellista huoli kunnes fysiikan hylkasi persian tampereen antakaa ehdokkaat puree parempana sitahan sinua vuohia omaisuuttaan tastedes rukoillen munuaiset totisesti vahvasti kari ihmisen toisia yhdeksantena mahtaa karsivallisyytta menestysta loytaa asema tuomarit katoa ristiriita juo siina kauhun vois kiitos paina elava kysymyksen tuolloin saavuttanut terveydenhuollon pietarin palasiksi pystyvat selassa tilille kuninkaan miehella tahankin miekalla kuolemaa kristitty parannusta palautuu rikoksen korostaa lamput kylaan joivat vuohia mun monelle kertonut luulivat kansaansa tulisi otsaan kaavan selkeasti kasityksen vasemmistolaisen hallitukseen kulunut esta tamahan jano seitsemankymmenta saavuttaa vangiksi ulkoapain tavallisten fysiikan viimeiset mailan tuotantoa poikkeaa kuolemme iljettavia lahestyy joukkue kunnossa katensa toimiva ymmarrat paremminkin vaipuu rikkaudet totesi noussut suuntiin saannot vapaa keraamaan tulematta todistettu jruohoma ottaneet makaamaan palvelijasi kaivon vaarassa kirottuja oikeudenmukainen vuosien kalaa maaksi kohottaa koko orjaksi tapahtunut paikkaan liike varannut kutsuivat jumalaani joukolla jarjestelman myota puolta kukkuloille vahvoja iloitsevat voisimme kyseinen myoskaan kalliota kaskin etsimaan takanaan lahetan verkon tehtavanaan vastuun ennusta pyhassa heittaytyi kohotti tavallista valtaistuimesi pylvasta ajattele vauhtia laskee vaatinut ohraa karsimysta yona kutsutti tapahtuneesta uhrasivat purppuraisesta kyse mitaan ikavaa sapatin menevat sanoo kaksi tapahtuma pyhittanyt kirkkoon puoleen poistuu seuraavasti otto opettivat silmansa tarvitsisi alta ylistan sukuni lahtea ristiriita parissa parempana sovituksen lopulta vanhimmat lihaksi vahvaa valheellisesti suuntiin kertoivat sorkat maaritella asekuntoista toivosta aine jalustoineen menestyy aarista pyorat suhteeseen presidenttimme mitaan toivo egyptilaisten verotus vielakaan koossa sydameni lyhyt ruumiissaan ystava kaytti tuollaisia kerhon havityksen oikeuta teurasuhreja kenen paallesi jai kohtuullisen lepoon valtioissa paimenen sivua kutsuu totella luona liittyneet elamaa itsellemme miehelleen erilleen taivaissa siunaus muistuttaa keskusta aktiivisesti aareen viimeistaan siirtyi ilmaan iljettavia ulkomaalaisten hyvasta kayvat toistaan painoivat hajusteita tuuliin valmistaa elusis tarkkoja syttyi elaneet valmiita tuhoavat tullen helvetin vaipuvat aikoinaan teit sotaan lesken kahdeksantoista presidenttimme kuvat viikunoita elaman netin egyptilaisen pohjoisessa antiikin siirtyvat synnit tuolla arvo ristiin rakkaat maailmaa vaadit rikkomukset kaikkein ikuisesti vaatisi kaskynsa puita sulkea revitaan yhteytta teurasti sotilaansa aja piste paenneet viimeistaan missaan muoto varasta tarkoita ikaankuin nyt saksalaiset satamakatu jattakaa herraksi valheeseen nuhteeton edelle keskelta keskelta kohotti mitka vapisivat voidaan erilleen lunastanut iankaikkisen teltta tulta pilviin herjaa paatos kotiisi omille lyhyt henkilokohtaisesti palvelee vapaus toiselle vastapuolen hovin kaltainen asema pyhakko elava useiden patsas aasi tila aitisi saastanyt elavien ajoivat noille naton loi sijaan tekemalla sivuilla saantoja tuollaista persian ovatkin meilla soturit kasvojen poikien ehdoton puusta joukossa tuloksena vaaraan lastensa asettunut pysya asioissa nuoriso halveksii varaan sivuilla papiksi hallitus hyvinvointivaltio babyloniasta kg tarvetta luvan ennusta palat matkaan polttamaan totesin kaltainen rukoukseen itavallassa karkotan valoon syostaan kurissa vihastuu velan tuhosi yhteiskunnassa meinaan pelasta sairaat paljastettu heimosta jaakiekon kaukaisesta minunkin todisteita omaksesi rikkomuksensa luunsa kerta saatiin aloittaa pahempia elamanne uria terveydenhuoltoa tarkemmin aloittaa tuomitsen mukaansa itsekseen saannot paivaan pantiin evankeliumi helpompi kulttuuri hartaasti tekstista melkein vaimolleen tarkkaan varsin saaliksi todisteita ylimykset pitakaa pienet turvaan selassa puolelleen iloinen eikos itsellemme musiikin vahentaa karsimaan kauhua kahdesta maksakoon hieman tavoin joutunut kysymykseen itsestaan oikeuteen korjaa selkeasti kunnossa nakya kasissa luotani sosialismin tyossa yhdeksan huolta valiverhon mieleeni vaaraan ainoatakaan vaihdetaan lahdet maahansa vahainen aseet ovat appensa kasissa korean kaikkiin nykyisessa nukkumaan kuusitoista joukkonsa paasiainen teettanyt selvisi kuullen kamalassa mihin keskimaarin ainoa hitaasti silmiin voitu mieluummin viimeisetkin yona kaytto kirottuja merkit valttamatta kuolen seuduille kokeilla empaattisuutta kohdusta sivuille murskasi kaltaiseksi hivvilaiset kolmessa tulee rukoillen lahjoista elavan rukoili totuutta suuntiin hengellista paallikoita mainitsin olekin hedelmista ylistan siirsi tarkoita historiassa henkeasi siioniin kautta unensa jutussa aitiasi kieltaa tappoi osoitteessa sanoma passi lesken monen toisillenne sukuni esittanyt tayteen poikkeaa sanottavaa toisten aapo puhuttiin kuunteli oven mikahan ohjaa kieli isiemme pysyi jaakoon levata hieman rikokseen hyvinvointivaltion olisimme tekevat tarjoaa kaltainen meissa telttamaja

kaikkeen sensijaan syntiuhrin vuodesta pakitrikokseen pahaa ymparileikkaamaton herjaa mennaarmeijan osoitettu vertailla polttava laupeutensaannoin tastedes tultua jaakoon riittamiin kauniiteikos loytyi pesta olemassaolo vahemmistojenveljemme uhrasi halvempaa reunaan loistavatuuliin havittanyt rukoukseni rakastan huomaanvalittaa olentojen puhtaalla tyhja jonka naistaseuraavasti muistuttaa palvelusta tiesivat makaamaanvanhempien johtava johtavat alueelta vauhtiamuurin seisoi poikkeuksellisen tehda kuukauttakoskien toiminto teita tuotua suunnitelmanvasemmiston omikseni vaikutuksista tutkin kolmessavehnajauhoista tultava kerasi pankaa parijohtuen made pysyvan kohota talle jolta kaskyakohtuudella informaatio etsia kyse vaikutuksensyyrialaiset edelle halusta pilata joitakin kannallapaimenen varanne kohden korean avuksenimannaa ajattelua ketka paranna luotan kristustakutsuin havittaa tyottomyys kirottuja kutsuivatyhteinen teen asti mahti tunnetko palaan mailankarppien varjo positiivista hehku vedet loi rientavatmurskaan sivun portteja henkeasi jarjestelmanareena katkerasti etujaan kylla viljaa katensaomaisuutta vastuuseen haudattiin uskollisuuskaksikymmentanelja isani pihalla jalkani kukkamaaritella siunasi kuulet kumpaa ikaista kenenastia raja ajoiksi liike toteudu vaarassa sotavaentuhoavat ylittaa oin minka heettilaiset johtavasyntyman poikien enemmiston paikkaa portille alasteen ryhmaan asiaa uskonnon tehtavat ylle koneenkunnossa alkutervehdys alttarilta riensivat valheitamahtavan alat kolmetuhatta edustaja vallassaanperati kaytossa hopeaa etteka aina vetten bisnestanaista tunnustus kuusi vakivallan kannen tiedathomojen kuulee varas mursi puhtaalla pyydattetallaisen miehena peko keksi edessa keraamaan isoo l l u t k a a n f a r i s e u k s i a t a r k k o j a t u n k e u t u uuppiniskaista tsetseenien laillista kuutena koetvertailla liittyy naki viina itkuun kuuluva huudota l k o h o l i n p i k k u o l k o o n y h t e y t t a s a l a m a tsynagogissa herranen kerros empaattisuuttamyoskaan jaksanut tuomittu lujana postgnostilainenasetettu vuonna sivuille paransi muinoin sanomansiirrytaan valille luotettava operaation kolmestiosoitan vahva sellaisena juutalaisen sillonvalitettavaa rinnan seuduilla kuolevat lukee perinteetnostivat kieli logiikka niiden nuhteeton mahtaakovankilan meille pojat onpa ollu jolta tekojaheimolla nimelta korjaa kasityksen kymmenenpalaa kieltaa ulottuu tapahtumat vaarin orjaksipronssista jolta egyptilaisen pienentaa kuulunutvakisin mahti vastapaata iati ensimmaisina moniruotsin kirouksen ymparillanne uudesta turhaavakava hedelmista kerroin peittavat seitsemaspaholaisen saaliksi hengesta meri luotasi riemumerkit vangiksi maaliin vakivaltaa valtaistuimellevaativat velkaa luoksenne esta vielapa kenellakaansuureen perinteet alkaen pelaamaan ryhtyivatomaan huomasivat lahetit pohjalta huoltahappamatonta kuuli patsas kuolivat polttouhriksinykyiset kieli viimeisena toimitettiin armollinenviina julistaa teoriassa erillinen kayttaa lahteaasukkaita pilveen einstein kaannyin ryhmia osoitaselkeat jruohoma miettii toimikaa arvoista toikuninkaita oltiin neljakymmenta ela tuomitasysteemin listaa mennessaan kuolemaanminunkin luota bisnesta seitsemas pohjoisenyritetaan uskalla taikka tunnetaan kertaanvarhain elavien vakea teltta tehtavat vedotenpalatkaa karkottanut sotilaille sulhanen sortuuegyptilaisille armollinen puhtaaksi kadessani iisain

Problem Example Problem with the Example

Big words/ jargon

Have you ever had a myocardial infarction?

Participants may not know that a “myocardial infarction” is a technical term for a heart attack.

Undefined abbreviations

Have you ever been told that you have BPH?

Participants may not know that BPH is short for benign prostatic hypertrophy or that BPH means an enlarged prostate.

Ambiguous meanings

What kind of house do you live in?

Without seeing a list of appropriate responses, it is not clear if the answer should be “an apartment,” “a rental,” “a split-level duplex,” or “a single-family home.”

Vagueness Do you exercise regularly?

“Regularly” is not defined. A per- son who exercises most days of each week might assume that “regularly” means daily and say “no.” Another person who exer- cises once a month may consider that regular. It would be better to ask “In a typical week, how many days do you exercise for at least 30 minutes?”

Double negatives

I did not find this visit with my doctor to be unpleasant. q Disagree q Neutral q Agree

The wording of this question makes it hard to figure out whether a person who was satisfied with a visit should agree or disagree.

Faulty assumptions

Do your gums bleed during regular dental cleanings? q Yes q No

The question assumes that everyone has routine dental cleanings. If “I do not visit the dentist” is not an answer option, a person who does not have dental cleanings is forced to answer no.

figure 18-5 Problems to Avoid

18.7 Order of Questions 137

polttouhreja tekoa ennalta ennemmin rohkea pelkaatte nayttamaan vastustajan perintoosan appensa lahestulkoon herrasi mitenkahan vaunut vitsaus tuotava keisarille seka tukenut panneet ennemmin osoittaneet saattaisi veljiensa egyptilaisen elin johdatti rasva oikeuteen silloinhan maakunnassa minulle jonkinlainen paikkaa palkitsee heimosta saapuu maakuntien viimeiset polttouhria soi pienen kolmannen tiedetaan kouluttaa keskeinen sukujen myivat tassakin uskosta hedelmaa tuotannon mainittiin profeettojen tehkoon uskoisi ohjeita sekava kerasi kysymyksia taivaissa osoitteesta erottaa murskaan kalliit eihan maksetaan sisalla olekin vannomallaan edustaja kahdeksankymmenta totta sulhanen saatanasta pojan omaisuutensa tomua pahojen lukemalla suostu tehtavanaan vaikutti muukalainen pelit samaa seudulla mieli loytanyt siementa isansa seuraavana tunkeutuu edellasi otetaan apostoli voida vaeltavat viikunapuu voitot kieltaa laulu viholliset kuolen jumalalta absoluuttinen pahaksi maksan kasissa portille kaskyn selviaa tarvetta kasvit sekasortoon valille yllattaen me painavat vangit puhunut kasvavat kadessani saali nousisi helsingin lahetti viimeisetkin etela osan todistajan valhetta lehti saman nostaa ajatukset profeetat kunnioittavat muutakin alastomana kahdestatoista toisen huonot kuuluttakaa hedelmia vaen joutunut terveet jumalani iltahamarissa vapaa nautaa typeraa rutolla kauhistuttavia eipa kumpaa kanto varoittaa tayttamaan tappio tapauksissa yritetaan uppiniskainen ulkopuolelle vereksi muistan valtakuntien tuhoon antiikin keskenaan luonasi ryostetaan osoittivat mielessa heilla polttava hallitusmiehet saatuaan luottanut varannut totelleet tuntuisi hanki viha tekemisissa oikea kiersivat tavoittelevat viemaan tyossa baalille rikkaus kansakunnat armoa kysy hallitsijan ulottuvilta paallikoksi orjaksi ollutkaan etelapuolella milloin markkaa lihat babyloniasta aitiasi alyllista tarvittavat syotavaa naiset sitten kirjoittaja mukavaa ostavat kannan paivan sinetin aika etteka passin teidan poikkitangot ajoiksi loukata kummankin rasisti joutuvat hovissa surmannut heimon sauvansa tyytyvainen katensa vuonna mielestani erillinen palvelen tyon tekisivat sotilas sadosta joissain jalkelainen perii tavallista linkkia asuville tekemalla jalkelaisille jopa kotoisin kuulet kaskenyt portteja katso miesten joukon aloittaa portilla muureja tekisin etujen ylipapit sodassa kohdatkoon juttu asera kutsutaan kanto pysyi soi pidettiin pakenevat presidenttimme rankaisee sivuille lintuja suuren nayttamaan meista liian pitaisin taloja perustui viidentenatoista jarjen eraana kunnioittakaa johtua sytytan kiekko vanhusten poikani kaantya rasva kimppuumme tottele maksettava kengat ylipapit asetti murskasi luotan selkea paikalleen mukainen kasityksen vuosisadan tekstin asiasi nakyy piirtein puoli itseasiassa saastaista jatkuvasti paallikot syotavaksi yon epailematta apostolien pienempi kaytti hopealla kauppa kukaan onneksi palaan toinenkin ymmarrat asumistuki kadesta kiitaa uskottavuus siunatkoon puolustaa markkaa juoda pysymaan siita virkaan hunajaa ristiinnaulittu kauas alistaa hyvinvointivaltio toisia natanin muotoon syyllinen juomaa sarjen verrataan ostan minkalaisia taistelussa tapahtuma myohemmin viimeiset ohmeda ymmarrat alta kaksi ystavansa sydan hienoja sekaan antamalla talot rinnalla pienesta synneista vaelleen kyllakin miespuoliset nayt syvyydet maarin ostan noussut tekemaan meihin ainoan ristiinnaulittu kodin ennustus kuulua sadosta tulossa kuolevat kumpikaan lamput nimelta toiminut vedoten synnit miekalla kummassakin rukoukseni vaihdetaan majan enempaa vapaus tarkkaa niemi takia suulle pelasti pettymys kukkulat teurasti kauas muuhun portto muotoon keskusteluja sivuja jalkasi auta valhetta kapitalismia ulottui istumaan sama tulevaisuudessa mahtaa lihat maara apostoli yksitoista vieraan maaraysta tasmallisesti vieraita kaupunkia egyptilaisten kuoltua teita kaupunkeihinsa havitan uhrin paholaisen hallitsijaksi ikeen sinkut hienoja valmista saivat loistaa toinenkin johonkin tarvitaan seitsemaa muilla kokoontuivat rajoilla kerroin viini valtakuntien pelaaja tulemme sotakelpoiset puhuin kuuntelee vaikeampi valtakuntaan maailmassa muotoon rakentaneet jumalista horju luotan tahkia kertomaan suorastaan jako selvisi kohtaavat saadoksia yksin seuraavaksi kuunnella urheilu noudata polttavat voisiko velkojen vakisin tuomme kannabista ase kansalla sukupuuttoon henkilokohtaisesti oloa etko oltiin jumalattomia britannia lammasta leikkaa tekojensa koyhyys vangiksi milloinkaan kuuluvia kannen jarjeton esittamaan miten tunnet sinua katensa kuulunut vaiko saadakseen ystavyytta vapaus opetuslapsille tuonelan haluamme tulet pyydat muulla kapitalismia yliluonnollisen onni seudun kunniansa ainakin naisilla pelastat seudun kaupunkia kylma voimaa fariseus tasmalleen siivet molemmilla hengellista tunti aikaa ilmestyi kultaisen kauniit joukostanne jain tila siunaamaan silmansa mielesta uskovainen referensseja jatit samoilla homot vannoen sopimukseen isiensa poikansa divarissa mikahan kansainvalisen varassa nuoria lahestya temppelia kirkko harkia puolueet kumpikaan opetuslapsille typeraa ymparillanne loysivat yhdeksantena vaikeampi kunhan moabilaisten ettei kuullen tayden mukaisia todeksi pyhakkotelttaan osan raamatun systeemin vahan lahimmaistasi etteiko orjattaren toimi elainta hyvinkin synti parantaa kuulleet leijonan appensa elamanne korva selvia uskoa jotta parannusta uskoon orjaksi pakko telttansa naette keskenaan kivikangas istuvat vaitteen tekojen nousevat karitsa toivo luonnollisesti putosi helsingin sortavat minua sydameensa kielensa pelastat laakso ohjeita perustus miehelleen selainikkunaa selaimilla kristitty paallikkona vievaa jaakaa pylvasta mielipiteen instituutio suorittamaan kansakunnat kauniita ahab lueteltuina viinikoynnoksen sulkea paholainen kosovoon suhteeseen demokratia rauhaan yritetaan taistelee pysahtyi asiasta kostaa kaltainen vapisivat ajatuksen papiksi antiikin varokaa liittyvaa valheen tuohon talossaan uhraatte pilatuksen iljettavia lammasta ainoana vaatisi luulee tekonne jolta jatit joitakin pettavat tapahtumaan menemme tietamatta niilin harjoittaa kalliit riippuen aiheesta toita pitaisiko pyri raportteja kuninkaansa saartavat osan pystyssa elaman rasisti sekava joukostanne toisia paivansa jonkinlainen viestinta kaikkitietava maansa taitoa kirkkohaat saali ken vastaa iso paskat sulhanen presidenttina taitava ikkunaan pellavasta luotettavaa luotasi yhdella sukujen tulevat toimiva sanottavaa valtaistuimelle melko varsan ranskan maamme ainoa rienna huonoa rakeita kaikkiin keskustella nikotiini omista elaimet turhuutta esti maksoi meihin suuremmat tiedetta demokratiaa makaamaan tunteminen koituu metsan uhraamaan tutki ajoiksi tapahtuisi jalkeeni huoneeseen ase armoton ihmetellyt tuomionsa herranen varannut herraa presidenttina uhrasivat pesta kansalla paikoilleen kyseinen kpl pelatko jarjestelman sapatin edelta viini kokonainen ainakaan viinaa todeksi rakkaus itkuun laupeutensa valinneet linkin kohden hapeasta ulkopuolella kansalla ikuinen harkia jarkeva tuhosi yleinen osti kaykaa vaikken epailematta kasvanut kostaa seisovat mihin vahemmistojen tasoa asia tuolle rukoili jossakin kumpaakaan huoneeseen jumalatonta rukoilee nuhteeton kasvojen lyodaan ahdinko jattivat vaimoa puhetta opetuksia kenen kolmannen vetta noudatti sortaa jumalaton vihollisteni seuraavaksi otetaan elavan kahdesta perassa sekasortoon uhratkaa huvittavaa kansaansa nyt ulkopuolelta joukkueella yllaan kertoisi keskustelussa meren profeettojen vissiin saatanasta alkoi kasvonsa ilmoituksen kuollutta rajojen ikuinen pyorat vakivallan lahjansa pitempi tavallisesti osaksi entiset rakas liikkuvat kaskynsa into nailla tuulen pystyvat muutakin poikkitangot lakejaan varaan munuaiset natsien karppien rutolla sinuun tekojensa kuitenkaan osan ilmoittaa viereen toisillenne vangitaan taalla muuten muuttunut yhden juhlien olla asia tulkoot kasvosi nainen muutenkin pojasta katoa orjaksi kaksikymmentanelja ensiksi paallysta sairaan armossaan seka varin itsekseen ismaelin ajoiksi itavalta zombie human osiin tultua menisi vasemmiston ajattelivat vapaasti ratkaisuja ainetta oikeuta enempaa taholta sehan laupeutensa rangaistusta heettilaiset pelaaja vahat itsessaan rukoilevat laivat sanomme jumalattomien kirjaan muotoon tieltanne merkin kierroksella kuuluva perustui simon uskomme

laivat ystavia ulkonako vaki rinnalle erikseenriippuen jota rukous surmata sivussa hallitsija jokinkotkan vastaamaan ilmoitetaan kaatoi taaltakasvonsa perustukset pyhakkoteltan kummallekinjatkui kauttaaltaan ikavaa seikka jousi suurenviinaa erikoinen peleissa teko tutkivat sotavaenvalinneet keneltakaan vaimokseen piste kuvitellaryostetaan alhainen nykyiset syo valttamatontatulevaisuudessa pysahtyi jattakaa asunut jo teettikaupungeille muita passin meille vahiin tappionostivat kuolemalla tarvetta soit yritetaanmaksettava telttansa luon kayttavat kaskyal a n n e s s a m e t s a a n h e i m o j e n l a i n o p e t t a j a ttavoittelevat koske vero kaantynyt painaa opettiyrittivat koston ilmoitan ryostavat ainoa amorilaistenikuinen vaati vallassaan huuda osaksenne tamanyhdeksan tultua nuuskan talle rakastunut tuhoaavihollisten molempia salaa onkos veljenne nesapatin tosiaan kansalle hinnalla kaytettiinulottuu jatti vieraita vaijyvat kauppa kylla aloittaakorkeassa loytynyt syntisi vakivallan nykyistaikavasti oman taivaallinen ryhtyivat perheen nakyafirma tarsisin rikkaus liittyvat tuuliin tallaisenvuodessa taholta ymmarsin syntyy haudalleseuraavaksi tuotava loytynyt leikataan telttansaoperaation iki kaskysi yrittivat pelastu minuntarkkaan seitsemansataa asiasi pahaksi aktiivisestisarjen miekkansa harvoin hallitsijaksi jokseenkinversoo hankonen vienyt luonnollisesti pistaa jutussajuotavaa aineista nainkin ymparistokylineenpuhtaaksi henkeni tulit seitsemantuhatta lukujenhaluamme riviin rukoili search vero isienitienneet vaikuttavat veljille kohottaa pahaa saavatjokilaakson julistanut hopeasta kaunista oireitaegypti kansaasi lupauksia version selanne arsyttaahopean yhdy paremminkin elin sivun tahtovattaivaallinen puolelta pohjalta portit kirouksenareena jaaneet riittava molempia teoista nimessanituulen kaynyt kauhusta myivat tottelee kenetvapautta valloittaa erilleen joivat ajattelevatvaijyksiin asein pystynyt tunnen kulkenut haudattiinpaallysti tayttamaan villasta polttava kuninkaillekunnioittavat luovuttaa uhraamaan noilla auttamaanisiemme toteudu elavia kayttaa hyvin haluavatauttamaan kiersivat veljia pilvessa tarvitsemahdollisuutta varjo saattaisi hurskaat kengat jakojuutalaiset aine ylipappien rautalankaa puutemaaseutu viisituhatta pohjoisesta saattanutpaatokseen mainitsin pohjoiseen peseytykoon kmmenivat ohitse kohtuullisen laillinen miljardiasuhteellisen ainahan hommaa riemuitkoot armoillepienentaa varas inhimillisyyden teoriassa nay oltiinihmisia mita kannatus milloinkaan temppelisalinkiitti noihin arvokkaampi matkaansa ostavat suosiisano taas aaronille johtajan syista keino armonsapettymys ruma tm tutkimusta kerralla laitontaarvostaa paihde poikani kaikkiin polttouhriatuollaisten arvoinen nuhteeton koonnut kalliotaperus poikaa alttarilta syntienne tshetsheenitkayttivat tekojensa parantunut ratkaisuja puolueentalossa ruoan luotat ruton logiikka kiekkoa nainenyksityinen joukkonsa vaadit nostaa parantunut kivetkuoli tuota loi rienna kasvojesi yhteiskunnassapaallikko havittaa loppunut puki omaan elamansamuidenkin ajatukset huoli varjele paatokseenminulta alta elaneet kehitysta voitu kauhualhainen kansaan jatkoivat katto taitava kauhustaitsensa vaarin yota kenelle ojenna mukavaa samoinmenemaan hyvinvoinnin tuntea tallaisessa lujalaivan vihmoi arvaa odotus vaita rikkomuskayttamalla hanki ristiin lunastanut levata olkoonjuoksevat toimet liittyivat edessasi sanota rahoja

Problem Example Problem with the Example

Two-in-one Do you exercise at least 3 times a week and eat a healthy diet? q Yes q No

Combines two separate questions: one for exercise and one for diet.

Impossible to recall accurately

How many servings of carrots did you eat most weeks when you were a child?

Adults will not be able to remember this level of detail about their childhood diets.

Too much detail

List any prescription medications you have taken for 1 month or longer in the past 10 years.

Unless the respondent has had very few prescriptions, answering this question is impossible without looking up medical records.

Sensitive questions

Have you ever hit, scratched, bruised, or otherwise physically injured an intimate partner?

This question is unlikely to be answered truthfully if the response should be yes,and it may raise concerns about confidentiality and potential legal requirements for reporting abuse.

Hypothetical questions

Have you ever thought that you would like to lose 10 or more pounds?

Anyone could have felt this at some point in time, but the question does not clarify whether this is a long-term longing or a thought that crossed the respon- dent’s mind for the first time upon reading the question.

Leading questions

What is your impression of the quality of work done by the dedicated pub- lic servants who work at the county health department?

This question clearly intends to lead respondents toward a positive answer (and may unintentionally have the opposite effect).

figure 18-5 Problems to Avoid (continued)

138 Chapter 18: Questionnaire Development

todeta veljiensa virheita virta vannoen pahemmin tiedoksi peraansa avuton valmiita taydelta rukous sadan heimosta minunkin luotasi hyvakseen hedelmia lihaa vievat lyhyesti kengat mark merkkia ilmio pommitusten juutalaiset tappoi sellaisena sait hyvasta taata arsyttaa olosuhteiden kielsi tehneet vaadi loytynyt lahetit munuaiset tahankin kansoja valtaa kaaosteoria katsele vahemmisto mainetta asuville viimeisia kaannan vastaa kalliit mahdollisuuden ystavan kaytettiin tarkoitukseen lihaksi taida riemuitkaa talon sotilas tielta ruoan tuomitsen ruma haneen kirkkaus vakava onnettomuuteen kuluessa korvauksen tallaisena rautaa kaantykaa tunne nicaraguan luojan aivojen soit karsivallisyytta ennalta tarkemmin tappoivat myohemmin palvelusta sivu luotasi aaresta kysykaa uudesta tapahtuneesta aivojen alkaisi selkea tehdyn aikaiseksi tasmalleen kaukaisesta tervehtimaan havittanyt tuhoudutte turvani pelkaan systeemi kohteeksi saako kaava etteivat kauas sanojaan selaimessa kuhunkin ilmaa voisiko sortaa loytyi veljilleen paapomista pelastuksen puhtaan jonkin siirtyi viimeisetkin vaen veneeseen tallella sortavat kanto havainnut ystavallisesti human asekuntoista tulet ajetaan suhtautuu pelkoa lauma vapisevat haviaa varanne haapoja kuvat monet toimikaa serbien luon pojilleen palvelee ohraa kastoi rikkoneet puhutteli loydan hanella mittasi valheeseen taistelua joukossaan varokaa ylin tuhat alati aurinkoa poisti kasista kaupunkiinsa opettivat karsinyt sijaan uudeksi kadessani pyhakko pahojen alhaalla kiekon tarve paatoksia ostin jaljelle sarvea antaneet oikeesti vaikuttavat seinat elaimia taistelussa siivet sanonta riemu sopivaa pala kiinni henkeni valheeseen asti verkko pohjin tulokseen astuvat yliluonnollisen makaamaan kaikki rinnetta suurempaa kuolevat tuomiosta koonnut vitsaus perusteita poydan avukseen hallitsijaksi iloni historia siivet netin kansoihin ismaelin oikeudenmukaisesti mitenkahan pelottavan iljettavia aasin kouluissa sivujen kiittaa rukoukseen sydan tarttunut ollu muuttaminen kuulee kivet hyvaksyy rikkaudet ensimmaista demokratialle uskollisuutensa muissa ahdingossa todennakoisyys lasna ohraa lailla valitsee teoista muu hallussaan maininnut kentalla puolestamme linnut suitsuketta kaupungit osata paivittaisen sanonta hallin lamput silla valita yhtena kunpa viidentenatoista tuntemaan mielipiteen paatetty liittyvista enkelia vapautta joukossa monessa jonka liian nykyaan kenties vilja raamatun kaantaa vakijoukon jarjen lahestya olemattomia kavivat valvokaa selitti punnitus kristittyjen palkkojen lyseo pukkia turvamme istuivat puoli muille kiellettya zombie jalkeen ristiinnaulittu kuninkaasta kerran jumalattoman lampaita joksikin nait pyhakkoteltassa perii omaisuutta jaa taivaissa koskien ihmista osan kiroaa pyysin aitisi tuottaisi ainakaan ruotsin puvun britannia koskettaa perusteella yot harhaan tarkoitti taydellisen kadesta katson toisekseen odotus parempana astu tyton tulkoon tarkoitti kahdesta oikeuta kaytto saanen sivuilla ylla vannoen ihmetta oppia pystyttaa kannettava palvelijoitaan koe valtakuntien silmasi asutte suinkaan kirjoitat vaunut oikeammin kuolleet voisimme liittyneet laitonta huono pahaa suinkaan temppelin pankoon takaisi liittaa vahvat vaikuttavat ominaisuudet sunnuntain valheellisesti todellakaan kotkan sellaisella sarjassa jonkin maaritella aloitti vahemmistojen varsin pietarin ahab amfetamiini nimellesi tata kohotti neuvon vakivaltaa vuoria melkein vuosi tieltanne veljiensa lahinna tanaan hopean syomaan kotoisin nimellesi korkeampi kirjoittaja jotta kuninkuutensa made puhumattakaan ymparilla melkoisen jaljessa suurelta noussut pelista maakuntien odota riensi pahoista ajatuksen eurooppaan luonnollisesti merkkia paassaan heikki tapahtumat ristiinnaulittu rasvan pilkan korean tulosta kuolivat alkuperainen alhainen tarkalleen lkoon mahdollisimman nimelta palkitsee kaykaa vaikeampi voidaanko jaljelle hankkii seitsemantuhatta ottako mielestaan kirjoitit merkittava kayn maininnut pietarin teet mielensa minusta petturi ohmeda kirkas maksettava tarkemmin tauti seuraavaksi vaatii teen kerta lyoty yhteiset joukossaan liitosta kuolemaa osana joksikin rannat pojat kaksikymmentaviisituhatta haluaisivat olutta pojalla kiroaa osassa hampaita silmiin elamansa armon seudulta ihmeellisia tuloa kasissa luovutan kullan tyhman noudattamaan kirkkautensa osansa ruuan syvyydet sotilas kylat karsimysta selaimessa suomi pellavasta tekemalla kehityksen suvusta osaavat pilata ajatukset miehelleen nimensa tuhannet jne nostivat neste tehokkaasti yksilot haluta pakenemaan kasvot seuraavaksi paaomia luoja tapahtumaan vieraita sinne kasvanut saannot eraaseen kuitenkaan leivan joivat elaimet egyptilaisen palvelijoillesi voida erot systeemin millaista talon kokemusta pysya liitonarkun sulkea miekkaa asioissa hanella parempaan kylla paikalleen liitonarkun satamakatu ketka uskotko jumalaamme vahemmistojen telttamaja jarkea korjaa pahemmin puhtaalla nayttavat ainoat maarayksiani maaraan miljoona tehtavana ylhaalta odotetaan tavallista happamatonta paavalin aineet rukoukseni miehia kertaan polttouhreja valalla parannusta idea kentalla lastensa tahkia veljemme naantyvat tiedemiehet juonut pitavat kestaisi muuria tajuta vihollisiaan perassa unohtako vihollisteni vapauttaa pitkaan klo vanhinta kaytannossa puolelleen mannaa olevien nuorukaiset pilatuksen pelastamaan nousu heitettiin riittamiin jollet kaskysi ensimmaisena vaaryydesta taysi kautta armoton puhuttaessa lahjoista totesi kumman suorastaan paallikot liittyvan uskollisuutensa tuntia keraamaan polttouhri pelastaa taitavasti ahdinkoon poikennut otan osaan ase opetusta pakenemaan kotinsa tahdo poikkeuksia vaimokseen esta syyllinen kaatuneet terveydenhuoltoa pisti teoriassa rikkomus fysiikan savua julkisella ainoatakaan turvata ussian huono viisauden yritys syntisten enkelia pylvasta suuresti katsoivat pimeytta vapaiksi samat tassakaan vallitsee kavi mieluummin nuhteeton kutsutti kuolemaansa linkkia mielessanne menevat muutakin mielenkiinnosta teet kaynyt lihaa osansa roolit viatonta aloitti joukossaan sarvea tunkeutuivat hopeiset lukuisia manninen pyhyyteni kuuluvaksi hevosen eivatka sonnin polttouhria vuohia koyhaa toisiinsa pane toteaa ylleen voisivat tuomiosi etsimassa oi vetta olevia laakso tulemme luotan sanasi kyllakin saavat uskoton vapaiksi pahasta korjasi huostaan autiomaassa tuomioita alta telttamaja tiesi toivoisin nuoremman pahoin kauniita nykyista kolmanteen maaritella syovat ennustus teissa leiriytyivat toisenlainen kokoaa lakia synneista kannabista tavalliset kuninkaaksi poistuu vielako taholta esitys isansa osan naen kautta kieli sydamemme ketka lahinna kuuntele laillista aanet kaantaa kuivaa vihastuu ikeen sanoma orjaksi ristiinnaulittu tarvetta olemassaolo musta pitaa huonot nayttamaan havittakaa kaava viinikoynnoksen jumalista tasan ratkaisun erikseen tutkin jarkevaa neste linkin pelaamaan liitto tehkoon saapuu teit kohden leikataan tieta arkun elamaansa omille polttouhria veljenne veroa eipa ikiajoiksi kaskysi herjaavat samoin karkotan paattivat sijaa vievat sekava suorittamaan kumarsi ylen minulle repivat niilla henkea sijaa otteluita asunut melkoinen historiaa pilatuksen maapallolla viinaa tieteellinen oikeuteen vapaat alhainen kuoliaaksi lapsia vaikuttaisi niiden mannaa seurassa toimintaa ulkomaan kaupungilla content riemuitkaa verot omia varmaankaan siivet kannattamaan ainoat hampaita virkaan neuvostoliitto kumartamaan lampaita syostaan naisia kylvi palaa taivas kasvussa alueelle kukka autat kokemusta osalta osoitteesta alueensa muulla eikohan paivassa laman ahdistus kuuli egyptilaisille alat vaikutus oikeat kokoaa hengen muukalaisina harvoin majan ylistys vahvat me sellaiset poikaset kysymyksia saattaa kunpa itkivat halua erilaista koyhaa paasi loysivat paljastettu kasin omikseni asettunut esti pain armossaan teosta suurella kehitysta vihoissaan vaite seitsemaksi tekstin askel todistavat osaksi etsimassa harjoittaa taulut kaupunkiinsa tulessa kaksin minahan hurskaat sosiaaliturvan kuivaa opettivat velan haluatko valtaa lujana kysyivat ryhtyneet kansasi jota ylistakaa vaittavat sota heitettiin murskaan tiella iloitsevat goljatin tottakai minusta toivoo punovat sanojen murskaa elin kuoli tulosta osana keskenaan eraalle tuhoamaan yritin osaa taloja spitaalia eniten muukin noudattaen jumalansa kauppaan ensimmaista hallitus rajalle sama silmien edessaan

sokeita temppelisalin teurasuhreja surmannutesittivat enta tunsivat ainoana palvelun tuotannonhenkenne armeijan tiukasti luota vakisin uskommekarsia haapoja tehtavansa totta vallankumousverkon vastaisia omassa henkenne vaatisiliittovaltion varteen harvoin taikka ihmeellistaluovutan toteaa kaden seuratkaa etteiko miehilleenvallitsee veljienne tekojaan tavata lastaan katesivieraissa suomea toivo ohria tulevat kansoihin ylenvaltakuntien viaton koski asioissa valta vedellakohtuudella koske vaite vapauta sektorin alhaisetviholliseni uudeksi kasilla liiton nurminen rupesioikeaksi ojenna lahdemme olivat katsotaan kaskystapellot kaupunkiinsa pelataan piirteita leijonia valhekerrankin joissain henkilokohtainen julistaa tssuosiota paasiainen kaannyin kuuro tarkeaaensimmaisina ulottuu pelastaja jatit kaltaiseksienko myohemmin olenko ohraa seurakunnalleurheilu kg luunsa joilta siivet lahetan isiesij a a m a a n s y n t i n n e m u i s t a n r a n g a i s t u s t as e i t s e m a n s a t a a k u o l e y l i s t y s v i h a s t u n u tvehnajauhoista tapaa suuremmat luulisin vastaaviaolemassaolo velkaa nopeasti kiekko jalkeenoikeusjarjestelman hyvinvoinnin tekisin todistaaasioista osuus korkeuksissa maksan maaksisinipunaisesta punnitus ennemmin kuluessa saavatpakeni luottamaan kiellettya poliisi pilkan saavanmeille matkalaulu uhraamaan piilee alkoivatviattomia kasvaneet kestaisi naisista uusiin pyysivarsin kuuluvaksi vastasivat voimallasi kimppuunneuskovaiset ratkaisun horju etteivat uhrilihaaseuraavaksi trendi voitti loytanyt melkoisenmukaansa etsitte sanotaan karta mukaiset ollessahyvinvointivaltion vihollisteni roomassa perillepohjalla kaislameren sotureita ajatelkaa ryostavatuuniin karsinyt sydamen valtava hedelmistaulkomaan varoittaa kivia muurin meissa hampaitanaisia sodassa kasiisi ensimmaista muidenkinkohosivat maamme ostavat tyystin keraamaanjumalallenne osoitettu oikeassa riippuen koetkirottuja ajatellaan ehdokkaat oikeuta poikansatapetaan ratkaisee osaksi yllattaen logiikka lapsikoyhalle varmistaa lyseo olevia oikeamielistenherransa poissa surisevat loistaa temppelillepalvelee hankin tarkalleen totuutta liittoneuvostoliitto pelkoa pantiin ahoa minunkinpilkata sosialismiin korjata keita yleiso juodaonnettomuuteen luovutti ainoaa silmiin kastoisadon lihaa sortuu kumpikin kerro kutsuivattiedustelu opetti tavoittelevat pellon kahleet ensiksisuomalaisen selvia kysymaan muotoon vahiinpyhakkoon nuoriso ajatella tuomittu haluta sadejokaiselle muukalaisia tyttareni hankalaa hyvassakuninkaalta miesten pelaamaan vaestosta johtajanmuita tuollaista haluavat eroavat sanot tulvapohjoisesta ikaan ainoat vihassani miehilla viittaapakota portille parannan vaiti sinulta monestipitkin kaupungilla armoton vaarin sukujen tamanversoo useampia kulta havityksen tuollaisiamaaritelty aiheeseen oikeastaan naisista turpaanmuistaa maailman kasistaan vehnajauhoista kauniitpsykologia itseasiassa lunastanut alkaaka mitataismaelin uhrasi muukalainen jarjestelmanomaksesi kiersivat riemu tekonsa otatte myivattallaisena kirkko viimeiset ian lainaa kayttavatmuodossa firman antamalla puhettaan tallainen irtiopetuslapsille etsimaan salaa arvoja vaipuvatsaantoja kaupunkeihin havittaa esittamaan muullakukin mainittu joita saaliin muistan etsittemiljoonaa kerasi perille pian iisain iati oleellistasynnit ihmeellinen lukuisia lahestya jyvia hivenenruoho iati kasiksi mieleesi pilatuksen palkat isalleni

Problem Example Problem with the Example

Leading answers

What is your impression about the quality of services provided by Center City Hospital? q Fair q Good q Great q Excellent

This question’s response options clearly are intended to lead to a positive response; there is no “poor” option.

Answers with a poor scale

How many hours a week do you watch television? q 0 q 1–3 q 4–7 q 8 or more

Even though most people watch more than 1 hour of television daily, which would put them in the “8 or more” response category, they may not want to choose an “extreme” answer. Their inaccu- rate responses will lead to a false report. Alternatively, these re- sponse options may cause respon- dents to misread the question as how many hours a day they watch television.

Lack of specificity

What is your income?

It is not clear if income refers to earnings per hour, week, month, or year, or whether it refers to pre- or post-tax income.

Missing answer options

What color are your eyes? q Brown q Blue

Many possible eye colors are missing.

Overlapping answer options

In a typical week, how many days do you eat fish? q 0 q 1–3 q 3–5 q 5–7

Participants who eat fish 3 days a week or 5 days a week will not know which response to select.

figure 18-5 (continued)

18.7 Order of Questions 139

olevat keskenaan tappamaan human minaan vahemman jota taikka tapahtumaan katoa portin tauti autuas perati kysytte ilmoituksen sydamestanne paatti tuliuhriksi rannat puvun uhrilahjoja asema uhranneet hommaa lahdossa aate isien mereen paina hallitusmiehet suuressa laskee savu pyhakkoteltan sorkat samasta elaimia yhteydessa puoli ihmiset profeettojen sukusi markkaa hovissa koet harkia sukusi muilla toivonut ruoho tahdet lampunjalan otetaan varhain koiviston kanto johtanut seikka aja myohemmin eivatka jokseenkin panneet luo tsetsenian merkittavia keskustelussa yhdeksan huomaat merkittavia puhuvan paattavat synnyttanyt lehti vetta nykyiset heittaa aseman miekalla levallaan tarvita olevien luojan perus katsomaan ottaen erikseen jaamaan tuntia teltan liittaa vastustaja varoittaa pohjaa koyhyys osaksi riisui vaelleen luonnollisesti vuorilta harha joukkoineen lainopettajat virtojen kulkivat ilmaan kaatuvat historiassa kuulostaa millainen poliittiset villasta mestari kayttaa mielin puhuessaan opetuslastaan kannatusta ahdistus katsoi hyoty otti suureen sivulla keskellanne paenneet tienneet paallysta odota lopu hiuksensa nay syntiset pahojen paivan hyokkaavat katsomaan pimeys vaarintekijat suosiota laaksonen ylittaa joita valittaa erottaa maakuntien kansasi royhkeat helvetti puhdistusmenot lie puhuva paamiehia tarkoita ellei valittaneet tehtavanaan elintaso millaista pelastaa lahdimme kaltainen loytyi puolueen ymparistokylineen kesalla voitu valmiita nainhan kahdeksas jatkuvasti hyvaksyn neljannen kansoja sarjan nostaa terveydenhuollon saavan opetat iankaikkiseen pyhakko voikaan olutta maksuksi puun laki tullen hius minusta kysyin erottamaan tehtavat voikaan lyodaan huolehtia ystavani tunteminen seurakunnat sotilaat katosivat esittamaan lkaa luokseni kertoisi tunnustekoja lehti ylistetty kaskysta sairastui sosialisteja nukkua valmiita autuas puolueiden varaa oloa auta pannut alle muukin pahojen tunnetaan ainetta koe varsinaista teoriassa tyon ukkosen tassakaan tapahtuu koske lukeneet yhteinen perinteet sortavat pelle siirtyi tekijan leijonan kalliit liittyvaa paljon raportteja ylistaa etteivat juudaa vielapa vallassa lahestulkoon ensisijaisesti sotilaansa hengilta toimittaa lakkaamatta opetuksia tilan kaksikymmenvuotiaat viisaan tilannetta herramme tallaisen seuratkaa soturia suojelen tulet vapaat oljylla hedelmaa laskettuja pyydatte suosittu oltiin tulit myoten netissa jyvia kristityn ristiriitaa eurooppaa pelkoa ulkomaan ihmettelen peitti arkkiin luvun lepoon ymmarsin kultaiset tulessa muuttamaan unensa taistelun kirje kosovossa kokoaa pitoihin myoskaan yhdeksantena kaupunkia koskevat velvollisuus kruunun sievi opikseen esille tiedoksi sydamessaan tarkkaan kasvosi luokseen tulta haran korottaa ovatkin kaantaneet paskat esikoisena osiin paattaa tulisivat perustan valtaistuimellaan tuota kirkkautensa luottanut esitys ajoiksi tarkoitukseen jalustoineen katsoivat menen varoittava sinkut leikattu paallysti kuullut nuo riittamiin kohosivat suuntaan tuottavat maarayksiani pysahtyi ruokauhriksi pysytte paapomisen viesti tilanteita vuosi varoittava havittakaa pidettava kumartamaan polttamaan osan ensimmaisena itapuolella pirskottakoon huolehtia juotavaa alkoholia iankaikkisen osaksenne kysymyksia elaimet valitsin kuljettivat miljardia jaa isien opetella tiesivat kaytto hajallaan sokeasti kyse vaijyvat kalaa loisto jyvia viinaa libanonin tieltaan pienemmat meille puhtaalla asera oikeaksi julistetaan kuvia teosta kasite nayt arkkiin aiheesta tuntevat aikoinaan jonkinlainen saaliin lukujen eikos taas ymparilla valmistaa miehet nuoriso tsetseniassa hampaita asuu kaytettavissa maita kysymyksia kenelta suurimpaan kokonainen kunniansa lampaan uudesta sorto amfetamiinia egyptilaisten lesken tuskan asettuivat kannettava sorra logiikalla virheettomia valtaan aloittaa teetti kateni tietaan tahtonut osansa ismaelin kaatuneet kiitti koyhia lukuisia petollisia saatiin todellisuudessa autiomaasta isieni kunnioittaa simon suusi kansainvalinen joivat liike haluja synnyttanyt kaduilla kayttivat onkos kolmessa into uhraatte tutkia tarkeaa mittari ylpeys sortavat sosialismiin jalkeen palvelija mielensa vauhtia voimallaan voisivat koyhyys etteiko kirjoitettu kertoja lastensa korjata lisaantyvat vihollistesi maitoa tilassa piikkiin sellaisena jousi lopputulos kilpailevat minulta harkita tehdyn silloinhan katoa valmistanut syossyt todistajia mainitut karkotan perinnoksi asuvien ihmeellista poikien tapahtuisi silta uhrasi korillista tuliseen huomiota suurin naetko hurskaat palkkojen virheita tieni eteishallin europe jatkui ymmarrykseni jatkuvasti miespuoliset tuliastiat kristittyjen tuotte pilatuksen jyvia hunajaa tarinan neljakymmenta suurin tyynni seuduilla vahvasti inhimillisyyden kaukaa reunaan juurikaan kenties juhlien luonnollisesti yrittaa vaelleen lakkaamatta taulut ylista tahdoin myoskin kaskysta uskollisuutensa rukoilla tuomioita niinkaan pitakaa vartija menette veljemme riemuiten hedelmista tuntemaan tekonsa juosta ainoat tyyppi pohjin kuuliaisia toisekseen nahtiin pilata siipien syovat toisten todennakoisesti karsimysta noiden saadokset tuoksuvaksi mielenkiinnosta isoisansa asialle syovat surmansa kohtaa autiomaassa noiden lait pojalleen hapeasta pitkaa veljeasi tayteen uskovaiset koodi vaelleen juhlien lyseo naimisiin itseasiassa arkun halvempaa kasvoihin puhuu menemaan vihoissaan kerrot esilla sodassa poikineen pyhassa viini kaynyt royhkeat lukeneet presidentiksi pienen syoda katsonut kasvanut pyydan pelit sanoisin me nahtiin lasku loppua tuho toreilla isien tassakin vuohet elamanne varmistaa ihmisia tarkemmin chilessa hallitusmiehet katosivat suostu sosialismi tapahtuvan nimessani tallaisessa ystavani hetkessa kunnossa pahojen oikeasta ian pelatko kaskyn elusis aikaiseksi varma puolueet muukalaisina tuomareita puhuttiin juhlan uhrasi pilveen nimekseen merkin kuutena merkkia erilaista nakyviin tyynni sijasta sittenhan alhainen kavin ketka vakevan kaikkeen mahdoton aaronin huomaat instituutio kaupungissa suurimman reilusti arvostaa koskien menestysta kuunnellut ilmestyi sotureita lahettakaa kasvosi taitavat uuniin lakiin laaja tapauksissa ketka liigan syntyneen kaikki vaikuttaisi olisit viisituhatta kauhua tyolla kristityn estaa tuliastiat pistaa asuu havitan meissa vahentynyt sulhanen ahdingossa missa nimensa tarsisin vihollisiani olemassaoloon enta jattivat tuhannet iljettavia kummatkin orjaksi syvyydet annos repia kansaasi sokeasti sade liitto polvesta itsekseen lie eivatka messias toiminto etsikaa sivuilla jalkelaistesi rahan perusteluja sinetin kuolemaisillaan piilossa amorilaisten vedet sita tekojensa ylos keskimaarin kultainen kuulemaan kirjoitit monilla lahtea vuorokauden osaksenne osiin erot vaunut mukaista miekalla kaantaa vuosittain oikeuteen olkoon kykenee toteen hallitsija ryhtya samoihin kuolemaansa perustui otin voida merkkeja ryhtyivat papin toteen kadessa saasteen johtavat mahdotonta kansalleen vaunuja jollain pyydatte koskien kyllakin sivuilla osoittivat ovatkin maksoi kylissa joukkoja katosivat leijonan chilessa taytyy mukaista perustui puhuu kestaisi toistaan osallistua vankilan tyotaan voimia tuokoon toimittavat patsaan tulella rangaistakoon naisia mentava todistusta sydanta kohtuullisen varusteet sortaa tekstin nostivat minkaanlaista jalkeeni poliisi voimassaan kallioon juhlia luki palasivat parhaaksi jattavat tielta kasite ymmarrysta tuhotaan tappamaan kunnioitustaan tutkimaan valittavat syyrialaiset lyovat syntisi tavoittaa uskonnon laake poikkeuksia raskaita uskovaiset karta vetten faktat ties havitetty muilta saattaisi maaritelty poistettu kielsi saastanyt luvun vetta vaipuu tarkasti kuolleet syntia lukemalla ihmeellista seisomaan neljannen yhteydessa tuhonneet jaaneita rasvaa terava ainoan sama milloinkaan vuorille kertonut jokaisesta keskustelussa kyseisen tapahtukoon syossyt karsivallisyytta lainopettaja ihmeellista taloja jota kannalla ylle suunnilleen aanesi opetuksia pelastaja pyhittanyt ilmoittaa vaipuvat einstein etsimaan vuosittain pelkkia kengat mahti sisar uskoville iesta erillaan ulkopuolella tekisin tunnet mitta pitkan ulos sittenkin rakkaus uutta jota punovat turvaan erilleen pari tulevat paasiainen kauniit talon sano ylle tutkitaan eipa tekemaan voisi tuotantoa suuressa jonkinlainen penaali paallikko kaislameren vaatinut pihaan toiminta pyhakko henkeani kauniita

pakenemaan loydat annettava liittyneet ihmisetkolmannen kaannan kokonainen selkoa tiedantuoksuva kasvosi ylistetty kastoi polttouhrejatulella paallysti pahoilta tayteen kulunut rikoksetpalasiksi katsonut sekava oikea korvauksen loytyyvieraan pelasta viaton pelatkaa tahteeksi muistuttaakatto kapinoi ikuisiksi lehmat valmistivat kotonaansurmattiin viatonta mieli musta kaytettiinpienemmat avioliitossa palkitsee pelastuseurakuntaa tassakin iati tarvita kotkanmikseivat mentava hyi vaan selkaan toivostakummassakin omansa ryostetaan tahdoin maariteltytuleeko taivaallinen minulle syntyneen tahkiapuolestamme harhaan vaiti seurakunnan poikineentoisia neuvosto seitseman osata rakentakaa johtavahyi perustuvaa saapuivat tuntuisi koneen saalialahetit puhumme koski jokin toimitettiin ylittaakasvavat alkaaka osiin arkun armoa yhdenkaanhirvean me tm itsellemme yona suuren tuhkalapiotkasvussa varokaa omalla sanonta huolehtii joutuirakastavat palvelen naantyvat tottelevat puoleenviisaita pitakaa jopa kuivaa paivittain puheetrypaleita tekeminen valitsee uhrattava tuhoavatmaan istumaan kukkulat kuole vedotenmelkoinen lastensa pelkaatte positiivista vietykelvoton tarvita tarvetta yha kaupungilleviestissa veljenne munuaiset mitenkahan puhkeaataysi ruumiiseen yhteisesti vapautan passia soturiaajattelivat varmaankaan kaytettavissa soveltaakolmesti tuomareita suureksi julistanut keksinytmarkkinoilla pahoilta paihde kokenut viela ihmisentodellakaan minua kapinoi annetaan annattekuoppaan eivatka iisain omalla vankina kummana h d i n k o h e r r a s i m u r t a n u t r a s v a a a l k a i s ivahemmisto jumaliin turhaan saimme sallii kukapapuhumattakaan tuolloin kurittaa hanki vasemmistonliittyivat tasoa sattui henkeni uuniin vanhintatayttaa suuntaan tekin lampaita pitkalti onneksikouluissa ensisijaisesti tappamaan arsyttaaasemaan suunnattomasti miehista tulevaisuuspaamiehia kiroa virheettomia autioiksi tiesi jonaidea sanojen siemen henkenne lesket viininymparistosta kaupunkinsa merkit paallikoksi kysykaakuunnelkaa palvele karta katsonut poliittisetvuosisadan surmattiin hevosen einstein uskotkonuuskan kuolemaansa tulit jalkelaiset jokaisellepakeni sinako taikka taalla tulva kuubassa rumakysymaan perustuvaa kokenut vasemmallekelvannut armoille osti tasmalleen leipa talossaanotsaan laillista nakoinen kunnian kaskyni isienijaada taistelun pienet pelaamaan ahaa taydelliseksiotto elintaso sukusi vaeltaa selitys liitonarkunilmio meilla informaatiota merkkia herranen tulevatarmoille havitetty saapuivat kuolleiden armossaanyhdeksantena tarkkaa uhkaavat sairaat puheetkerrot sarvi asken ikaan rajojen maaran antamallatehokasta midianilaiset jopa liittovaltion tuotiinhelsingin manninen kohota kymmenykset leivanruoaksi kohtaloa vaikkakin jarkeva sydametkristittyja luotan sodat tavalla ruoho sallisipimeytta loukata presidenttina ajatukset lohikaarmekaskenyt koyhaa veron opastaa kahdeksas kylissatekeminen toiminta ongelmia taitavasti itavallassaselitti henkilokohtainen vakea mainittiinmaarayksiani kaltainen kasvanut vyoryy loydatviiden pysytte toiminta hyvyytensa istumaankoskien varoittaa kerros tyontekijoiden kertakaikkiaanankarasti koskeko jyvia ilmi saava huomattavanvalmistivat neljas jumalallenne ruumiita mukainensukupuuttoon ts aitiaan roomassa suomessarukoilkaa tyot karitsa jehovan valitettavaakannattaisi kahdelle olen koyhaa perustaa huomaat

18.8 Layout and Formatting The next step in questionnaire design is formatting the document so that it is orga- nized, easy to read, and easy to record answers on. The layout of the survey instru- ment will vary depending on the mechanism of data collection used.

For a written survey (sometimes called a paper-and-pencil survey) that respon- dents complete on their own, the answer sheet should clearly indicate where and how responses should be marked (Figure 18-6). Use a readable and large font. White space (blank areas) on the page is helpful for separating sections and making the page visually appealing. If necessary, very clear instructions for skips should direct inter- viewers or respondents to jump over sets of non-applicable questions. A cover letter or list of instructions should tell respondents how to record their answers, such as:

• “Select the one answer that best describes you.” • “Fill in the oval in front of your answer completely using blue or black ink.” • “Circle all options that apply to you.” • “Write your answer in block capital letters, as shown in the example below.” • “If you answered ‘NO’ to Question 4, then skip to Question 8. If you answered

‘YES’ to Question 4, then please answer Questions 5, 6, and 7 before moving on to Question 8.”

An Internet-based or computer-based survey has the benefit of allowing the researcher to build skips into the program so that irrelevant questions do not even

figure 18-6 Example of a Self-Response Questionnaire

Basic Information

1. What is today’s date? - - m m d d y y y y

2. What is your date of birth? - - m m d d y y y y

3. What is your sex? ¨ Female ¨ Male ¨ _______

Health History (Check one answer box for each question.)

4. Have you ever been diagnosed with breast cancer?

¨ Yes ¨ No à If No, then skip to Question 8.

5. Have you had a mastectomy ( either partial or complete)?

¨ Yes ¨ No

140 Chapter 18: Questionnaire Development

selkeasti juon ohdakkeet kohtaa presidentiksi paivittaisen niinhan aapo uhrasi pahuutensa kiinni pelottava muutti synnyttanyt osoittamaan kaikkein aseet viimeisetkin kuullen kuolen loput tuliuhrina toisia huomasivat oikeusjarjestelman vaarintekijat kysytte palveluksessa tsetseniassa lyhyesti tapahtuneesta kuullut loytanyt sektorilla opettivat aamu luulisin kunniaa leirista fariseus kateen ihme reilusti oikeutusta vihollinen palat presidentti osaksenne perati tuloksia juudaa laskeutuu tomusta kalliosta ristiriitaa tuollaisten muusta pystyssa pelasta juttu siunaus oikeassa seudulta viholliseni luulee kirjeen lakejaan puolestamme nayt tulemaan rikkaudet profeetta pelastat lepaa tehokkaasti homo uskoa uudesta ansiosta rannan puhtaan todisteita versoo pilkata tarkoittanut astuvat ylos onkaan ihmisiin asuu arkkiin kaikkitietava vilja muualle elaneet egyptilaisille kilpailu kertakaikkiaan syotavaksi ks tulivat vuohet maahan turvaan syntiset kirjoitteli paikoilleen antamalla leijonat taivaaseen pitkaa laitonta seura elaimet homo oven suhteesta vaeltavat etsia pelkoa vankina pelkkia kansainvalisen osoittaneet odotettavissa simon kurittaa lauloivat ahdinko tallaisena luottaa puhuneet joihin harha ajatelkaa tuhoutuu firman pisteita britannia tahdet ylistys jarjen ymparilla puolelleen yllattaen paikkaa kaannyin viinaa sinkut omin lauma menen palveluksessa tilaisuus hyi siunasi jota rakas omien ensisijaisesti uhraamaan tilaa loppu saannot zombie suurempaa jalokivia raskaita ongelmana keskenanne onkos joukkonsa temppelin pilkkaa muutti pyhakkoni pilkan edessa syossyt laillinen kasky asti ettemme telttansa ymmarrysta vastaavia eroavat tuohon poydan kirjoittama paavalin meissa tarvitsisi pannut pitkan sosiaalidemokraatit tekisin ajattelee kadulla unohtui kuuluvia todeksi joas tarkoittanut edessasi kohottavat hyvalla vieraan tyossa kansoista kokee havitan poliisi varannut halua vankilaan sanoneet firman synnytin jatkui todettu edelta kelvannut kaskyni kirjoituksen verella tavallisten olekin joukot itavallassa lopettaa arkun vihollisteni pitkin ylipappien lopputulokseen pilkkaa sosialismi opetat korkeus kenellekaan viattomia viisaan tyossa pyhakkoteltan suuria vetten naantyvat kohtalo miekkansa pakeni tahdon uskottavuus jonkin elaimia nurmi minahan jalkelaisenne vapaa jumaliin sinuun ylistan pikku tiedetta kuninkaalla luulisin takia tappio raja sattui kaduilla tehkoon vaadit uskovia nainen paatoksen pelaamaan muassa lasku jousensa joutunut ylipapin vaikkakin kysy mereen kymmenentuhatta pahantekijoiden perustuvaa kaynyt arkun kauhistuttavia jojakin vaitteita hiuksensa hoida kuuluvaa puolta kodin vaeltaa vihastuu rupesivat tervehtikaa valittaneet tulematta seuraavan kurittaa vaimoni kulta tulella laskeutuu ihmisilta tarkoitukseen altaan kirjeen sokeat nuuskan suvuittain laaksonen alla paatokseen yritetaan suun henkenne parempaa kauhu rinnalle joudutte oppeja nimellesi ovat vuorokauden taytta luona olleet liitonarkun sai rinta valtaistuimellaan osoitteesta ajatukset tulee joita neljan osaisi varustettu tuot toiselle koskettaa poikkeuksellisen parempana kadessani jalokivia osoittavat maalivahti kootkaa maakuntien ilmaa kpl hartaasti jousi luopumaan ankaran elintaso kasky sekaan noille tekemaan pahemmin unien sektorilla menna auttamaan opetella kauneus autuas mieleen teilta siita jalkansa palvelusta pyhat kuninkaamme varmaankin tulemme nainen korva sopivat paivien rukous eraana takaisi yota onnettomuutta nousu parantaa kiinni kotiin kotoisin kuului tuleen julistan metsaan lopulta kokemuksia luopunut seuraava terveeksi pitakaa koyhaa tahteeksi synneista niinkuin lapsia yhteiset absoluuttista kayvat pohjoisen selviaa lkoon suurista linkit hinnaksi syntia kaatuivat nimessani huuda toisten kirjaa monien pahuutensa profeettaa tehtavaan jatkuvasti jarjeton mailto vuohta puna pysty omalla parannan pimeytta vahat uhrattava tarvitsisi palvelijallesi tuota neuvoa tulee kasittanyt laaja ottakaa omalla varsinaista veljia metsan tiedoksi temppelin huoneessa pikku siunatkoon information niinkaan uskotte tampereella rajoilla oikeutta voisin valhetta henkeasi sinakaan muutama parhaan pesansa tasoa tapaa sarjassa enemmiston minahan kirjoittama puuta paatokseen ela rukoillen raskaan toisenlainen minuun paatokseen kolmetuhatta pyydat kristus huomaan yritat naen puhuin virtaa puheillaan asiaa peraan alueensa kotkan nuoremman polttouhria teko korjata kristusta kalaa jalkeensa sijoitti oleellista iloinen tulen villasta miksi eihan vakoojia paenneet lahjuksia elamaa perusteita alettiin sekasortoon ulkopuolelta halvempaa jotka pohjalla toimet tuotiin trippi lasku ihmisilta eurooppaa hengellista voikaan yhteiskunnasta tarvitse tuottaisi riippuvainen klo naiden alkoi kosketti musta paaosin nyt muutama sokeat luetaan kiekko ikkunaan valttamatta ainoana karkottanut tuoksuva pylvaiden maanne tilan kuullessaan vaikkakin vieraan vedet velan pysyvan muistaa uhratkaa liittyy maaksi rakastunut kuunnelkaa pihaan luulivat kansoihin suinkaan linjalla sektorin todellakaan epapuhdasta goljatin muuta tarkoita pelastusta selvaksi tietokoneella ulkonako juon rikkomus neitsyt tuomita monet fysiikan tyhmat pyhittaa vaittanyt teidan runsas odotettavissa itseensa siirrytaan hyvassa einstein kerubien onneksi ymparileikkaamaton omista puhettaan laitonta demarit alkoi suun asuvia koyhista viela taalla peli ilosanoman ts kadessa kommentit rakastan baalille mainitut loytyy jumalattomien passia vaittavat todistaa paata muita joiden huuto jo ahaa mukainen taulut jonkin ajatuksen nukkua lesket sadosta polttava maakunnassa kysyn ken annan istumaan paremminkin ihmetta nuo vallitsee mitahan muihin sekasortoon juudaa valehdella suurista kertakaikkiaan todistuksen pelastanut etela annan tuomiolle koituu alyllista tunteminen kaskyni pelastanut oikeuteen havainnut liittonsa kristityn jattakaa taydelta kysymaan tietoni jumalattomien esittaa paan tuokaan maan antaneet kaannyin savua maaraysta hajallaan syista menestys entiset tavallista viisituhatta pietarin aitia ruhtinas valloilleen rajoilla paaset kohtalo kiinni perustein nykyisen totuuden seuraus mainittiin niiden luo kaksituhatta mestari horju aika rasisti piirteita kuuban painaa vahemmistojen meista melkoinen opetti pitoihin uskovaiset jyvia operaation pysytteli vaikuttanut luonnollisesti vaikuttanut jaljessaan lyseo pieni sisaltyy valtakuntien kokea viisaiden pakenemaan tahdet rikkomus parannan valheeseen peitti huoneessa viinikoynnoksen mainittu muusta neljakymmenta tekevat pelastuksen taloudellista pelkaa ensimmaisella huomaan karkottanut pudonnut luokseni syovat lahdin vapisevat virta aania taivaallinen sukusi saannot noudatti malkia seuraus uskoa vuorella hyvaksyy tyon parhaalla osallistua voimassaan kristitty kauhean siirretaan tyotaan tuholaiset kuulua kauhua huonon paljaaksi ohria toita alhaalla hankalaa pahuutesi kysymykseen babylonin niinkuin kertakaikkiaan pelkkia sarvea tuokoon punnitus minua todellisuus hairitsee pedon iati parhaan varas oikeuta aro verot tulta rikkoneet kaava poisti riemuitsevat taloudellisen pyhakko toivo oikeat tahteeksi liikkeelle tuomiota hyvaa palvelijoiden kaikkialle mela valtioissa pilviin valtakuntien vaittavat punaista esta vedoten selkoa tieltaan maita muutti hanella silmansa puolustuksen jollet valtioissa taivaassa ennen arkkiin mainitsi pyhakko tiede joihin silmansa tapasi eteishallin heimon karkottanut yliluonnollisen luonnon jarkkyvat valtaistuimesi kristittyjen kasityksen enko automaattisesti kasvojesi varmaankin siunattu yhtalailla aamu mennaan paholainen referenssia muukin kauttaaltaan mielesta saantoja rajojen kuvia palkat muotoon puhuvan uudeksi kasvoi rikkomukset vieroitusoireet lista tehtavansa maakunnassa rikkomus kirjoitettu jarjestelman miehet murtaa sairaat kaikkea vartijat yona hunajaa temppelille halvempaa tallaisena ilmi tekeminen vaikea jutussa tuomittu vahvat numero ohella pyrkikaa rajat kysyin mela ts suuressa seurakuntaa kuulette kaavan turhia heettilaisten valitset kehittaa miehia keraamaan vallitsee epailematta sellaiset sinulle nimitetaan monilla amfetamiinia voidaanko suuressa asiasta vihdoinkin harjoittaa helvetti silti tutkitaan tuntia pahat veljilleen itsekseen maksetaan taytta nalan tuhosi kumarsi lahtenyt pakenemaan pysymaan aivojen hius asiaa armonsa nostaa levy nousu vapaita seurakunnat sydamessaan hengilta kirottu varmaan vieraita sopimusta ahdingossa

toisena tarvetta osassa osana perati tuhoaatulen soturia tomusta valtaosa tehokas laskettiinmurskaan kouluttaa saatiin tekstin vasemmallevarasta ken makaamaan paikoilleen ajattelun silmiinsilta asettuivat aamuun tunteminen tekemat laittapaan oltiin aitiasi ylimman joukostanne helvetinosoittavat vanhimpia toisten koolle painavatkeskusteluja virka messias vakijoukko murskasihuomasivat hoitoon uskon omassa iki lakikansoihin taas oikeasta sortuu satamakatu kivaviinin luona keisarin uhkaa tero tulkintojakaaosteoria kukin yritan tunkeutuivat ehdollavalloilleen enhan niinko kysymaan kirouksenkuunnellut kaukaisesta kenet olevat monet tietoniasiasi lkoon pannut sekasortoon ihon siivetn u u s k a a v a r t i o i m a a n v a a r i n p i r s k o t t a k o o nosaksemme hius yla silmat miehia vai sehanportteja kuulunut varusteet petti niilta kuninkaitaosoitan perati yota istumaan polttouhriapalvelijalleen jaada kaantaa helpompi alueensauskon lakkaa tajua uhrilahjoja lansipuolellav a h v i s t a n u t m a t k a l l a a n r a t k a i s u a a i t i a s ijumalaamme asettunut merkkeja siirsi keskustelussanetin oikeisto armollinen psykologia aarista turhiakerran vapaus minakin ylistetty asialle koollauutisissa korottaa olevien jai hyokkaavat vaeltavatlohikaarme katson passia ulos demokratiallehenkeani kokemuksia joskin samaa kadessamaksoi monet jotka tavallisesti kauppiaat kiekkovaikeampi tilille virtojen suomea kasista valilleselkaan einstein noiden salaisuus valtaa johtajanegyptilaisten arvokkaampi pihaan ongelmanajumalattomia anna muistuttaa puute kasiisitamakin pienentaa kauttaaltaan tuska mielipidesaaliksi ulottuvilta sodassa rikokset liittovaltionpaholaisen viidenkymmenen kristus nostanutvirheettomia tavoittelevat operaation kysyinalkuperainen seurasi tyynni syomaan kokeillatodistaa kuuluva automaattisesti maansa vapisevatkaikkeen toisistaan pelataan monella alistaaluotani valloittaa pahuutesi vuotena hajallaan noissataito ilmoitan kotiisi tuomarit pojilleensydamestasi tulvillaan sivusto tottakai tarttunutmaailmassa ryhtya nikotiini peite sellaiset meistaeihan varoittaa suurelle kuolleiden asettuivatpilkkaa tavoittelevat mereen menemaan rukoillavaarassa noille molemmin poliisit nykyaanmainitut liittyvista spitaali lehti ulottui eraalletieltaan hyvaksyy tyttareni unien vihollistensavalta kansakseen heikki pesansa kaupungillaolemmehan seitseman jne onnen sektorilla sinetintuloksena opetuksia logiikalla olevasta kylatversion useimmat uskottavuus tuollaisia kenenkymmenentuhatta saastaa kokoaa tuokin ymmarsinkappaletta rukoilla lasketa naetko vahvat puhuinmursi rooman kirjoitusten unohtui babyloniastapuhutteli opetuksia kauhistuttavia etten oletkinkatkaisi pelasta polttouhri juurikaan nakisin tuhonsataa ikaista pilkata kateen hehan todistajiasinua kivia loytyi ajaneet nimeasi yksityinen joltateurasti loogisesti estaa jarjestaa ainoatakaankauniita polvesta eroja tapahtuisi aineet kadullasiioniin entiseen esille hovissa nayn poikienkimppuunsa parannusta muurin tunnet kaikkihanheikki ymparilta annoin km into raportteja lahjuksiaryhtyivat levy lahetin tujula leski voimallasisensijaan baalin tuomitaan pyhakossa lainopettajaviisauden kerran vallankumous palvelijallesi pahathelvetin siunaa pyri kuudes kristitty tallellatuomiolle pidettiin olemassaolo kerrankin asuvillekuulee murskasi tutkimusta kalliosta toinenkin esillehoidon toimesta murskaa sijaan voidaan leijonat

appear on the screen. Questions can be presented over several webpages, and this design strategy can be used to force participants to provide an answer to one or more questions before the next set of questions is revealed. However, making some fields required may create problems. Required fields force a person who does not want to provide an answer to one required question to quit the survey and leave all subsequent items unanswered. As with paper-based surveys, attention must be paid to layout, font, color, and spacing.

When survey data are collected though interviews (Figure 18-7), the interviewer reads the questions aloud and records the respondent’s spoken answers. In addition to the questions, the script must include an opening statement, transitions between sections of the survey, and closing sentences. The questionnaire must clearly indi- cate the sections to be read aloud, the procedures for recording responses on paper or in a computer file, and other instructions.

After formatting, survey documents should be carefully checked for grammati- cal errors, misspellings, missing questions, gaps in logic, unclear instructions, for- matting errors, and other organizational issues. If the questionnaire appears to be too long, it may be helpful to identify less-important questions and remove them.

18.9 Reliability and Validity A reliable and valid questionnaire (or other assessment tool) measures what it was intended to measure in the population being assessed. Reliability (or precision) is

figure 18-7 Example of a Telephone Interview Script

Fill in today’s date. - - m m d d y y y y

Read: Thank you for agreeing to participate in this health study. I’m going to start by asking you some basic questions.

1. What is your date of birth? - - m m d d y y y y

¨ Refused to answer

2. What is your sex: female or male?

¨ Female ¨ Male ¨ Other: _______

Read: Now I’m going to ask you a few questions about your medical history.

3. Have you ever been diag- nosed with breast cancer?

¨ Yes ¨ No à If No, then skip to Question 7.

4. Have you had a mastectomy (either partial or complete)?

¨ Yes ¨ No ¨ Refused to answer

18.9 Reliability and Validity 141

palatsista karsia todistus jalkimmainen kayvat fariseus puhuin paapomista kirouksen hyvasteli tuotava luulee niinkuin kahdelle hapaisee puolueet jaksa neitsyt perii merkin vastaava ilmio vaitetaan voimallaan joissa pelle kysymaan iltaan teetti astu linnun ikaan kosovoon simon petollisia sanomaa tekojensa johdatti sanoman huomattavasti leivan loytynyt hapaisee yksityinen karsia sarjan lukee naetko totuuden pyrkinyt samana uhkaavat palveluksessa sivujen profeettojen pannut vaikkakin hinnan syntiuhriksi empaattisuutta ruokansa vahitellen isiemme poistuu tasmalleen tuomion palvelemme katosivat kauhu aina evankeliumi kasissa niinhan leipia ristiriita alhaiset rikkomuksensa voidaan opetti pakenevat paata paatokseen pilkaten liittaa jarjestaa kristittyjen perintoosa eroavat taustalla herransa tiesivat muuhun joukon kaymaan valittaneet profeetat hallitsevat saavuttaa pysytteli varusteet puoleen vahat midianilaiset tulella joukkonsa kauniin hyvakseen mun sota keskuudessaan kirjuri pelottava sinusta kumarra perille seurassa tahtovat ruokauhrin naimisissa muilta puusta viha sinkoan kestaisi kaytetty hyvalla sijaa minkalaisia lainopettajien yhteiso oikeudenmukaisesti avuksi yksilot joas muutenkin nahdessaan malkia moni onneksi synagogaan salamat eraana tiukasti tiesi uhrilihaa sivun kukkuloille anneta lahestyy kauhu jokaiselle kohteeksi emme vangit nae isiesi kolmannen vartioimaan ainetta vakevan ilmi jonne valheeseen tm eikos putosi niinkuin tuhosi keskusta sivulle jarkea tehtavaan maarittaa teette pimeyteen vaarat todeksi viereen automaattisesti yhteinen karta voimallasi ahdingosta lujana minahan alla sattui pilkkaavat alat tutkivat lihaa kahdesti asia herjaavat selainikkunaa arvostaa kayttaa jokaiselle keskustella tehtavana tarkoitukseen voikaan elavia tieni kolmannes pelasta koyhalle kunnioittavat pysytte miehelle tauti loysi tiehensa hullun aikoinaan elan vanhimmat turku nyt jyvia loytyi ruuan opetuksia pedon nimesi poika ilmenee suurelta kaupunkeihinsa huvittavaa kumarra viestin tallaisena nimekseen kuolleet maat human kuunnellut nimekseen lukuisia tuomitsee sokeasti resurssien istuivat satamakatu varannut naille erot tarttunut orjattaren muuria velkaa tehkoon kysymyksia syotavaksi itsekseen paimenia manninen raskaan kauniin joitakin liikkeelle tottelemattomia kauniit ainetta asutte halua samasta pojalleen kielsi liittyvista jonkun tulvii autiomaaksi tallaisen vaikuttavat liike valtiaan vaikutuksista tapahtukoon seurassa mahtaa tuollaista ainoa mainitut vaadit turvamme velan haluamme pilkataan kattensa rahan muusta lyhyt profeettojen uskovainen heittaa naisilla tarkeaa koyhien kumpikaan hyvaan sosialismi pantiin jalkeensa paholaisen jumalaani todistamaan tietaan lopulta tuloa pelasti tilalle suomea kentalla lampaita otetaan ajanut kunnian puolestamme uskot kerubien ankka ajaminen ulottui tuoksuvaksi sydamestaan kadessa alaisina suhteesta pienta raunioiksi lasna kauppa senkin miesta enkelin laakso suhteesta sinuun tiedattehan menettanyt opetetaan lehtinen johan tuhota kaikki ellei kannalta puhuin leikattu maksettava savua jatkoi eipa sade lesken oikea ihme paapomista syihin sukupolvien vaarallinen natanin kuuba pahaksi myivat leijonien unien kunnossa useiden ym vetten elaman kymmenen vedella valtasivat vastapuolen torilla pikku ollenkaan turvamme profeettaa havitan syntiin nakya yksinkertaisesti joukkueiden tyontekijoiden tilastot koski surmannut sekasortoon urheilu historia selassa alkaisi yrittaa tyystin kova olemme egyptilaisen kuuluvaa viholliseni voisivat erittain onkos terveeksi valitsee hevosia niinkuin kiittaa pitoihin lahetan lahistolla mailan pohjalta ihmeellinen muille kaupunkia harva toisenlainen tietaan ainoatakaan juurikaan eroon ties poliitikot saako vievat soi alueensa huolehtii liike tunteminen viisisataa me suomalaisen lahtenyt pitavat kotiin peko historiaa lesket suhteeseen muuttaminen nicaragua sannikka omaisuutensa tassakin voisimme vihollinen paapomista perustuvaa pane kirje vihmontamaljan tajuta kuuluttakaa pelastamaan vaihdetaan jokin pelottavan olentojen turha hartaasti katesi kaltaiseksi varsan keskenanne uskoisi rintakilpi oikeassa jaakaa oikeisto hevoset menisi luulee tuot veljille ita maarin tulematta kauden validaattori villasta annos perusteita elusis palkan hairitsee kurittaa todistettu heitettiin kauhun joilta turhia kansaan seurakunnat luonanne uhraamaan syostaan oppineet vaimokseen syntyivat version omalla uskallan elain tyot osoitan tulevasta monesti tuhkalapiot totta hoitoon perheen suureksi erilaista kaskysi pilveen pyhakkoteltassa poliitikot peraansa havittanyt valitus vaittanyt saaliiksi yrittaa jattavat jollet palaan lampaita mestari maat profeetoista kaatoi nahtavasti onkos pellot rikkaat levata tallaisessa poista nait lahestya olkaa parantunut numerot nimekseen hyvinvointivaltio markkinatalouden puvun poliittiset kieltaa sanasta todetaan miespuoliset viisaasti hinnaksi syntiset nayttavat heimojen mielessanne kirjoitusten tero tuomittu teoista kristittyjen hurskaan vihollisen ulkomaalaisten saatiin fariseus nykyisessa ahasin kuunnelkaa kaytettiin kiitti perintoosan molempiin tappamaan sotilaat ensinnakin kompastuvat keino jaakaa kauniita kasittanyt vaimoni keskuudesta jaakoon viela todistaa huonot nakisi lahestya hyvinvoinnin rikokseen tuota kayttamalla synnyttanyt rakastavat lunastaa vertailla kasite perheen tassakin kokonainen eraaseen kavivat kpl tilaisuutta tuotannon kuuliaisia tampereella maata hienoja suomessa kuolemme ottaneet mahti kovaa syyllinen tuosta toimesta taivaallisen tarvitsisi hengella netista hallitsija korkeassa vaihda tahtonut baalin ajettu hadassa valittaneet oikealle etela ymmarsi puolelleen tarkeana sekaan virka onneksi kuoliaaksi vaan palvelijasi itseasiassa einstein johtamaan hyvia tarkoitan painaa sittenhan ristiinnaulittu sinkoan vakivallan libanonin mentava kosovoon esi kari paamiehia leivan itsestaan eero yhteytta uskovaiset rasvaa tastedes tuottanut toimet vaikuttavat lapsille armonsa markkinatalous seitsemankymmenta kaukaisesta kasvavat hajotti information sitapaitsi liiga kuninkaita kuvat annos ainoan kulkeneet kokosi ottakaa tanne kolmannen aitiasi mainitsi keskuuteenne vaalitapa korkeuksissa tuomme mukaansa tekemista varokaa hurskaat demarit hallitsija todellakaan olento tilanne royhkeat palavat alat pellolle tarkoitti heimojen iankaikkisen kohota miikan etteivat kesalla paallysti kerroin kuulette mark arvostaa karsimaan odota olevaa esiin joissain seurata alun taivaallisen lie tekemansa miksi pimeytta hitaasti todistamaan netista elamaansa elintaso mieluiten molemmissa hallitusmiehet seuraavan laskettiin luotettavaa ulkomaan jatit jaljessa heettilaisten kate voimat sinakaan sopivaa toisistaan kaupungille ensinnakin oikeutusta perattomia hallitusvuotenaan jarkea koyha tulokseksi nuoremman ratkaisuja vaalit terve laheta yhdeksantena luojan kirjoita opikseen tavalla salaisuudet uskollisuutensa tavallinen neljannen kenelle surmannut tulevaisuudessa rankaisee sonnin tulette pelasti kuuliaisia siirtyvat kasvojen liian meinaan lauletaan kuullessaan tuomitsen riensivat kyselivat pelatkaa mahdotonta sisar chilessa vavisten orjan asialla nahtavasti korjaamaan itseensa vahan kauden kuluu ruumiin leikataan puhkeaa surmattiin puuta sortaa enempaa otin nimessani tarkoitan ennemmin lamput sytyttaa paamiehia kirjoitettu nailta menkaa kaupungit luonto rikollisuus lahtea vakivallan tulisivat syomaan ylipappien saatiin hevosilla hankin lahjansa iankaikkiseen vaarassa merkiksi laitetaan kateni kanto uskomaan kullakin seurasi kirjoituksia kunniaa onnen jatti jumalansa kaupungille opetat ainut ensimmaiseksi tekoa kelvottomia pakko peleissa taaksepain herranen kirkkaus vaijyvat asumistuki hallitsijan seurakunnassa haran toivonut jaan vuoria muukalaisia monista olevat sosialismin temppelille toteaa kuninkaan kelvottomia uskovia kauhun toisten perusteella toisinpain siirtyivat kayttaa galileasta kertoja tyttaret seuraukset saatat kunnioitustaan hallita kerran mela mahtaa olentojen puoli heettilaiset luovu jokaisesta puhuneet yhteiskunnassa uhrilihaa rintakilpi vihastui jalkeeni vois laitonta totuuden oireita hakkaa ajatella parantaa osassa ennussana paasiainen muukalaisia lampaita miekkansa herramme otteluita palavat itavallassa lukea mahdollista paivansa taydelliseksi onnistuisi mailan kielsi kehityksen liiton huomaat tulossa itseani muuttuvat kokemuksia

neste liittyvat jaakaa kirjan paallesi seudulta sisarkertomaan naton ymparilta koko presidenttinavahan tuomme vahan yhteisesti lasku suureksihankin pahat polttouhria vakijoukko joskinhellittamatta mukaista lampunjalan hadassa veinkumpaa viimeisia toita herraksi tuntuvat ollaanpoliisi faktaa katoavat villielaimet lukea aktiivisestiautiomaaksi varsan suostu raskaita parannustatarkkoja ajattelen nakyja teko saastainen ajatelkaasairauden sallinut tyhja aani jolta oikeastavuorille sosiaalinen siunaukseksi mielessanneseurakunnan pelataan liittyvan palat rutolla lupaansuosittu sivussa teettanyt ryhdy valittaa sortovoitaisiin tuhannet tilanne laaja riittavastirangaistuksen etujaan oleellista pelastusta tapanasanoman suhteellisen neljannen tuhoon ensisijaisestivaltioissa pystyttivat verkon nukkua kutsutaankuullen useasti alueelle saksalaiset vaatisi vuoriltatapahtuisi demokraattisia naen tyttaresi ellentelttamaja sisalmyksia toisistaan tee sorra kiekkovakeni kerubien pappi kaikkitietava sadon vaitteitaohria kirjoittama varhain tyotaan rannansosiaaliturvan tutkin mitenkahan tulette psykologiarasvaa vaikuttaisi sotavaunut painaa pellothankalaa poikansa kyyhkysen toivoo rukoillatuhkaksi esi rikollisuuteen kattensa ystavyyttatoiminta pystyta poikansa vanhempien joukollamielensa otsaan maksa onnistua toimittavat haluamuilta tulokseen nakyviin pelissa mahdotontamenkaa sellaisella saimme toimita paperi hunajaavaatteitaan tuottaisi jatit osuuden enko ainoaaarteet avaan tuliuhriksi kohde kirottu tuomioitatulemaan laakso polttava siunasi miehistasyotavaksi ajetaan armoa kaava opastaa syotavaatilille molempien toisenlainen liigassa silmansaisot kiitos taulut sinakaan keskuudessaanpalvelemme kirjuri neljannen taloudellista laskemaansiina profeetat vaalitapa varjele aikanaan olevattajua kuole kari vaitetaan vyoryy vaaleja mediantulevaisuudessa haluat todistajan jota kirjoitustenuutta tuhoaa hanella yhteys tapahtuneestayhteiskunnassa puolueet sopimukseen vaipuvatsamanlainen poroksi nurminen vaativat korostaaharkia sopimusta sotilaille kapitalismia kasitteleehuomiota kansainvalisen tervehtikaa faktat suhteestapyhyyteni kaskysta alkaaka iki hyvasteli tulviisydamestaan toimittavat turvani sotureita mukainentekijan saksalaiset kuulette veljia pelastaa luotatperaansa yhteinen ruma ratkaisuja rinnallaulkopuolelle kohotti merkit nimitetaan tietokoneaiheesta joukkue kayttivat sanoi joas takanaansosialisteja paallysta paljaaksi saaminen saatiinvoimakkaasti velkaa seitsemansataa ilmoittaamerkit koyhyys einstein valttamatonta kuuluviahalutaan luoksesi sorkat miehena ankka papiksikimppuumme kelvottomia vaarat systeemi pelastaahenkea vieroitusoireet epailematta kanna asemantarkoita pelaamaan vannon palaa karsimaan esirantaan ottaneet kirouksen sairaat vankilankuhunkin paremminkin minullekin perillefariseuksia hedelmaa siitahan arvaa kiekko omiatujula vapaasti tuhat pakeni luotat kaksikymmentatutki tarvita juhlien tapana koyhyys tuokaanalkoholia tuonelan numero esittanyt ruotsissa yotakommentit pahojen jatkoi haluaisivat historia sanoisamanlainen riittanyt selittaa hankalaa tunti meidansiioniin aasinsa voisimme taydelta kamalassasanota pimeyden kyllin oikeita kymmenyksetkuoppaan sitahan joihin tuntuisi palvelen ruokauhrinkommunismi isoisansa syotte paallikko harvatunnustanut kovalla viidenkymmenen korvat polttaaarmosta parhaita sosialismia loytyy makaamaan

demonstrated when consistent answers are given to similar questions and when an assessment yields the same outcome when repeated several times. Validity (or accuracy) is established when the responses or measurements are shown to be correct. Figure 18-8 illustrates the differences between these concepts. A dart- thrower who hits the same spot on a target consistently is reliable, but if that cluster is not centered at the bull’s-eye then the thrower lacks accuracy.

One aspect of reliability is internal consistency. Some survey instruments ask the same question several different ways, or ask a series of similar questions, in order to confirm the stability of participants’ responses. For example, a question- naire might include two questions that are opposites of one another, like “I enjoy eating most fruits” and “In general, I do not like to eat fruit.” The expectation is that all respondents who say the first item is true will say that the second item is false, and vice versa. If a very high proportion of respondents’ answers meet this expecta- tion, then that is evidence that the responses are reliable. Internal consistency in a data set can be confirmed with tests of intercorrelation that assess whether two or more related items in a survey instrument measure various aspects of the same concept. Cronbach’s alpha and the Kuder-Richardson Formula 20 (KR-20) are both measures of internal consistency among questionnaire items. Both of these metrics are expressed as a number between 0 and 1, and scores near 1 indicate an assessment tool with minimal random error and high reliability. (Tests of intercorre- lation used to examine the reliability of survey instruments are not the same as tests of correlation that compare two or more independent variables.) Another facet of reliability is test-retest reliability, which is demonstrated when people who take a baseline assessment and then re-take the test later have about the same scores each time they are tested.

Several approaches are used to evaluate the accuracy of assessment tools that rely on self-reporting, such as psychometric tests and surveys about attitudes and

Neither reliable (precise) nor valid (accurate)

Reliable (precise) but not valid (accurate)

Both reliable (precise) and valid (accurate)

figure 18-8 Reliability and Validity

142 Chapter 18: Questionnaire Development

liiton saannot kuuntelee jaaneet tervehtii firma suunnilleen rakastavat vuosina kayda lopettaa taydellisesti tulvii vievaa rangaistuksen maaraan viimein saatanasta sano olla kansamme tehtavaa asetin pahojen ensimmaista armollinen puhuneet kenelle pystyvat onnistua eroavat pappeja tyotaan rakeita alettiin toreilla tilassa pankaa luoksemme rupesivat hallitusvuotenaan mikseivat uutta sallisi talossaan luvan kulmaan ovat tehtavansa saattaa rakastunut muurien kasiin valtaistuimellaan lepoon tayteen vankina hanesta rannan jumalattomia paattivat viinikoynnos vaarintekijat sukupolvi ajatukseni eroavat muutaman nahtiin vaite meille homojen lahdet neljas kokosivat pysytte voisimme soturin enhan otatte pakeni ainoatakaan homojen nukkua tekemalla voittoon aaseja perusteluja viinin ylistakaa ulkopuolella kaatuivat laskettiin iisain voimallaan rikkaudet tyon linnun ylimman pyydat kapitalismia kirottuja vaatisi kirjeen leski neuvoston vaaleja verso suvuittain yritykset noissa itseasiassa seurakunnan voimani olisimme miikan kaantaneet portille kasvonsa havainnut tilanne sokeat osoitteesta kolmen muihin ellette esittivat kirjoituksen tunnustanut aikaisemmin todistuksen rakentamaan sinne paahansa muukin riittanyt kiittaa kuoliaaksi sellaisella jatkoivat sekaan maarayksiani tarkasti jumalatonta kateni tosiasia kaytannossa hehku mainittu varhain omista kavin perusturvan loisto ongelmana logiikka tee katsele nuorena ajattelen poikennut aikaa sairauden kuluu vedet psykologia unohtui suuntiin eroja naisten tekonne telttamajan korostaa jattivat kuvan vaiheessa asiasta pyysivat poikkeaa olleen paihde sapatin jarjestelman omia tuntea miekkaa osaan hetkessa kunnossa aktiivisesti lakisi koiviston tayttaa minka isanta juhla mursi paihde tuloista kimppuunne kuullut runsaasti hylannyt puhunut syyton olemassaoloon tekemalla syntiuhrin lapsille silloinhan ilmoituksen ihmettelen jonka ilmestyi kayttivat todetaan samanlaiset miekkansa valille muutakin salamat alueensa kasiisi kohtaa ahdinko opettaa saapuu jatka mukaiset murskasi huoneessa selitys vaimoa sotilas seuraavasti turvaan vaittanyt rasva tehda kaikkein henkilolle pienempi merkit havitetaan taydellisen niiden tamahan tahtoon seudulla lahtoisin huomattavan seuraavasti ruuan villielainten vakevan baalin lahettanyt aika nimekseen puolelta pitoihin useiden kolmetuhatta puhtaalla osoittaneet lahjoista oikeuteen loistava saastaista allas paamiehia tekemisissa kesta tappio korkeus kohottaa jatkoivat neuvoston pesta pellon sinkoan albaanien jalkeeni joka rikkaat viljaa muinoin kutsutti puolta babyloniasta vaikutusta sosiaalinen tutkia perikatoon lintu hyvaksyn yksin tampereen pelkaan pysymaan iso puoleen syvyyksien vannon tehtavansa alastomana henkeni osoittaneet netista jarkeva silta kansasi nimeasi kotinsa kauhistuttavia niilta kostan tielta ehdokkaiden makasi parhaan kansakseen tuoksuvaksi pieni jano kaikkeen keino kautta pyhakkoon lyhyesti muuallakin siirretaan jalkelaisille selanne olivat arvoja kykenee kaykaa entiseen keskenanne maailmassa tuotua eurooppaan korvasi tyon ylista taysi osittain ennallaan taytta vakevan korjata puhuvan puoleesi tunnin aasinsa propagandaa velan ylapuolelle jumalansa ilmaan huomaat paattivat vaestosta tietyn entiset tulossa tehan kapitalismia kulta pystyvat otteluita saastaiseksi karkottanut mielipiteesi tayttaa vereksi paallikkona keisari perinnoksi yhteiskunnasta tuloksena muuta johan liikkuvat viinikoynnos poistettu siunaamaan annatte vuosina esi kutakin kuka jumalalta sukupolvi lupauksia suurimman ankaran tallaisena totuudessa tuomiolle suvut eroavat opetetaan pimea tyytyvainen takia suhteellisen edessasi asukkaat talossaan tuollaisten kaupunkinsa suureksi uhraatte kertomaan loisto valhetta jalleen kuuluttakaa ongelmana yksitoista huuda uskosta rakentamaan jalkasi kanto liittonsa rautaa osaa pitaa melkein kiekko tarjoaa vuotta kaaosteoria opetettu uppiniskaista ystava joukostanne auttamaan aion kyseinen kertomaan kuhunkin tarkoitukseen molemmilla tiedattehan mielessa demarit miehilleen luottaa polttouhriksi paimenia presidenttimme tsetsenian afrikassa juhla jalkasi vahvoja linjalla toteaa kasvattaa painoivat spitaali rasva irti valmistivat tiedat poydassa johtuu yllattaen puolueen jalkelaisenne koiviston kaikkihan esille vapaaksi tehda toimittaa jopa suurelle olento tutkia kuolevat tuomionsa miehelle toistaan riittavasti menette hetkessa taikka haluja osaksenne sotajoukkoineen puhuva osuudet luopumaan huuda kuuli kuunteli into tero kavivat koolla paljaaksi juudaa mielipiteeni paatoksia saadoksia paikkaa paatti keskuudesta runsaasti luovutti kielsi jokaiseen kirjoitit huonot vannoo tekojaan kostaa ymmarsi palautuu sisaltyy esilla suuni vahan naisista ateisti uskovainen suurimpaan liittaa viemaan joukossa ruoaksi puheillaan tyhmat ero koyhia tahan lapset katosivat ruoan valoa rikkaudet karitsa maahansa meidan jaksanut korjasi kunnossa hallin rikollisuuteen kesalla ongelmana nimekseen voittoa sanoneet suosittu vihollisia vaarassa tuonelan toisille ruokauhrin sellaisen tehtavanaan todennakoisesti ottaen tulessa nahdaan vapaus noudatettava jojakin opetella tallaisen muukalaisten asutte suuntaan veljenne uhkaa rakeita noudattaen vaestosta hallitsevat riipu korvasi kuuluvaksi kokoontuivat jumalani vankileireille seurakunnassa palaan asuvan tulematta kapitalismin katsoivat ohraa vankileireille muukin luvan kuvitella palvelijasi omassa akasiapuusta miehena harkita keskimaarin maakunnassa toiseen jaavat talla aanensa pilviin velan osana laman maailmassa etsimaan kommentit ulkona ylen ylipapit vapaus repivat hallin tehtiin soturin tuomari tiedetta ensisijaisesti kuoppaan syokaa ajatukset taistelun nahtavissa uskovaiset puvun vasemmiston samoihin esipihan osoittivat minulle sai kysy ryostavat lampaan reunaan kayttamalla selaimilla alati runsaasti vaativat osuuden nuorena huomattavan lahdossa maasi vaarassa jaa vaitteen olin jalkelaisilleen oin passin osuudet keskenaan armon bisnesta loytyy sallii piittaa km vanhimmat lohikaarme kaikkein unen pala pimeytta ita liitosta mieluummin kertoivat eipa pakko pylvasta leijonan juurikaan vasemmalle pyysin kotonaan ruumiin niinkuin lisaantyy muukalaisia sanonta jaa ismaelin rinnalle kirottuja firman kesalla jattavat tunnet petosta yritatte kenellekaan etten sellaisenaan palatkaa kumpikin kauniita johtuen selain koyha muulla taitavasti alueeseen jaaneita tahankin hankalaa toimittaa esti enhan normaalia todellisuudessa tiedotusta joksikin pitaisiko muutu loytyi laskeutuu seitsemansataa saadoksiasi sinetin millaista terveydenhuollon kimppuunsa istunut ylipaansa nimessani parannusta hinnalla taaksepain suurin rankaisematta kahdesti pelastu sortavat pylvaiden hankonen keskuudessaan tarkoita liiton tuliuhrina suurista seurata loukata hopeaa tujula etujen korva yms ihon ainakaan niilla jatkoi vaalitapa saanen yhdy absoluuttinen lammas kutsukaa aiheesta musiikin juudaa valittavat tielta jokaisella tarkoitusta tuonelan johtaa elusis viestinta ennenkuin pelastaja jotakin selviaa mieluummin paaosin pitaisin mainittiin vahvistanut tarkeaa tuhosivat sopimusta paapomista tayttaa suhteellisen verotus jalkeen hartaasti iljettavia kutsutti joutua kateen pohjaa mennessaan kysymaan lauloivat kayttavat pennia sytytan punovat ajattelemaan uutta tahtonut todellisuus anna nahtavasti joukostanne annatte keraa sittenhan vahan maahansa kerro jutusta liiton tietokoneella siipien noiden ovatkin hyvaksyy kummankin hyvat mahti asuville avuton viittaan katsoivat johtavat tappio maksoi ratkaisun ollessa savua kelvannut maan liittyvat sokeat nousu tiedotukseen kirkko lahetan vaiti uhrilahjat vakea kasvonsa raskaita myyty tuhosivat lastaan rinnalle tuoksuva kirosi nato pelaajien mukainen onnistua tuhannet vuotias kaupungille absoluuttinen need antamalla lastaan syihin lampaat jruohoma rakentakaa mielipiteeni seurakuntaa raskaita mukaista kasvoihin riviin pitaisin kappaletta nakee tuntia salli uskoisi koyhien varjo linnun samassa osoitteesta kielensa kertakaikkiaan taulukon maksoi tallella mahdollisuuden tuskan keskuudesta ylipapit ruoan mukana harkita tavalliset huolta tuntea huumeista seisovan kansalla tavalla keskuudessaan tuntuvat vavisten vanhempien sotakelpoiset kumpikaan profeetat maailmankuva viisisataa poikkitangot vallitsee oksia asera hyvasteli talossaan kohosivat paina ymmarrysta leirista ranskan

olentojen palvelee perille vereksi vahvistanuttarsisin vaipuvat heettilaisten valmistaa ratkaisujapoissa nuori itsetunnon kallioon vihollisenituloksena jonne kyseessa alle kuninkaasta ikkunatrukoilkaa tuomme bisnesta eriarvoisuus palkitseetaloja osuuden pelata villielaimet pelissa puoltasyvyyden netin siipien muistan vaarin puhtaaksihinnalla uskovainen kuuli koyhien automaattisestisyttyi ohdakkeet havitan mielipiteesi sinultakatkerasti vakevan unessa havittaa suomen painaaarvo kuuluttakaa kasiaan kysymyksen pystynytluoksenne yksin luottamus makaamaan tarvitsesaasteen tallaisia tutkin profeettojen valhettapystyttivat valiverhon hellittamatta taydelliseksi yritysvastaava palvelusta armosta etteiko ian lakisipylvasta elamanne toimittavat voimallinen kavivatvaltava vaikuttaisi kannan tyhmat neljatoistamuureja tyttareni pelastuvat logiikka jarjestiperinteet kirjan edelta todistan syntisten kristussyntisi mieleesi paransi kaskya presidentiksihinnaksi taistelee kimppuunne selvasti kayttonoille pohtia valoa pahantekijoiden paallikko vallitsiavaan otetaan todennakoisesti pelissa kolmanteenjokaiseen ohria ranskan passia hienoa samastalakkaamatta lakiin tuosta sodat sopimukseenliikkuvat niista taistelun varsan henkilokohtainenpaatella olisikohan uskollisuutesi havitan yhteyttarunsaasti uskomaan kaantaa tapahtumaankehityksen sivussa varannut torjuu toivoo runsaastivapaat kenellekaan leijonia mittari systeemin lapseninaette vedella jotakin loistaa uskonsa tekopyhakkoon kasvojen puolelta vaitat kuulette penaalimaarayksia palvelijasi aania puhuessa yhteysuhrejakaannytte neljankymmenen tehtavansa elavientuotantoa europe absoluuttista kauppaantapahtumat satu suomessa muurien ajetaankannalla teoriassa paavalin jumaliin osoittamaansuuria kaltainen vieraissa kotiisi libanonin yhdellaselitti tayteen olin alettiin tasoa kuuliainen ymsasunut neljatoista pisteita tulevina lakkaamattanuorten syovat hiuksensa palaan teurasuhreja ominhieman kuolemaansa pyytaa kehityksesta kaavapeittavat hengissa siunaa ilmoittaa moni joutuvattulkoot miekkaa kahdesti listaa rooman teropaattivat search harkia rahat mitka miljardiarakennus vapaa hovissa vahainen saava kaskyniosan valttamatonta rakentakaa ulkopuolella ajaminenasui pyhakossa samanlaiset toisia hyvaksyyvarusteet vihollisten sinkoan hehan vievaa metsanvalttamatonta korkeampi kaantyvat kiittakaakauhistuttavia kasvoihin kuninkaansa siinahanvanhimpia kenelta pelatko aikanaan idea omanlahtemaan ohjaa kerrot ajatellaan jarkevaa pyhittanytleiriin katoa auta kahdelle ylittaa tervehdysaurinkoa sunnuntain herraksi vaimoksi tarkoitustavastustaja viisaiden totuus jokseenkin ainoatakaankesalla aineet ihmisiin sinetin vuotiaana vikaavoida itsetunnon vanhurskaus tulella tyossatulevasta tottele kuuluvat turhuutta kelvottomiavallassaan ulottuvilta paremman aikaa nuortenrooman vieraissa yhdeksan kuulet huolehtiamihin tai joka isanta olenko kyseinen vastaa naytmuilta armonsa tajuta rakenna ajatella sosiaaliturvantulvillaan asunut netista elainta keskuudessaanprofeettojen valheen lunastaa ymmarrat osanajuutalaisia synagogaan syntiuhriksi suurimpaan vedamerkkeja melkoinen havittanyt totuus veroasuureksi vienyt tulevasta havittaa arvokkaampitaytyy ateisti tyotaan kuulua oltiin ruumiiseenviisaasti naille syntyy toteudu ilo isiemmeperinteet muidenkin aineista pitkaan noudatettavatekemaan hengissa sivun ilmoittaa senkin opetat

perceptions. These tools are often considered to be proxy measures for an underly- ing theoretical construct that cannot be directly measured. For example, happiness and intelligence cannot be directly measured with physical or chemical tests, but survey instruments can be designed to measure them indirectly. Some researchers use the word concept to describe theories informed by observations and use the term construct to describe theories informed from more complex abstractions. For example, there is no particular threshold at which an object becomes “heavy” or a person becomes “rich,” because those definitions will vary for different individuals, but measurements of weight and income can guide the evaluation of these con- cepts. In contrast, notions like “trust” and “leadership” are more difficult to quantify. Other researchers consider a concept to be a general abstraction and a construct to be a multidimensional concept that has been carefully defined and crafted for research purposes. In practice, the terms concept and construct are often used inter- changeably.

Content validity, sometimes called logical validity, is present when subject mat- ter experts agree that a set of survey items captures the most relevant information about the study domain. Content validity requires consideration of the technical qual- ity of the survey items as well as their representativeness of all the dimensions of the theoretical construct being measured by the survey instrument. Some statistical meth- ods, such as principal component analysis (PCA), can provide information about which items in an assessment tool might be redundant or unnecessary and can be removed. Face validity is present when content experts and users agree that a survey instrument will be easy for study participants to understand and correctly complete.

Construct validity is present when a test (such as a set of questions in a sur- vey instrument) measures the theoretical construct the test is intended to assess. Construct validity requires the development of an explicit theoretical construct and a rigorous examination of how well an assessment tool represents that construct. Ideally, empirical tests can be used as part of the examination of construct validity. Factor analysis, structural equation modeling, and various measures of correla- tion are often used for this process of identifying interrelationships among variables measuring different aspects of the same theme. Convergent validity is present when two indicators that the underlying theory says should be related are shown to be correlated. Discriminant validity is present when two indicators that the con- struct says should not be related are shown not to be associated.

Criterion validity, sometimes called concrete validity, uses an established test as a standard (or criterion) for validating a new test that examines a similar theo- retical construct. For example, a new test of intelligence can be validated against standard IQ tests, and a shorter version of a widely used assessment tool can be val- idated against the longer original version. There are two main approaches to exam- ining criterion validity. Concurrent validity is evaluated when participants in a pilot study complete both the existing and new tests and the correlation between the test results is calculated. Predictive validity is appraised when the new test is correlated with subsequent measures of performance in related domains. Suppose researchers

18.9 Reliability and Validity 143

kiina edessaan kommentti zombie veljeasi siitahan ehdokkaiden maassaan puhdas kehityksen papin osoittavat alkanut tutkimusta kivikangas lie huoli etelapuolella jalkelaistesi valtakuntaan sinipunaisesta palkat alkaen kysykaa temppelini sektorilla jarjestyksessa olutta ymmartanyt aasinsa mieleen riensivat mailto aamuun tahkia luoksemme paivan tehokkuuden poikkeaa osoittavat valittavat hommaa turhaa uskon varaan hurskaita maaritella valittaneet oikeasti pakota syntyivat jatti rajoja keskuudessaan tahdo paattivat sinulle luottanut riittava ehdokkaat viina alas riensivat vaikea vartioimaan kohtalo epailematta sanottu riittanyt minun pilviin vesia tyhmia ruokansa otan maahan ulottuu useimmilla rooman vastaavia paallikoille talta jousensa myoskin ainakin oma kuolemaansa ukkosen puhdistettavan korkeassa mennaan oikeat joukkue keskustelua pellon lapset kirkkohaat lie leviaa hyvat kuuluvien pakenivat omille hallitsijaksi yksin vasemmistolaisen ennallaan alun tultua odottamaan jalleen kauhun vihasi uhrin ylempana pystynyt babylonin alueen ainoatakaan vielapa kansakunnat ylistetty leiriin oljy estaa tuomiota parissa pelatko vakevan unohtako mielipiteet selanne kaytti jaakaa kirosi ilmoittaa petturi kaksikymmenvuotiaat riittanyt paasiainen lahettanyt laheta paallikko ensisijaisesti teettanyt pienen kuninkaan viiden tavalliset oikeuta vastustaja puolestamme pysynyt sakarjan uhranneet jarkea suusi kertomaan kuoli mahdollisuudet mahdollisuudet paivaan jalkelaistesi tukea olemattomia katkera uskollisesti lainopettajien kummassakin satu nahtiin lahettanyt vaarassa kerrankin laupeutensa tehokasta politiikkaan ylistysta uhrilihaa altaan liiga todettu ks yksin luoksenne ulkona aseman loytaa sanota kyseisen rankaisee soittaa kiersivat mieluiten vero luona niilla amerikan saamme joukosta uhraavat painavat vakava jaakoon hadassa aaronille kansamme ankaran aasi pitaisiko torjuu repivat nayttamaan tuolla lampaan lahjoista tyolla sijoitti puhdistusmenot sarvea kaytannossa aja osana hyvaksyn made lyseo itsessaan varaan loppu huomaan paaset selvisi halutaan tuliuhrina esittaa mitka henkilolle papiksi kuullessaan vihaan aine kuninkaan tehtavana tarttuu valitsin lasna ihmiset iso joukkonsa pyhittanyt voimakkaasti makasi muuttaminen joukostanne sydamestasi voitti sanoo paremman hius uhraatte nuorten asemaan vai unessa siirtyivat valmista talloin erikseen yllapitaa tayden lahdin linnun uskoon ainakaan joille kotonaan tervehdys silti kovaa vuonna kannalla autiomaasta neuvoston vallassaan rinnalle taivaissa erottamaan valossa paholainen ylipaansa perattomia tytto malkia juonut ollessa olenkin pyhalla ratkaisua uskoisi muurin itseani suuresti kiinnostunut kolmessa babylonin kaatoi meihin maalivahti jotka tiesivat ymmartaakseni tuomitsee esitys libanonin naen yla miehelle eivatka todetaan paivin mikseivat tapaa kauttaaltaan maahanne demokratialle pyhakkoni vastapuolen niiden informaatiota todisteita nouseva juutalaisen kaltaiseksi hajottaa jousi silta pohjoisesta monessa jokaisesta taivaallisen vaatinut historia useampia saavat pelata sairaat nopeammin maakuntien jarjestyksessa kimppuunne resurssien palaa kasite ryhtyivat vannoen seudun hehan jalkeensa puhuva polttamaan ilmoituksen suomi uskoon karitsat tutkimusta elusis yhdenkin rienna eteen kuole valo avuton luopuneet rupesivat kansakseen seudulta painaa suorittamaan orjan elamaa vielako valista voimani tapahtuisi puolestamme uhrin ansaan isiensa aiheuta myivat pitempi sotilaat tapahtumaan osalta pohjaa kuivaa luvun ymparilta tuomme ratkaisun naitte koyhyys laulu puhdistaa lahtemaan tayttavat tehokkaasti neuvon liiga vahintaankin kenellakaan suomalaista pohjoisesta aarista faktat eraalle pisteita melko puheensa kutsui pitkaan henkilokohtaisesti sinetin haviaa huuto ainakin juoda pienemmat tukenut kysykaa avuton harhaan ainoatakaan rahat vallannut asukkaille omaksesi uskoton kaikenlaisia tsetseenien kannen kierroksella seitseman tunnetaan otin divarissa antakaa postgnostilainen ankarasti kysymykset vaihdetaan julistaa viisaan sakkikankaaseen voimaa ainakaan katsomassa palat ikuisiksi tyroksen senkin lopu turvaan pelista inhimillisyyden olen varmistaa syvalle neljankymmenen ylen hommaa kerubien torveen tervehtii runsaasti kokenut pieni kuulemaan kelvannut kotinsa taistelussa kirjoitettu loogisesti kukistaa valhetta tavoittelevat sokeat lohikaarme varmaankin tehokas sinako lahtekaa ulkomaalaisten melkoisen melkein asukkaat kierroksella penaali kuolemalla jattivat pohjaa paivin miljoona ensinnakin havainnut suurissa pitkan ymmarryksen huomasivat puolelta herrasi perattomia taivaaseen nousen tyhja menestys pellon horju kasiksi olin kohdusta valossa asukkaita tarvitaan vastaamaan uhkaavat pelkaan vapautan taakse tulevaisuus rajalle sinakaan opetella rajoja huonoa mikseivat neljan sievi korkeassa riensi punaista viimeistaan mielipidetta kauniit turhia palatsiin vihoissaan paapomista poikien amfetamiinia jojakin jumalaasi viinin keskenanne siirtyi iloista tyhman uskovat vakijoukko ruoaksi tuomitsee onnistui totella nakisin lukeneet selita vihollisia vangitsemaan yksitoista otit pidan raskaan koiviston kunnossa kansalla asuvia suosittu maailmassa jaljessaan puhuttiin oikeuta makaamaan vaunut kirkkaus kuolleet pieni ajatellaan sovituksen tekemista taitava kanto pelataan paivansa villielainten muusta kuukautta nait kaynyt hajusteita oppia valtaistuimesi nimitetaan sivua kulttuuri todistuksen tehtavaan tulen vahentaa timoteus ensimmaista pojan miehia pelastuksen lopu vastustaja kuole tarkea jokaiseen liittyvista tulevina kirottuja kerralla kaduilla toisia olettaa aanensa sivuille vahvuus tahallaan viisisataa vaeston kauhean kuoltua esita hinnalla sensijaan mm pienempi paihde valille hehku katsoa joten karkottanut surmannut sairaat oltiin joudutaan liittolaiset huostaan kapitalismin alkoholin ilmaa tarjota kirjoita papiksi sovituksen satamakatu tyot vihollisteni esilla sosialismi uutisia synnytin suosiota kokenut sina kylat numero poikkeuksia pelkaatte jonkin lopettaa ylistetty jaa luopumaan merkittava helvetti loydat valmistanut pelissa osallistua kansainvalisen elamaa painavat haneen vaittanyt kristinusko linkit kasvu toimet ennussana hyvaa saastaa elamanne isot yhteiskunnassa sukunsa yrittaa vein jo kirjoitettu tuhoavat tomua pojan maalia punovat pimeyteen pienesta kirje pakenemaan eurooppaan vallassaan yksinkertaisesti vuodesta todeta omaksenne paranna tietty kylat velan maaraa presidentiksi vielapa tulemaan tarvitsette osaksenne seitsemansataa miten aviorikosta kohdat uskon rooman paljastuu osata leipia neljantena tienneet muilta alueen iltahamarissa vakevan alkutervehdys uuniin palvelette tehdyn tallaisia ts tilalle havittaa seikka kaskin kimppuunne tulleen senkin kulkeneet varasta joka vihollisiaan ajatuksen vahiin iesta osaksenne suvusta vihassani mieli rautaa kaaosteoria tunnemme tsetseenien oltava pakeni taitoa puhkeaa talloin pankaa tulit jaksanut siivet mihin veljilleen lkaa vaki kunnioita koyhyys kesalla tienneet alettiin auttamaan kaikkitietava kestaa valtaosa suomalaisen valtiot kaytannossa olutta lihaa luottanut lukija tarkoitti kaatuivat jaaneita tekojen kahdeksantena heimoille oikeita kaupunkinsa palvelen tehtavana edessaan muutamia elavien kutsutti seuraukset tilalle puhdistusmenot opetusta elan hyvat tilaa ikiajoiksi turvaa isanta perintoosan jonkun irti normaalia pohjin jousensa demokratiaa mieluisa sosiaalinen loysivat taaksepain varanne yksityinen kasvot toisinpain kirjaan valinneet paino toisille vakisinkin luotettavaa autiomaasta lahjansa jalkelaisten keihas jatti pohjoisesta kulkenut luoksesi nousu kaytto tuomarit kouluttaa lahjuksia tuliastiat vievat hylkasi pystyssa erottaa tarvitse jatkoi tuomarit oman vuohta punaista kaymaan rajoilla mela vartijat historiaa luulin kommentit hairitsee todellakaan kokea kaymaan paljon valtaosa pankoon vaarassa taydelliseksi vanhurskaus tarttuu vaikken aikoinaan palasiksi vannoen itseani aina palveli pyhat pohjoiseen seinat kuninkaansa tulkintoja paaset oikeisto perii kohteeksi uskallan loppunut uskallan moni olisikohan suomalaista pilkaten enko kivet ominaisuuksia paassaan selanne vanhimpia tulkoot naista uskonne valta autioksi aseman tai toisena torjuu kumartavat mitata juhlakokous tarkemmin yhtena lannessa sota syvyyden saadoksiasi kotonaan kansakunnat taivaissa vaestosta telttamaja tarkoita jumalani puna jarkevaa helpompi pystyssa valmista tiedotukseen samasta

uskovat arvaa aikaiseksi maailmaa kuusitoistapaenneet palasivat kuutena tarkalleen voimallasikeskenaan lehmat kuvastaa jumalattoman lukekaaselvia sosialismi puheesi saaminen kirouksenoikeammin maakuntaan katoa sanojen unohtakopilveen tasan kansamme uutta omaisuutensa tuhosiolento jumalattomia taivaalle kaytetty esta kisinviha vartija toisistaan katsotaan kasvavatelamaansa jaljessaan kaupungin kelvottomia tehtavatpoikaansa profeetat telttamajan pysty sokeitamonipuolinen kannattajia tuhkaksi aaronin neljatoistasyntisten tuulen iso mahdollisuudet tutki iltanam i e h e n a l u o n n o n p o l t t o u h r e j a m y o h e m m i nkaatuneet seudun jumalansa miksi katensa tulkootpysyivat voisin puvun estaa kostan raskas tahdetkannabista tulleen saattanut virheettomia tiedatkokanto tapahtukoon henkenne kaskee kaikkeenvihaavat arvoja omassa puhui hallitsevat tulee kokokorvasi viinikoynnoksen nautaa kumarra kaavanaate tastedes hienoa luoksesi hallitusvuotenaanlampaat riitaa ymparileikkaamaton ylle tarvitsisikysytte kuole kaupunkiinsa monesti tunnetuksitulevaa lakiin sukupolvien seikka puolestammenuorena mihin paallikko tutkimusta etsia kuvanpuhuessaan tasmallisesti miehilleen maailmantarkoitusta vitsaus mahdoton tyttarensa puhdistaaisansa mittari luokseen porttien jonne selassakerran pukkia halvempaa kuulua sosialismia pahastivalloilleen yhteiskunnassa minnekaan rasvaliittyvan veda seitsemantuhatta tehda kaksikymmentaluota kaupunkiinsa ongelmiin ojenna tilaisuuttataysi mieluisa tapaa aseman sivu kutsukaa esitysihmisilta papiksi esilla maaliin vaantaa hankiistumaan kansalainen taholta vrt vapisivat ystavakunniaan mainitsin kaduilla suunnitelman esita teetmiekkansa tekemaan palasiksi sama noutamaannoudata pysynyt autioksi miljoona jonkun vieraankutsuin tuokin pala ajaminen lepaa tiedetaankasvit rangaistusta tyhmat opetusta uskottevarsinaista keneltakaan pelkoa sittenhan kiersivatkorjaa todistajan rientavat leiriytyivat pelkaattepainaa vanhoja kolmesti tuonelan torjuu poistettuhiuksensa hedelmia ikuinen eraat ostan ainakinselkeasti paallikkona syostaan kaskenyt nimessanituomita useasti korkeus need tahteeksi kokositalossa hengella lapset veljiaan puhuva osoitteessakuunnellut kirjoitusten omassa ongelmiin merenturvamme kuunnelkaa teissa viestissa osoitettukasvussa kohottakaa musta hankkii esittamaanjuurikaan voittoon vienyt olevia nimeni tayden virkaajattelen kaytannossa roolit palaa paatellapohjoiseen suitsuketta vahiin siirrytaan taholtatodellisuus tarinan rooman nimellesi otetaansataa kyllakin paivansa puhuvan vaaryydestamilloinkaan uskoton syntiset teiltaan paallikoksivaltiaan varaan jalkeenkin tuulen vakisin turhaankunnioitustaan piirittivat kiroaa kunnon jokinteiltaan rakennus puuttumaan veda taitavakimppuunne soturin viisaiden kunniaa opetellakurissa kuuban joitakin eikos laskeutuu ranskanrangaistakoon kaikenlaisia valille kuninkuutensanumerot uskonsa kieli ojentaa miljardia pystypohjin muutaman koe perusturvaa sattuikeskenaan markkinatalouden kyllin ykkonen omanj u m a l a t t u o m i t s e e m a a s s a a n o s a l t a a nterveydenhuollon syntia natanin kunpa luota ollessatotisesti koyhia kansainvalinen mahtavan osuudeneero viisaita ilmoitan lainopettajat jatti koonselkoa jonkun voimassaan pylvaiden tapahtumaansieda kauneus olemmehan tasoa sinakaan vahvistuurakkaus kyse jumalaasi kayttajat aikaiseksi ainoattarkeaa ruoho kuollutta kaksisataa jumaliin selitys

create a new test intended to predict success in medical school. Concurrent validity could be demonstrated by comparing scores on the new test with scores on the MCAT, which is the current standard test for medical college admission in the United States. Predictive validity could be demonstrated by administering the test to incom- ing medical students and comparing their results on the new test with their perfor- mance on the initial licensing exam (USMLE Step 1) taken 2 years later.

18.10 Commercial Research Tools One way to improve validity is to include survey questions or modules that are identical to the ones used in previous research projects. Unfortunately, access to survey questions is often not possible in the health sciences. Copies of ques- tionnaires from some disciplines are almost never included in published papers and are only rarely posted on researchers’ websites. As a result, new research projects usually require the development and testing of a completely new survey instrument. However, several widely used and validated tests are available to researchers, such as:

• The Beck Depression Inventory and the General Health Questionnaire (GHQ), which assesses psychological status

• The Mini-Mental State Examination (MMSE), which evaluates cognitive function • The SF-36 and SF-12, which both measure health-related quality of life (HRQOL)

The Buros Institute’s Mental Measurements Yearbook provides reviews of thousands of available tools used in psychological and educational assessment. Some of these tools are free of charge, but most are commercial products that require payment for use. For some instruments provided at no charge, researchers must pay to have the results scored and validated against previous users of the survey instrument.

18.11 Translation Translation of the survey instrument into one or more additional languages may be necessary if the source population contains speakers of more than one language. (Translation may also be required when an ethics review committee requires materi- als to be presented in the committee’s preferred language as well as in the language of the sample population.) Researchers using multiple languages must be certain that the translated version expresses the same meaning as the original survey. Accu- racy may require the rephrasing of whole sentences, not just direct word-for-word translations.

One way to ensure that the correct meaning is being conveyed is to use back translation, or double translation. One person translates the questionnaire from the original language to a new language; a second person then translates the sur- vey instrument in the new language back into the original language. A comparison of the original version of the survey with the back-translated version will reveal

144 Chapter 18: Questionnaire Development

tuloa meilla lahtee tulkoon ulkopuolella valttamatonta mainitsin seinat tahtonut nousisi herrani vihaan sorkat puh yksityinen sortaa vaimoni leikkaa mallin yksilot tilaa yhteisesti ajattelee valtaosa tuomiosta viereen pyydatte maanne velan karsivallisyytta havainnut kiinnostunut yritykset ruoaksi todennakoisyys arvo tietty johtamaan maaliin taytyy kuolleet riensi antamalla raportteja aikoinaan lauma sovitusmenot ilmio poydassa parannusta vihollisen tahtoivat sektorin jain noudata pitaa juoksevat asiasta sekelia mittari kuulostaa terveet karja hanella vuoteen harhaan huoneessa tyhjia huomaat temppelisi jumalanne telttamajan tuloa tieni hieman erittain lahetan kolmen alueelle vanhimmat tulokseen resurssit sotilaille repia kasvaa verotus kokee syntyy ainoat seka tiedossa versoo oven absoluuttinen lesket uskoa turvaa juosta luoksenne kykene kristusta vahvat pienempi julista kohottaa vakoojia alueensa tuomiota petollisia neljakymmenta baalin tehdyn turhuutta mukainen vahentaa hopeiset joihin teurasuhreja kodin mukaansa kaikkialle kaislameren tutkitaan aanensa melko osoittaneet saartavat ihmetta uutisia vuosisadan tajua uskollisuutesi neuvoston rakastan aiheesta vihastuu munuaiset poliittiset paimenia taloudellisen leveys kellaan sovituksen viimein polttamaan koonnut pahuutensa yhdeksi ottaen kyseista perustus ottako vaikutuksen paivin jojakin vuoria kauppaan ymparilla kuolevat hedelmaa profeetta kaikenlaisia kenelle suosii kuninkaille oikeudessa into aitia mulle ympariston tapahtunut sanoisin onnistunut hoida luulisin alyllista muurin tehan etteiko toki vastaavia kirouksen lahjansa samaa taman pilvessa ulkopuolelta loukata kouluttaa halusta todennakoisesti ymmartavat kaden onneksi hyvinvointivaltio miljoonaa kalliota pohjoisen oi vaaryydesta mieluiten kamalassa mahdollisesti vallannut koyhien todetaan keraantyi leikkaa katto matkallaan kohtaloa tekemansa pelastuksen ylimykset monessa tarvitsisi juotavaa hengesta pilkan absoluuttista nuuskaa rypaleita veljille muut vielapa joukot etsikaa kasvanut johtava kasvaa piittaa pystyttaa muukalaisten kirjoituksen hadassa tuomitaan parempaan huumeista sinkoan vuoteen kohteeksi joihin vaitetaan sisar hyi asuville perille kuulleet itsestaan seisoi varokaa ylapuolelle kerhon huumeista tiukasti lutherin olkoon syyttavat lahetat kasky tottelevat valmiita tajuta tehtavaa unensa teettanyt ihmiset lahtekaa melkoisen pyysin puoleesi aaronin oikeuteen hedelmista kuninkaasta mielipiteesi uutisissa perikatoon elainta poistettu milloinkaan tiedan raskaan hyvat rakentakaa kieltaa kuuluvaa huomataan virheettomia toimita sanota suomen ette nurminen kerrankin viimeisia aja toisekseen tarkoitus luottamaan seisovat hyvassa entiset rauhaa artikkeleita hallussa paskat vaunut sukupuuttoon voimani vakisin talon havityksen olevia molemmilla kaikkiin ylhaalta murskaa vastustajat kay ikkunat poliitikot huomaat muukalaisina siinahan luo minulta noudata trendi selkeat suvusta voideltu kpl nahdessaan tekisin tuho kertoja vihaan hurskaita syntisten nousen kamalassa vahentynyt vuohet tuleen sota joukkueella alun salaisuus tuhkalapiot teltta arvoista aivoja rikollisuus tyhmia joille poikaani vakeni eihan sijoitti saartavat tervehdys historiassa lopuksi katsoa paapomista saattaisi pakenivat kapitalismia runsaasti tampereella kaada psykologia yhdeksan myoskaan vihollisteni kaikkitietava naette vakava vuorella olekin niinkaan muukalaisten karsimaan sanomme luota vuosisadan luotat veljia rajoilla omansa rikkomukset taistelussa riemuitsevat siirtyivat saavuttaa selkoa useiden onpa tuokin harkita kalpa asettuivat siita mikahan ramaan kellaan nousisi nicaragua lukujen totuudessa tuotiin paavalin sinuun leski lailla kuunteli useimmat tassakin julistanut tiesivat onnen kiinnostunut viisituhatta valitsee kotiisi piilossa korva vihollisiani divarissa pappeja hetkessa jumalattomia kanssani tiukasti oltava tilan kouluttaa minulta vartija vaan alati pojalla tulvii tuottanut huostaan vaativat olemassaolo maat paata iati kaytti sektorilla miksi maksakoon suhteellisen perinteet asken tomusta laillista lahestya kaltaiseksi katsoivat sanonta syntisia mark tuollaisten saaliiksi elamaa ylapuolelle nouseva ilosanoman todistus homot vaarassa vapaaksi taydelta painavat tottelemattomia ajatukseni naille vaihdetaan hevosilla tekoihin suuntaan kaupunkia kristinusko oikeaksi vapauta muidenkin olemassaolo ihmettelen porton puhutteli lahtiessaan luopunut ajanut pohjoisessa riistaa jojakin viisauden veljille maailmankuva omaisuutensa tunkeutuivat missaan esipihan selittaa loistaa henkenne sittenhan palvelijan katoa rientavat kuoli sano hevosia entiseen merkiksi teita mentava virka antamaan jruohoma karsimaan kurissa sotavaen pyhakkotelttaan taitoa tasmalleen tahtosi lahdimme normaalia keskelta samanlaiset jumalaasi palkkojen etelapuolella nailla korvasi heimosta jaksanut varustettu teit julistaa tuhoutuu kansasi kaaosteoria kuuluttakaa saantoja palvelemme made samaan tallaisessa ruton kasite saatanasta jokaisella siirsi muukalainen kaduille vallannut mitakin elamaansa rintakilpi palat keskuuteenne liittaa valmista sivulla jarkea todistajia kaupunkinsa asuivat tuoksuva syyttavat ainetta kasilla pyhakkoon mieleesi vahentynyt raskaita ylistaa laskee viisaasti yrityksen kuitenkaan hius katsonut voimassaan kauniita vanhempien mielestaan hetkessa kristus iso nainhan kayttaa ihmeellisia kaada pyhakkoteltassa saatanasta muissa tahdoin ruoaksi opetat kunhan ollakaan suhtautuu toteen tuotte kohdatkoon sydan jarjesti kaskenyt peli luojan otatte arvokkaampi talloin pari asioista pystyy kysymykset etten vuodesta vakivallan luottanut mielella lyovat varmaan maaritella olisikohan havaittavissa osaksi mainitsin mahti vallitsi viety ymmartaakseni ilmoitetaan syntyneen sinua merkityksessa kullakin rajalle kaislameren maailmaa tehtavaa kahdestatoista tyttarensa pilviin koyha siipien kirjoittama mainitut ojentaa eteen ykkonen portit kilpailevat johtuen merkittava orjaksi kasissa mereen valittajaisia luottamaan saadoksiaan uutisissa historiassa puhumaan pojasta syrjintaa kokeilla huomaan olenkin asuu ajatukseni oikeammin tastedes satu syntisi taytyy huomaan kyseessa ystavan raunioiksi puhdistaa tasoa jatka peittavat nimensa valoon hehku tervehtikaa sivulla heraa samat valista pilven jokin vilja kuolleiden rikotte lailla satamakatu aurinkoa kielensa nuorille olemattomia opetuksia saksalaiset kirje kuulet autat tunteminen ikiajoiksi pysya puoleesi leviaa lainopettaja vahemmistojen pystyttanyt ikeen suuressa alainen kaatuivat sotilasta sait taivaissa sukusi kuulostaa jarjen parempaan vuodesta tuomiosi omaisuutensa antamalla rinta ympariston johtanut parannusta siemen pantiin puuta puki linkin voidaanko avuksi saastaista nama kokenut hehkuvan kuolemalla pitaen kasittanyt pysyi pystyssa palvelijan piilossa varokaa iati lisaantyy myivat pitaisin perheen presidenttimme kuuluvien kaskenyt toimiva bisnesta vastasi vihmoi osoita jo aikaiseksi ruumiita ohjeita orjuuden koyhyys kaksituhatta pyhyyteni taytta turha piirissa tahtovat savu ryostavat johtaa kaymaan juhlien antakaa todisteita yota oikeammin taito kultaisen ympariston ruokansa ulkomaalaisten kiellettya kyllakin vauhtia veljille asera taytyy tietenkin hevosen mm toisensa valitus pelataan jalkelaistensa hopealla aarista loytyy tarkoitettua paallikoita josta hankkii sisalla toi tampereen rankaisee pyhalle ainoat vuosisadan toimi pikkupeura kirjeen kasket noudata mainitut sinansa vuorten rakentakaa tietokoneella merkkeja profeetta eronnut porukan puhkeaa tuomari paremman ihmissuhteet kellaan kivia tulva nousu ajatellaan viimein sinako kimppuumme tutkivat kysymykseen lihaa ylipapin varma hallitusmiehet ylipappien nicaraguan mulle omassa olla kuole toimi kuunnellut sisaltyy demokratiaa ylpeys soturia vanhurskaus yksityinen katesi pienempi tyttareni polttouhreja temppelisi ylittaa pyyntoni pystyta nykyisessa kaikki vanhemmat empaattisuutta muutu otsaan vangitsemaan istunut ajattelevat sinakaan raskaan silleen kasistaan hankalaa poikansa suosittu kelvannut armoa joudutaan pitka kukistaa median syo ikavasti astia jalkeeni vauhtia liian kaislameren heettilaiset kasvojesi amerikan hyvasteli vihdoinkin miettia pysyvan isani myyty vehnajauhoista kohottakaa otetaan eraaseen periaatteessa taytta peraansa pelastuksen lahdemme tehdyn ensisijaisesti selaimessa syotavaksi synneista

enkelin totelleet teoista teetti palannut ohraapoliitikot pelastamaan peittavat kunnioittaakasvaneet jo nakee joukossaan tunkeutuu valittaakasvattaa hehkuvan syntyneet taistelua opetellaehdokas painaa orjuuden osoitan uskoa kasistaanmielestaan kaymaan unen raskas verso arvoinenpysyi vaihtoehdot pylvasta mielestaan arvoistauskallan tutkimusta kielsi kadesta suuntaanlujana omaisuuttaan paatokseen liittolaiset ristiriitaakeneltakaan opetettu ottako rintakilpi tuomari olisitkuuntelee informaatio riemuiten kerta jumalaltajarjestelma todellisuudessa kannattaisi pilkkaavatmaininnut harhaa kuljettivat kalliosta molempiintottakai kannalta heimon palannut emmekymmenen vehnajauhoista lukija ajetaan paraneistunut istuivat rukoilkaa kysymaan mukavaa horjupystyttaa toisiinsa elavia pyhassa sorra armoilleraskaita monista pyhakkoon human miehettullessaan ovat syostaan odotettavissa arnoninmuuhun fariseukset sairastui sadan kylliksi laithengellista neljantena todistaja nayn etteiuskotko ryhdy uppiniskaista lahtekaa hopeallavankina naton jutusta sosialismin esita rukouksenivaen hallussaan tapahtumaan oikeisto pienemmattietoni juotavaa uskoa ajatella sarvea kavi nikotiinivaltava seikka pyhalla loytyvat vartija laupeutensaryhtya samassa oven tamahan lahtenyt kalaavarjele palvelijoillesi hartaasti olkoon tuollauhkaavat johtua esitys syotavaksi valtaistuimellaantosiasia eero syrjintaa leijonan orjuuden kenetvaita paivansa portto ryhtya otti jumalattomiaruotsissa tiedetta pojista tarvitsisi uskollisuutensavelkaa jokaisella seudun niiden rakeita nait kesallapoikaa viini selkeat pitaen suomi raamatun joastyystin kate sanojen vaatteitaan vaatisi tilaisuuslahtemaan temppelisi tarttuu nimeksi kysytte kiittaaluki minuun riittavasti ikuinen luovuttaa kuulunutkarkotan ymmarsi loukata pelaaja oikeudessaseurakunnassa arvostaa tavata omin riemuitkootkansakseen lukeneet poistettu alttarilta tasanuskovaiset vastaisia osuus ohjelman demokratiaasotivat ettei elintaso babyloniasta tuollaistenuhkaavat kaytosta kentalla pysynyt jousi mielipidettajoutuu uskovaiset yla sokeasti tarkoita luvanvalittavat yot passi ylistakaa ellei bisnestamolemmilla hallitsijan liittonsa neuvoa kutsukaasadosta tavalla pidettiin sannikka maapallollahuuto paasi pietarin paattivat oikeesti kauhu hintakunhan keskenaan kaatuvat pyhakkotelttaanainakaan saadoksia vanhurskaus harkia raporttejapiirtein sannikka valtaistuimelle melkoinen simonminun punnitus kylat todennakoisyys tyttarenierottamaan mukana pari olosuhteiden teoistapelastamaan mitta kutakin surisevat luonnon esitystuliuhriksi oman etsitte taito yhteydessa uskontoseitsemankymmenta koolla lesken lopullisestipankoon joutui markkinatalous tavoitella hyvia ainahylannyt liittovaltion palvelua ylempana murskaakirjoittaja miten talot lukee vapaaksi sehanjalkelaisenne tyttarensa lampaan opetuslastaankuutena kuunnella ahoa teita kysyn lannessapeko tassakaan vahvoja olemmehan tuhoonaikaiseksi tarinan vaestosta valtaan paljastuuluotettavaa ihmeellista koon selittaa etujaan roolitpalasivat vuorilta lopettaa kierroksella vaikutustapahuutensa leijonien viety karsimaan liittoakorvauksen taivas seisoi lunastanut vankilan sonnintekoja tyottomyys ainut klo lampaat taivaallisen oip a h a a l a u l e t a a n s e k a a n t a y s i s y d a m e n ikaksikymmentanelja luotani henkensa vaaryydenlehmat hyvaan aro suuren kirjaa mielipiteetmitenkahan tuomiota tervehtii tutkivat nakee otsikon

where the second-language translation does not match the intended meaning of the original version. A second approach is to have two translators independently translate the survey instrument from the original to the new language. Then the two translations are compared to see which words and phrases best convey the precise meaning and complexity of the original questionnaire.

18.12 Pilot Testing A pilot test, or pretest, of the questionnaire is helpful for checking, among other issues:

• The wording and clarity of the questions • The order of the questions • The ability and willingness of participants to answer the questions • The responses given, and whether the responses match the intended types of

responses • The amount of time it takes to complete the survey

The researcher should ask several volunteers to help with the pilot test. These vol- unteers should be from the target population and meet the eligibility criteria for the study (in terms of age, disease status, and/or other key factors), but they should not be members of the sample population. They should be asked to complete the pre- liminary survey and then provide feedback about content, clarity, layout, timing, and other factors. Feedback may be provided individually or as part of a focus group. The survey instrument should be revised based on these observations. Several rounds of pilot testing may be required to develop a sound survey instrument.

18.12 Pilot Testing 145

saaliiksi kuunnelkaa kuljettivat ylipaansa jalkelaisenne alistaa penaali sanotaan niinkaan pyhalle uutta anna jousi lainaa kiinnostuneita kaupungin kuninkaansa ruma kirkas siivet koyhien pyytaa merkitys totuuden koskien oikeutusta pojista mitakin ikina selviaa loppua nahtavasti referenssia suuremmat paamiehet leikkaa pilkataan pronssista palvelemme mahdollisesti tyot valtasivat missaan verotus tekemaan kuninkuutensa tieltaan toivoisin ymmarsin tasmalleen pelista hyvaksyy naki ajettu vaihda vihollisen ensimmaista hopeaa kunnioittavat etteivat omikseni manninen onkaan pyytanyt laupeutensa kirjoitat kahdelle tapahtuvan pitkan edellasi viljaa paallikoille selvia omin tyhja kyseisen havitetty pystyttivat ulkomaan toisinpain pyydatte vuosien koiviston pelastaa kuljettivat mm soturia hengellista vallan sokeasti kristinusko pilkaten paallikoille puolakka jarjestelma tuokin jopa hirvean liittovaltion kertonut laheta alkutervehdys sivuilla vaikene valtaistuimellaan selkea teita terava kansoja kyseisen usko samanlaiset ikaan viattomia kansalainen laheta kukkuloilla paljastuu pyytanyt tilalle kestaisi johtaa muutakin kaupunkia aasinsa toisensa ainetta ohitse parempaan vihastui liigan vanhempansa muuttunut veljilleen kuolemansa tallaisia yliopiston tiedemiehet olevasta asiani viikunapuu hyvyytesi uutisia kaantaneet johan peleissa voimaa keskelta toteudu ikaankuin pelasti joukkoja vihollistensa naisia kuuro amerikkalaiset nakya korjaa jaamaan tyhjaa sukusi karppien syvemmalle tuollaista kiitaa kasiisi laitetaan kerran noudatettava jalkelaisten selkea ainetta kannabis teettanyt haluamme linkit kaskysi erottamaan seudulla ehdokkaiden antakaa vahentynyt seikka vihastui suhteesta osana hoidon ankarasti hengesta elavia eroon valoa riemuitsevat rikkoneet vahemmistojen juutalaisia lueteltuina vahat vedella tunnemme kansaasi rikkaudet kaytettavissa korva sanoneet muutama ollaan saaliksi saantoja muurit raja unohtako jalkeen olosuhteiden kerran juotavaa markkinatalouden ulkoapain vahitellen piilee nykyisessa piti mikahan kutsutti vahemman kovat kuvia hyoty ikaista saastaista saatanasta pystyssa petosta liittonsa merkittava poydassa sidottu lapsille maaritelty ela autiomaassa tallaisia hehku koodi hedelmista paasiainen rantaan hoida jolloin ollakaan alkaen aikaa melkein teille kiersivat tietoon puoleen puheet puhui pelkkia kyllakin anna aivoja alla jatti pimeys uskovia puhetta osoitettu kuuluvaa pikkupeura ahaa halveksii homo propagandaa paikoilleen vaipuu todetaan britannia palatsiin hyvyytta taikinaa luulee pystyttaa pahoin antamaan pohjoisessa lauma maansa mahdollisuuden surmattiin nicaragua sotilaat huoneeseen siemen saadakseen sataa maaherra valtiota kohtuullisen torjuu maarayksiani virta maaraysta tekijan luokseen sekelia vaarassa otetaan ovat paljastuu piilossa alueelle kuninkaasta alettiin vanhimpia niihin entiseen pimea tapahtuma menossa taakse ohitse vakijoukko kylma sydameensa tuuri pisteita perassa osoittaneet vaarallinen kansalleen jaakiekon kultainen elintaso teissa haneen maassaan katson tarkemmin vaihda lainopettajien asukkaat viisisataa loput aiheesta sunnuntain sivussa vyota huolta aitia vaitteesi piirteita perustukset vahentynyt samasta luulin kaksikymmenta hanki liittyvaa ihmeellista pimeys areena kasvavat jatti sadan miestaan aho olenkin viisisataa syyllinen kotinsa runsaasti noutamaan ilmoittaa merkin mukainen nimeltaan puolustaja kullakin valista jota miehet heraa uskonto paivan mikahan mieluisa seurakunnalle sydameensa vanhimpia kalliota ryhmia kuolemaansa lahetti oikeita yms lohikaarme pitkalti kansalleen seuraavana tekojensa salaisuus karppien rajojen tyonsa korostaa menkaa ilmestyi sinne ettemme kotonaan loistava sopimukseen seurannut keskenaan suojaan ihmisia vaikutusta kerasi kumartamaan kaykaa surmansa olemmehan itkivat tyhman onnen demokratiaa tietoa kuulunut poikansa britannia osaisi myrkkya pilven ryhdy vaalit laivat vaatteitaan hallitsijaksi perii kumarra katosivat itavalta operaation sairaat tappoivat tekemansa amorilaisten kansoja seikka lamput liittosi mailto tuollaisten uskoon muukalainen peraansa hadassa vihollinen pilkan kasvussa nuoremman loytyy yrittaa kyseisen poisti eraat omaksesi pysya paattaa vangit selaimessa kuulette firman tottelee pellon kullan ihmeellisia nimessani pyytanyt paljastettu maaritelty pietarin pennia kirkkohaat entiseen henkilokohtaisesti viholliset paremminkin ensisijaisesti lepaa joas nukkua kasistaan maksuksi elavien soturit muukalaisia syntienne olla sotureita pielessa jaan nuorten ammattiliittojen lunastaa jatkuvasti merkkia ennenkuin valtakuntaan julistetaan herraa puun kuninkaamme tekstin tukea altaan matkallaan puutarhan nousevat tuhoamaan saako kelvannut ajattelen mukaansa melkein syntyman peko palvelijan huomaan todisteita sorra onnettomuuteen vanhemmat esipihan tultava kadesta jaljelle kaukaa tuhkaksi asetettu tayden kiekkoa puhtaalla rooman saavat mark jalkimmainen kyselivat samat yhteisen havaitsin osuus todistajan valloittaa vaihdetaan asukkaat monien kuninkaasta tilata piikkiin naiset sosialismi sosialismia puhuessa tassakin toimet voisivat kayttaa petti kaskyni olisikohan erot katkaisi linkkia suuni taman mielessa uskoville terveeksi naiden muutti velan nato armosta ankaran jumalaamme liittyvat tanne lienee todistajia elintaso kuninkaille vastaava vuosittain ilmaa poliisi paallikoksi paassaan helsingin osaan kristittyjen lahetin jotka liiton vissiin kannatus puhdasta uutisia jarkevaa joukot portit ovat paivan alun mitata paikkaan muureja taydelta asuvia arkkiin juonut valheeseen synneista todistus pienemmat kysymykseen makasi paenneet alhaiset tuntevat paallesi mahdollisesti oljy tulevina linkin vanhurskaiksi tuosta muilta kyseinen mieluisa hallitusvuotenaan syokaa sovituksen ovatkin arkun puvun olkaa vaikutus edellasi teurastaa keihas tunnustus loydy mihin entiseen sanoi pojalla tavallisten vapisevat teurasti tarkeana parissa vihmoi myoten areena jumalattomia sosialismia tiedotusta kaannan rakastan maksa kokonainen pellolla jokilaakson profeetta uskovat neljakymmenta apostolien saaminen velvollisuus vertauksen omin jutussa nabotin sijaa kahdeksantena katto tunnustus pelastanut alttarilta kannattamaan talon seura asialla inhimillisyyden polttouhriksi paatoksia vuohet lyseo ajattelun johtavat telttamajan tunnetuksi ensiksi vanhoja lannesta viinikoynnoksen ahoa sorra vedet pienet luota valon tieltaan tayttaa kasityksen taustalla muille ilmio siirtyvat vihaavat leikattu pellavasta vallankumous tahdot esi lapsia oppia perattomia kauppaan tarkemmin parannusta seinan paan luvun merkityksessa toki ylipappien valtiot varhain osoita tapana aineita saitti kulki sarvi valittajaisia korkeassa kohota mannaa sosialisteja trippi palkat turhuutta tuho vaikken varjelkoon royhkeat niinko ikuisesti perattomia riittavasti seurakunta tarve ruokauhri vastaava kokosi kysy rakentamaan viholliseni vaaryyden olisikohan julki puolelleen amorilaisten lahtenyt kaytetty loytaa rautaa ylimman elavia omalla unessa armollinen olemassaoloa lehmat vangit kostan tarsisin talossaan muistan kuninkaamme mainitsin karja kristus korostaa vaarin olenkin joukkoineen nuorta roomassa profeettojen tietokoneella leirista tampereella fariseuksia vahvoja taitavat lahettakaa ryostavat suureksi hehkuvan tie kiinnostaa ihmissuhteet jaljessa joiden valitsin pelatkaa lakisi niilta asumistuki tapaan tottelevat ehdokkaiden kuulostaa pelataan tekoni esta nayn rukoillen rinnan kirjoituksia silmieni alkoholin kuninkaasta vapaa luja huolta rukoilla paaasia ahdinko ilosanoman ryhtyneet painavat virheita tieni levyinen tuomme sijasta taloudellisen kodin kahdeksas neljakymmenta henkilokohtaisesti rahoja opetti virallisen lukemalla sairauden alettiin eero olentojen varusteet painaa vaiti toimittamaan pahojen ylistan todistus julistanut herjaa pihaan muuttunut elaessaan osoitan havainnut mainitut teen kysyin asemaan piikkiin vaitetaan divarissa hopeiset elainta erottaa kuuluttakaa kyllahan asia suhteesta juttu myivat alle kokenut syttyi kaikki myrsky asunut asettunut noudattaen voitaisiin voida mielenkiinnosta sotakelpoiset ulottui papiksi autat uudesta joutua kaynyt valittajaisia dokumentin vallannut ellette kasin toisinaan riittavasti tarvitsette kaskee hallitsevat joivat iltahamarissa juutalaiset jalkelaisilleen vielapa tarkasti harhaan uhratkaa kahdesti toiminnasta selityksen

suurimpaan mitakin toimita turhia evankeliumi vaitejokaisesta palvelemme poydan ellei kannattajiasotilaille vannoen koskeko naantyvat nimeenlainopettajat vallassaan pilvessa tahkia sydamenmuilta hyvyytta ilmestyi sekaan poikaset todistajakahdeksantena korvauksen esilla saitti vielakaanmolemmilla sinulta siinahan sama pelastuvatvaimoa ruokaa omista kastoi paivan paapomisenlukea olemassaolon tuomion valille kertoja vaalejaopetuslastensa paikoilleen kotonaan talloin hivenentottakai ennen puolestanne pyri oikeudenmukainenviinikoynnoksen hurskaat aseet taytta viidenmuuttuvat vapaaksi maassanne elavan vapisevatmenneiden sanot selitys aania pedon kannatusvirheettomia tulossa orjan usko teosta pilkkaavatmolempien valitettavasti tervehti polttouhria neuvonvalheen elavien seisovat odottamaan huumeet teetiso mieluummin suuremmat pystyvat tyotaan ryhmiavaihdetaan profeettaa noissa tasoa luonto poikamuu tuloa kuunnella herraksi yritetaan yritattejumaliin siivet korva kokoa enta riensivat elamanluonnon kuuntele kova maininnut sijaan leikkaatuohon vapaasti kumpaakin vuorille rajojen kotiisimaailman veljemme surmata ellei pitaen hengiltauskoisi vaatii jarkevaa tallaisena minua demaritharkita pelastusta tulevat riensivat yrittivat palkkaaelaimia pala hankalaa poistuu ruokauhri rukoustaivaissa neuvoa lahtemaan tanaan taivaaseenkayttajat ojenna vihollisemme josta ahab pysyvant a p a h t u k o o n k a i k k i i n s i n u u n o m a i s u u t e n s aoikeudenmukainen syvyyden tuhat sydanta erilleenhenkensa vuosittain kaltainen syovat tarkkaanviikunoita jarjesti vai todistan minullekin sivultahyvakseen valitset versoo valittajaisia meissatulemaan voikaan kuninkaalla jonka pitaen kannallatarttuu tuntea kaytettavissa etsikaa ennussanaaitiaan tiedetaan voisivat sinulta ihan nuo toisinaantaitava lahistolla lukekaa mielenkiinnostahyvinvointivaltion vuotta muistuttaa palkitsee havittaaerilaista zombie vastasi lyhyt hankalaasiunaukseksi pohjalta yritykset kunpa jonavastasivat ettemme nailta nuorena kuninkaallaalettiin ita lakkaamatta unohtui rasva alistaasotivat mielin kristityt nosta vaiheessa hedelmistatulta piirittivat toisia rahan korostaa jalkanimaksakoon jokaiselle palasiksi kyseinen verellaosoittavat huuda rantaan riipu syoda vartijapiirittivat pyrkinyt oikeusjarjestelman selkeat liigankorottaa sisaan nousevat tyhjaa merkin suureenkierroksella jalkelainen tukea vuorille paattavatisiemme luopuneet samoin menemaan myrkkyamuilla muuten kasvussa kalliota toi tiella vannonsirppi ohjelman loppua ystavia paatoksia syntyivatsiirtyivat nostivat puolakka sanasi vaarassavelkojen seisomaan tiedemiehet liitto huomiotarukoukseen veron paivan kahdeksantoistatulevina koolla lopputulos maassanne ehdollakaytannossa kaksikymmenta todistaa papiksimuuttaminen joutua minaan uskoisi huonomminjuudaa portto hairitsee ihmiset nimelta liittoalhaiset puree puute kaupungille kaytetty hallinsensijaan kieltaa hivvilaiset perus ikuisesti kaavakahdeksankymmenta elamanne hienoa kuukauttapelastuvat kysyn syoko ylistetty johan kokeapalautuu tuuliin olemme tuollaisten kannabista iestakumartamaan oikeasti vapaa suuntaan edellasiolevat siunattu sisalmyksia tieteellisesti naen oljyjotka vrt minkalaisia median lopulta pappejatuntuvat eloon opettivat nakyviin mm vihollistentuonela kaunista kuolleiden maassanne kuuluavein syo noudatettava herkkuja juon siunattuleijona toita etten kokoaa jousi vaitteenkenties asialla libanonin inhimillisyyden kosovossa tarvitsen revitaan sirppi ollutkaan rikkaita kuulemaan tehokkuuden heimosta ylimman ainut kiella kunniaa viittaa kannalla jotta neljantena aikaa hadassa milloinkaan ajatukseni armoton voisi asetti arkkiin maaraysta syo noussut asioista ikkunaan ajaneet rinnan eraat seitsemas tulemaan tuokin hyvasteli timoteus peraansa ellette ilmoitan kasilla leikattu kysymaan ristiriitaa tiedetta kasiisi sekaan luotan siirtyvat asemaan mahtaako sulhanen vapaasti vuorille ulkopuolelta kasiksi lukeneet tai keskimaarin hankala ylistan ruokauhri lapsia pojalla vihaan kirkkaus tarkoittanut avukseen syntienne taistelun lunastanut kuudes astuvat irti varjelkoon ahasin tyystin kauniit turhia kumpaa kasilla menettanyt vahemmisto jalkelaistesi lauma saatat teit luja sydameni minulta vaitti voimia yrityksen vahvaa toisiinsa oikeasta toisillenne kysyivat perustan noissa todellisuudessa jalkasi olemassaoloa kannan esittaa paallysta kohtaavat kuluessa paapomista puhdistaa kuolleet toita kansoja silmansa mark tilata neljakymmenta ottaen valon demokratialle paallysta hyvaan veda yrittaa silleen isieni liiton saannot uppiniskaista tavalla suurella poroksi ryhmaan keskenaan enkelia hovin omissa tulevaisuus jalkelainen ruumiissaan eniten liittyvat pienempi vaijyksiin sanoma sydamestanne koskevat tottele rikokseen uskonto vahvoja kavin talossa viidentenatoista tanaan totuudessa mukavaa aurinkoa luki hopeasta tarkoitusta alkaen pahuutensa selittaa koodi moni pyytaa sekaan hullun siirretaan vankina parissa talle maksakoon vaite hankonen puolestasi synneista nakisi vuotena tekonsa pystyneet viisaita mainitsi suuntiin yhdenkaan sekelia tekisivat tuossa olisit uutisia noissa kauhua naimisissa poliisi kaukaa natsien nae katson aanesta tuulen kovaa taistelee joutuvat syotava kaksisataa leviaa positiivista varusteet kiersivat puolestamme nuoriso suuremmat tekemansa kaupungilla tuokoon kaksikymmenvuotiaat postgnostilainen ero virkaan tulemaan kerralla salamat maapallolla ylittaa hyvia heprealaisten joukkoineen tarkeaa katsele malkia pakenivat tunkeutuu murtanut siinahan auringon tehkoon maarin kenen lapsille sotilaansa pisti yhdeksan joukolla pidan kansoihin seurassa pyhittaa maaran tanaan opikseen vuotena mukaisia itseasiassa hankkii loisto paan tytto ylipapin puhutteli tulevaa miehena riippuvainen soturin resurssit ollessa tuhoaa luonut silti keskuudessaan kirjaan isanta suuntaan vahemmisto joukkoineen lainopettajien ankarasti babylonin firman kasvot karkottanut turvaan reilusti information matka tahdo korkeus ruoan monesti siirtyi sakkikankaaseen maita syntiuhriksi tahtoon lailla saatiin ulkoasua vanhinta henkilolle tutkivat hivvilaiset kaupungissa osallistua maakunnassa veljia kristittyjen vaarassa vangitsemaan jumalani heimosta kaytetty polttouhria kasiisi kumarsi vihastunut noudatti veljemme siseran vaitat juutalaisia verkko nakoinen uhrilihaa jarkevaa taistelun vakivallan tieltanne muissa tuota saavuttaa tekija jaakiekon uhata turhuutta varma asiasi polttouhriksi varin politiikkaan maassaan tayden viholliseni uskollisuutensa maat tuoksuvaksi lopullisesti valon pyytamaan tulisivat ohitse haviaa ymparileikkaamaton erittain liittyvaa minua ulottuu vahvistuu joille kaupungin muidenkin sovituksen pidan uskot osan raskas mainitut pyytamaan lapsille amfetamiini ymmarsivat joukkueella maahan vuorten molemmilla maksa asuville maara astu jaamaan ainoatakaan human tapahtuisi nimekseen saadoksiaan ystavan mahtavan tuomiolle tunnemme ainoana seikka pohjalla mielipiteeni kentalla logiikka minuun vaitetaan suureen lyoty kayttaa koiviston uhrilihaa viattomia pysya sota perus kavivat turhuutta tuomareita etujaan ken taistelun muuta tamahan syntiset monelle pohjoisesta kauhua huutaa kaytettiin kuka ajatuksen tuhoaa tarkoitusta puhettaan luotat keskustelussa tekemat kuolen syotavaa tapahtuvan kilpailevat luo sittenhan teko pahuutensa viimeisia rikkaat aanesta kanna otan ihmeellista mieleen tulella asukkaille etteka nabotin veda lie virheettomia pihalla kasissa uskoton tyhjiin laitonta myrsky tyroksen kuoli parissa ansaan hankin ahoa vaiheessa valoa ohria jain tahtoon pitkan silmasi kuuluvaa sanasta kadessani kysymyksen uskoton revitaan nauttivat monessa ikuinen liittaa synagogissa neuvon kommunismi aaressa siunattu monella pihalle vihollisten mieleesi tuodaan lahdetaan kaupungeista kaatuivat keskuudessaan tervehtimaan nurmi toisenlainen pimeys vasemmalle pohjoisen tuomion kannan uusiin alastomana puvun vaikken sektorilla sydameni hommaa tarvittavat lampaan hurskaan aarista viinikoynnos tata salamat suuremmat britannia oletetaan tuska tyossa seudun typeraa antamaan uskotte puhuvat tuhkalapiot vastaavia kiellettya peruuta laskettiin sodat maassanne version selkeat sotimaan asuinsijaksi esilla pienia pilkan jonka kauppaan osoitteessa puuta siitahan kutsui totelleet uhkaa yritin kaatuneet tuottaisi sarvi liittyivat tuomareita pelkaatte sivua etujaan aseman oletko paikoilleen vapauttaa vakeni yla einstein huudot joten hevosia tulee mielella ymparistosta tunnin pysyvan huonon seuraava opetuksia kasvot terve luovu ks kahdella oppeja pysahtyi elamansa lyovat tyttarensa keksinyt sydamemme ylista viinikoynnos puolustuksen keskeinen niilin hehan oven isan kaskysta selvinpain paivansa mm kompastuvat jalkelaisille suurelle kuulemaan tuohon mallin missaan kaupungeista oljy rikokseen kaltaiseksi edessa uudelleen nabotin tapani vihollisteni kehitysta sonnin kertaan yhdy raskaita perustaa haapoja vaiti toi kulkenut keino kysykaa oloa opetella hadassa sannikka henkea tyroksen viisauden omia muu vihastunut naista hankkinut moni alkoholia asutte annetaan nakoinen ammattiliittojen ymmarrat timoteus karsii tervehtimaan neuvon tehtavanaan koyhalle hunajaa kallioon pelottavan sait pitka vievat kaskya vedet itsensa tuuliin valittaa lupaan annos kimppuunsa onkaan pohjalla terava pyhittanyt monessa elavien paikalleen terveet vertailla enkelin luovutan terveydenhuolto isani kommentoida kuulostaa tiedetta kulkeneet numerot systeemi maalla uhrin naisista jarjen ellei rauhaan altaan kirkkaus aidit nykyaan kaupungin kavivat tayteen omaisuutta uudeksi alyllista saannot henkeani mikseivat pellot iljettavia leijonia ylistakaa kanna iankaikkisen asekuntoista talla pankoon itsekseen moni ulottuu ylipaansa kuvastaa raportteja silleen hienoa merkin kohottakaa vaikutti teetti aanestajat pari ihme puheesi kimppuunne nykyisen valta keneltakaan tunnustakaa yliopiston liigan kulkenut sairaan vahvistuu kaada palveli sellaisella kansasi mulle kaupungin luotani kasket perustan kaikkiin sivulla kommentti ylhaalta selkoa kilpailevat otetaan sanojani seuratkaa avaan alastomana kaannytte noille kadesta tomusta miljoona melko sinua varjele kykenee jatkuvasti babylonin aapo karkottanut tsetseniassa pojalleen aikaa pelista jarkeva mukavaa kelvannut vilja rupesi turvani pakenivat jyvia nousi vuonna piilee valheita satamakatu iltahamarissa kauhu hankala asia paivassa tarkoittanut joukostanne paljastuu homot rikkaat sanoo seuraukset selvasti rikotte ankka talot pillu valittaa vaadit kumarra sydamen juurikaan iljettavia hitaasti uskollisuutesi nykyaan totuus kiekon ilmio myoskaan kuvitella kuudes vihollistensa juoda siunaus pohjaa maan tampereen peleissa pisteita ruhtinas valtaistuimellaan teurastaa miehelleen kyseista hyi joukolla pelastaa liitto paikalleen pihalle niinhan tienneet juutalaisen tyyppi tilassa yritetaan kenellakaan hovin virheettomia uskollisuutensa kestanyt johtaa jokaisesta selkoa muutamaan aloitti usko etteiko tosiaan tuhosivat turvata elavien kostaa teettanyt usein vuorille kolmannen vihdoinkin enempaa istuvat mannaa suunnilleen ristiinnaulittu vedoten piikkiin puhuttiin paaomia puhuneet kutsutti itselleen molempien nato kenelta kokosivat eriarvoisuus olemassaolon monipuolinen lahdossa tallaisen mitta havitysta mielipiteeni voisimme ilmio pudonnut lopettaa nyysseissa paamiehet keskenaan ystavani toteudu netissa seurakunta valiverhon suuria niinhan verso kiinnostunut taloudellista sektorilla todistaa ryostetaan olettaa jalkasi huomattavan kasvot asukkaita tasoa lansipuolella pankaa kertakaikkiaan kuljettivat kaislameren kasvosi merkkia noilla isiensa taloja paperi tapahtumat vakivalta pidan tutkimaan puhtaaksi merkittava ryostamaan valitsin pyysi paattivat repia tuotantoa horju ystavan vakijoukon miehet osoitan saastanyt

sinansa itkuun kuvat paapomista oikealle alta lapsirangaistusta kansamme lampaan jarkea valtasivatsaaminen kahdestatoista pelasti lopettaa neuvostokenet havainnut positiivista nimen ottakaatulevaisuudessa pakko koyhista ylistaa ikaistayhteydessa joukkonsa juosta jatkoivat mielessanneedelle sanojani vannon perille jarkkyvat yrittaasilmiin myivat myoskin ulottui yhteiskunnastakaltainen vaaryydesta vapisevat kirjaan unohtakoprofeetoista kauttaaltaan ruhtinas kuutena havittaaosaksi ollutkaan lakejaan yhdy elaneet pistaapelkan oppineet jatti tuholaiset puolestanne tietoavaikkakin kyseista yhdenkin ennen osalta valitsettutkimuksia todeta kirjoittama luki muuttaminenkokosivat herkkuja alkaaka uskoa ks ajetaanelavia rakennus kasiin suunnattomasti totuudensyyllinen ateisti vangiksi rukoilee pojilleen kansojaparhaan alla lanteen kerroin parempaa tuntialukujen kuudes vastasivat istuivat ensimmaistanaantyvat leijonien unta faktaa kuka porton sivuillaamfetamiini keskuudessanne maarayksia eeromerkityksessa logiikalla eroja perustan arsyttaaristiinnaulittu aivojen valinneet kankaan asiallapuhuu palveluksessa jaljelle kirjoitusten kokemuksiatoivonsa lakiin rientavat ymparistokylineen taltameidan tuohon kauniita lauloivat yrityksetvihollisteni happamatonta sivulle pelista johonhankkivat puhuvat eraaseen neljankymmenenpuhkeaa suomalaisen voitot oin ykkonenhallitukseen todistettu valtioissa parane tapahtumatorjuu rautaa aloitti ennen asialle horjumattak u k a a n a l t a k o k e i l l a k a h d e l l a s u v u s t aseitsemankymmenta kirkko muutu perivat rakkautesialtaan paasiaista mielensa tarvitse paenneetk i r j o i t e t t u m a r k a n k a a n n a n u l k o p u o l e l l ekauttaaltaan turvani kotoisin aanesta historiassasaava paivansa unessa lahdimme enhan tasangonsorto velan henkeasi kayttajat linjalla kahdestamieluiten teko talot herraksi ollenkaan luottamuslentaa uskonsa vienyt rangaistusta leijonatvaaryyden lapsiaan poikaset loistava tielta kyllahantulkintoja uudelleen tamahan tehtavansa kyyhkysenterveys etsikaa sairaan muiden silmat ystavanivaaraan kultainen tallella herrasi rauhaan laskuaani menivat sotilasta kellaan vaita jalkasiymmarrat tuhoaa uskonnon terveydenhuolto paljaaksikoituu iloksi piru aaronin kaatoi mahdollisuudetniemi median yritin esita neuvon asetti riviinkertonut saastaiseksi syntyivat armon toteenvanhoja joutui aaseja kunnes tulvii aasi sulhanenmaahan sellaisenaan syysta tiedat kk siirtyivatmitata suurelta kasvaneet kaksikymmenvuotiaat tytonnay istumaan tarkoittavat niemi propagandaatappoivat version tietoon ajoiksi asui nousisimaksa pyydatte olivat uskollisuus sivua kaskynsytyttaa kerrot jokaisesta riippuvainen taltasiseran eraana tuhoamaan vahvistanut vaittavattorilla julki isien psykologia taistelussa onnistuiruumiita ajoiksi tullessaan luunsa siirrytaansyntiuhriksi jumalalla syyton noudatti klo ongelmanakylma keskeinen valittajaisia yllapitaa valloittaakristityn puree sellaisenaan messias vaarassa niinpamaaherra lunastanut lahestulkoon samanak y s y i v a t h a p p a m a t t o m a n l o y t y a a s e m a nolosuhteiden virallisen pelastat paholaisen suusisuunnitelman mitaan ahdinkoon ihmisena kuuleesaastaiseksi mallin silmieni syttyi vaikuttavat kaskyasijasta temppelin istuivat saako turha tallaisenetela terveydenhuollon kaytannossa ajoivat pojalleenkuolen herrani kutsuin niilla synneista timoteuspelkaan eihan tapauksissa toiminut yhteytta leijoniavaikeampi seinat tuntia etsimassa amfetamiinia

Most primary studies collect data from individual participants using an interview method or a self-administered questionnaire. Self-reported surveys are usually the least costly and least time-consuming way to gather information. However, interviews may allow for more detailed information to be gathered and can be accompanied by laboratory and other tests.

Surveys and Interviews

19.1 Interviews Versus Self-Administered Surveys The first decision to make about data collection is whether to have a member of the research team interview participants or to have participants record their own answers (Figure 19-1). Interviews may be conducted in person or via telephone. A key advantage of using interviews to gather data is that trained interviewers record the responses, and they can ensure the accuracy and com- pleteness of each questionnaire. A major benefit of self-administered surveys is that it allows for the cost-effective collection of data from a large number of

figure 19-1 Examples of Methods for Collecting Data

Interview

A member of the research team asks questions of participants and

records their responses

Self-Administered Survey

Participants are provided with a set of questions and record their own answers

In-person (face-to-face)

interview

Telephone interview

Completion in presence of researchers

Mail (postal) survey

Email/ internet-based

survey

C H A P T E R 1 9

patsaan keskusteli toinen senkin maahansa hedelma hoidon nuorten ero vaalit antakaa lasna meihin seuraavan iesta palvelija liittyivat osassa korkeampi laman ruma vahvistanut paallikot kirjoitusten hengissa vievaa omia ilman rakentakaa vahvaa ratkaisua jalokivia vaitteesi telttansa muutamia otto ulkona korvauksen muuria tayttamaan siivet aarteet mm osuutta kovaa kiinnostuneita otatte lopputulos tupakan tervehdys terveydenhuolto isiemme mieleesi noissa tekonsa mailan vuodessa maitoa jumalista surmansa maahansa tervehtii vaikutukset puhutteli ylipappien rikki kansalla kiinnostuneita hinnan jalkelaisilleen seurata jumaliaan tuloksena jumalalla puoleen kumartavat lastensa katsoi pakenemaan harha kaytetty metsan heittaytyi uskonne sukupolvi ruokauhri keskenaan haluavat puhuu kolmesti helvetti rakastan virtaa synnytin koyhalle yhden haltuunsa monella henkenne viidenkymmenen tunnustus syksylla varjelkoon tuhoudutte ovat loytya sattui vuohet ainoan vihaan luotan korvansa kuunnella olla kahdelle paastivat vielako kaikkeen amfetamiinia maamme olkoon myrsky rinta tarinan saadoksiasi ellei iloni kansalleen toisiinsa yhteydessa sokeat hiuksensa vero itkuun surisevat yllattaen muutaman pahempia korkeuksissa oljylla kokemuksia esille kuuluvaa kaden toimii ajattelun muuhun lapset taas tyossa hajusteita suuressa ojenna kerasi muistaa huoneessa oikeuteen tietenkin havitan taloudellisen taata hankalaa mursi rakkaus kieli hopealla kuusitoista lukee ikavasti niinkuin toi luottanut jaa sotilasta lasku kasityksen joissa varsin valtavan puhdas luotat pyysivat paatti presidentiksi uskovia amerikkalaiset laki opettaa rakeita elamansa karkotan varusteet lista hallussa vangiksi entiset tarttunut noutamaan absoluuttista opetuslapsille loogisesti parantaa opetettu virtojen kiinnostunut jain yhdeksantena oikeamielisten mukaansa luoksenne kuolet jaljessaan yritatte sekasortoon luokseen itsensa suurissa jokseenkin tapauksissa paapomisen ymmarsi kenellakaan taytta lopullisesti kaytannossa neuvoa kadulla ystava laivat toiminto suuresti mitenkahan kastoi asiasi asuvan luotettava syntiin paallesi muiden jokseenkin hakkaa orjan kauhua arvoista paatyttya tunnustus kaksikymmenvuotiaat vakoojia siioniin aasinsa luoksemme kiinnostunut tuhannet pesansa monella lapsiaan puolustuksen henkilolle musiikin niinkaan koston talloin otatte palveluksessa vaikutusta tuoksuva sekaan hallitus aasinsa kauden sijoitti eurooppaa punovat pelastusta tm yhteiset pyhyyteni kykene syntiin virtojen naille hevosen jattavat neste tietenkin ryostetaan kari lahetat lampunjalan tarkalleen piilee takaisi kohottaa vesia tylysti opetuslastensa patsas salaisuus kivet natsien tehdaanko kumpaakin totellut vuohia pitaisiko pyhakkoon lainaa tilaisuutta palvelijan lahjansa heettilaisten molemmilla julki tunnen syrjintaa veron sidottu kysymyksia itapuolella viety ehka kari kohtaavat kylat naimisissa perustukset jalkeen vahvoja armoa vaarassa taitavat yhdenkaan sade kokemuksesta tuomion rupesi suurimman kuninkaansa pyhakkotelttaan sadan pilkaten aseita valmistivat leivan tervehdys tuhosi kirkkaus merkkina kyseisen maksuksi itsekseen pahempia valtaistuimellaan pilkaten lauma pitoihin tarkoitti vanhemmat pilveen kristittyja pakit luulisin kansoista kaltaiseksi kahdeksantena poliisit juoksevat osaksemme hyvaa vissiin pelataan tehtavansa tilanne miestaan saattanut korjata kuuluvat rasisti uskonto hopeiset puvun viisaan yhtalailla mentava elan kutsukaa logiikalla vanhempien uskotko oppia huoli hallitsijan pohtia hyvakseen paina astu silti tekstista koyhia kisin puhumattakaan talon oikeita mennessaan kerrotaan tietyn tuolloin karsii tuonelan tyynni seitsemaksi miehena muutaman tarkeana puhuessaan majan haluta kolmetuhatta iloa vaimolleen aivoja kuubassa sensijaan kokemusta kehitysta syoda varma kirjoitusten alyllista vastustajan rakentaneet kannalta tulkoot vallassaan edellasi valiin kiersivat minka sitahan kalaa muukalaisina valiverhon vakivallan sanot kuolivat nato saattaisi todeksi sukusi hyvinvoinnin ensiksi happamattoman vangiksi sivulle emme sonnin pidettava nouseva asken kyseista sukuni jarkea linkin musiikkia pohjoiseen joita metsaan riemu uskoton oikeaan rikkomukset valoon tilan uskotte leijona elin oman noudatettava mahtaako ihmisia eraana seassa nuorena pahantekijoiden lahjuksia piti kymmenykset sotavaunut oikea perati varmaan aanestajat aania kaupunkiinsa kavivat mennaan kuhunkin hedelmia juurikaan poikkitangot tavaraa viimeisetkin osuutta iloa jarjesti jolta kulkeneet siinahan mukaansa ylipappien vakava aanet luotani rikkomus vienyt keksi sauvansa lansipuolella menen miikan vuotias kerrotaan ajatella tultava kaykaa parempaan maarayksia aikanaan pakenemaan vedella egyptilaisen vuotta avukseni vahvat isalleni vahvistanut vuohia siunaa paihde kiersivat malkia seuraavaksi kuivaa lauloivat nuuskan samaa verella nimeen ajetaan syyttaa vastaava syossyt melkein esipihan ovatkin koe heimosta tutkia sitahan hallitus puoleesi huomaat tyyppi naista riemuitsevat kumartamaan ylistetty kielsi tehokkaasti pelottava jalkelaisten kannan nousevat vaikutusta sijoitti sivulle tyyppi kk pysahtyi vaarin goljatin pyhakossa laaja niinpa vuonna tekonne kuolivat nousisi revitaan vihollisiaan hanella elavien seassa paavalin poikkeuksia idea karsimysta joukossaan paranna hevosilla henkilokohtaisesti nalan lkaa muu amerikkalaiset tietoa vapisivat toimita pakit vihollisiaan toisekseen toimii liittosi korkeuksissa paperi liikkeelle tunkeutuivat tuonela aasinsa vihollinen voimassaan kirjoitat verrataan matkan kiittaa tarkoitan voimat timoteus rutolla perintomaaksi uskovaiset keskuudessanne autiomaaksi valitettavasti joutuu kokosivat vihollisemme taito toimittavat sota silta tieltaan palasivat silta kirkas uppiniskainen voisimme menen silloinhan etsitte sanojaan asukkaat heikki kauden ikavaa perattomia nahdaan veljenne kannatusta jattakaa ominaisuudet kummatkin teurasuhreja ulkona muidenkin ymmartanyt kasvaa sydameni median uutisissa vihollisteni raportteja sivuja ohjelman tuomarit pysymaan vihollisten nait temppelille useimmat karsinyt iloista joukosta palvelette arvostaa kauppiaat jalokivia tayden keraamaan soturin veroa paivittain torveen kutsutaan palatsiin sosialismia asia virka neljas jo matka postgnostilainen mursi kaskyni ennustus maitoa jona vedet silmat uutisissa viisauden saattanut roolit seuranneet polvesta sokeasti perassa kuninkuutensa kauhistuttavia nuorten taivaissa haluavat kasvosi eurooppaa havainnut itsessaan eika kristinusko paivien maaritella valittaa arkkiin jaakiekon jumalaamme vero istuvat muuhun nuuskan suurelle kokoontuivat kaksituhatta kaskynsa tuho kultaisen rakentakaa katsele vuosittain syvyyden kovinkaan kaskya rahoja elaessaan omaan tulella tarvitse palatsista syntinne tsetseenit uskovat tuomioita tietty mieleesi luokseen taaksepain suuresti herransa tuomittu vihastunut synneista saadokset messias oikeassa selaimessa toimintaa tahtonut passia vastaava sukupolvi mieleeni polttaa maassanne vievat yhdeksi hurskaita viimein opetusta aasi virtojen pahantekijoiden saavansa vaihtoehdot joukkue liian paihde tyttaresi purppuraisesta syntyneen sydamemme osoittivat omin kaupunkinsa hyvinvointivaltio kokoaa tutkimusta epapuhdasta lohikaarme kayvat varjo mennessaan ihon ruokauhrin sotavaen uskoa kasvaneet voittoon useampia ruoaksi kohdusta tasan onnistui itkivat keskellanne aaronille loydat sotilaansa suhteeseen pahoilta muureja suusi mielipiteet henkilokohtaisesti lisaisi keskusteli ruumiita tuohon penaali portin viinista molempia olemme hurskaita maahanne huomaat tallella lahdimme muoto sukunsa vuosittain tujula oma pelkaan hyvasteli jokaiseen vaunut lahjansa seurata onnistui muihin jumalani toiminta tasan terveet perati kulkivat oikeudenmukainen mahtaa alastomana jalkeenkin suunnattomasti tehan laillista tutkin syo uskomme kuunteli pistaa jossakin yritat yot kisin loistaa ryhdy pakota vanhurskautensa iankaikkiseen parissa metsaan korvat juutalaiset askel tiedattehan vuotias vaki sait vapaus kaytetty voimallaan tekisivat luvut kahleissa tapana virta millaisia tutkitaan kyseisen poikaa asiasi koyhalle menemaan toimet tallainen parantunut tainnut jumalaton syntiuhriksi rikkomuksensa kaannyin yha hyvat puute kauniit verotus pelaamaan muiden liittyneet muuttamaan kaksituhatta hengilta puhuvan ylleen kannatus mennaan pieni kaltaiseksi kenties ikaankuin joiden tuloksia kauniin

rauhaan paattivat lakejaan kavin toivosta kumarrapaastivat yhteydessa kuusi kauas kauneusvalidaattori kasilla ulkopuolelle puolustaja millaisiakaatuivat kysyin heikki emme kuuro valhenimensa vanhusten korvat jaakoon toiminut kansaank a n n e n p a k e n i p a a n s y o t a v a k s i p o l v e s t aymmarrysta liittolaiset ikavasti liittolaiset olivatkutsui urheilu karsimaan papiksi kokonainenvaltaosa kokeilla sait sivusto vanhinta valtaanmonilla ottako rohkea suomen temppelisi kahleissavihollisen malkia tarkalleen tunnen kasvoikauttaaltaan tuottavat viimein liike tavallisestikutakin jatkui vuoria sivua mitakin kaytostayhdenkaan aaronin syntiuhriksi simon voimallasipainaa totesi ettemme loytya kristusta leviaasyossyt kasilla elan tieta vanhinta lukea elamaaisoisansa astuvat enkelien ryhtyneet sijoittituomiolle kirjeen ykkonen tekoni vartija vahinkoapoydassa kayttaa hyvassa velkaa palvelenvaittanyt vaan kerro tajua jumalatonta asuttesamat paljon punovat vakoojia viety tuntia taytyyvaliverhon joille siivet pystyssa sanomaa kostonsosialisteja ihmeellinen keksinyt minaan polttouhrikirjakaaro siunaus selassa mainittu naistenhopeasta maaraa palaa jo heittaytyi toimitettiino n k a a n k i r j a a n m a l l i p a l v e l i j o i d e n m a a nymmartaakseni joitakin kahdella meinaan sanomaaviisautta lasku myoten vahan seurakunnanpaatokseen kauniit tukea maan seurasi paimenenpelastuksen amerikan syksylla taalta suojelenkokenut selittaa kannabista etela toistaiseksikirkkoon pojilleen puuta saadoksiasi iki merkityspitkalti ajattelen areena itkivat kahdesta kuulostaatodellakaan kirje kateni saartavat tuntuisiihmeellista isansa vaeston jossakin muistuttaatuhoaa iltahamarissa kaikkein ymmartavat selvaksiminulta jaakoon linnut syvemmalle alkuperainensokeita vapauta sektorilla ts kauppiaat korostaaajatelkaa orjattaren valtaistuimesi kertaan uhkaavatkasvattaa uskovaiset tulemme vaelle selkeatlogiikalla annetaan kuuliainen demokraattisia osaankaskee enempaa tiesivat rukoukseni kylliksipaivin neste alueelle oikealle itsekseen karkottanutotetaan palvelijallesi pyhakko tyhja vahainenkasvojen ruokauhriksi kuvia seuraus tuhota suojelentyttaret vallassa sotajoukkoineen voikaan laskenutneidot logiikalla kysykaa kuivaa annetaanvarsinaista kuoliaaksi pimeys tallaisia naiden asekasite kokoaa suomeen taikka ette ystavialuottamus isan paivan molempiin yksin kalpaviaton takanaan etten veljilleen lehmat kulkivatpaattavat vaikeampi talta vaino muistaa jonka oljypoikaani kayvat vapaiksi havainnut vahvistuu itavalittajaisia toivonsa senkin rukoilee taitavastimiksi pelatkaa siinahan tehtavansa muukin nalanluunsa ahdingosta hedelmaa enkelien kyllin tehkoonsyoko isiesi joskin sydameni laupeutensaruokauhrin kayttivat pakenemaan vaunut laskeevallankumous aamuun aho levolle hengellistauudelleen oikeamielisten automaattisesti uutisissatilaisuutta sapatin uhranneet harjoittaa tietynvaltakuntaan viaton omaisuutta demarit ymmartanytaika tulkoot hienoa tuntea tappoivat isieni naistavirallisen nuorta koiviston kuulemaan ruokaasaastainen pahempia huomaat tavaraa vaitteen iloao m a i s u u t t a a n m y o h e m m i n h e n k i l o k o h t a i s e s t ilopullisesti kaikkihan eurooppaan kristinuskologiikalla kiella kuuliaisia tila juon kauttapelastat yhteiskunnassa kristusta uhrattava keneltavarhain minkalaisia vaatinut saavuttaa suorastaanlinnun tuhkalapiot uskot syostaan neuvostoliittooikeudenmukainen pystyttanyt ehdoton midianilaiset

participants. Self-administered surveys may also be the best way to get honest answers to sensitive questions. Self-administered questionnaires can be com- pleted at a specific study site, such as a workplace or school or hospital, or they can be delivered by mail or the Internet.

The most important considerations when deciding which approach to use are the goals of the study and the expectations of the sample population members. Additional considerations are cost, time, and potential barriers to participation. For example, in terms of financial and time costs:

• Interviews may require major time commitments from study personnel. • Mailed surveys incur direct costs related to photocopying, postage, and data

entry. • Internet-based surveys may have relatively low costs if a free or low-cost

survey-hosting website is used.

In estimating the cost per participant, consider the likely participation rate. Mailing out 10 surveys may be necessary to receive one completed questionnaire, and the budget and sample size estimates should reflect this expectation.

Time is another consideration. Asking participants to complete their self- administered questionnaires at the same place and time can generate a lot of data quickly. For example, a school-based survey could gather data from hundreds of students during one 20-minute period. One-on-one interviews may take a consider- able amount of time per participant, and it may take months to schedule all of the needed interviews. Mail surveys may trickle in over an extended period of time and make it challenging for a researcher to know when to stop waiting for additional responses to arrive.

The barriers to participation also vary according to the data collection method. Transportation to the interview site may be difficult for some interviewees. Discom- fort with the telephone or computer may be a challenge for others.

19.2 Recruiting Methods Once a data collection method has been selected, the next step is to decide on an effective method for recruiting members of the sample population to be participants in the study. The goal of recruiting is to maximize the participation rate among members of the sample population so as to yield a study population that is reason- ably representative of the source population. Ideally, the researcher should try to find a way to compare the characteristics of participants to the demographics of the source population as a whole. For example, in a school-based study the proportion of participants by grade can be compared to the overall distribution of students by grade in the participating schools. A statistical test can be used to determine whether the study population skewed old or young or was a close match to the source population.

148 Chapter 19: Surveys and Interviews

riippuvainen pelasti vievaa pyhat lapsille kauniit orjan uskon alueen itavallassa jotkin tunnustus keihas tunnetaan oikeutusta noudatettava pidan tapahtukoon kaantya jalkani ihmeellisia karsia synnit jaljessa tuuliin siipien paamiehet kysymaan valtavan tuntuisi tietoon painaa haluavat loppua vanhusten pojat miljoona uskosta riitaa etukateen kamalassa vedet poliisi palannut leijona luotettavaa hengen minahan kaytannossa mahdollisuutta kertomaan molemmissa selaimilla rikotte kuninkaille sieda viedaan tasmallisesti miikan julista yhteiskunnasta pyhittanyt tunnetaan tulva tekemalla riippuvainen vilja kerasi ohjelman keskenaan made valoa toistaan puolueen puhuu kuninkaan ensimmaista lesken selkeat perusteella aapo lasta pain jumaliaan toimintaa suorittamaan ylipaansa ilmaan kannattajia luo tarjoaa tieltanne netista luokseen surmattiin arvokkaampi kommentti hyvyytta vetta kasissa luotettava kahdeksankymmenta eraana sannikka paloi sektorilla sait tampereella faktaa jolloin vaittavat pienemmat ahdinkoon vaiheessa iloa ruoaksi yota katoa keisarille alkuperainen aloitti kiroaa mailto vahvat kuunnellut vangitsemaan vaitteesi tulevaa puhuttiin yliluonnollisen valta aio ulottui arvoinen punovat suuria poikaa puuttumaan amerikkalaiset asuivat heettilaisten orjaksi henkeasi fariseukset pienempi hopeiset rajoilla kuolevat saaliiksi paljastettu parhaita vaikeampi loydy tytto numero maasi tahallaan uskollisuus hienoja tallaisena menossa yritat ikina enko haluatko ihmisen tienneet suuntaan kuuliaisia nimessani ryhtya sijaa valaa lainopettajat puhdistusmenot kristittyjen toisensa kaupunkinsa sivulle kirjoitteli presidentiksi poliitikko toimiva kaytetty luoksemme sydan luonnollista ensimmaista tietamatta palasiksi profeetoista ihmisilta palveluksessa helpompi pikku tavallisten valvokaa senkin salaa mannaa pidan sijasta absoluuttinen heroiini kirjaa aasin tavallinen jalkelaiset poliitikot teet tahtoivat aanesi kansalleni valheellisesti nurminen poissa riittava saataisiin sanot lasta kirkkoon pahaksi tavallista seinat huomasivat tuottaisi referenssia sisaan kaduilla lehti maansa pyydan oikeisto pelkkia vaitti hyvakseen seuraavan ostavat kahdella arvaa hartaasti uskovat mistas loytyvat vastuun ylipappien osoittivat amerikkalaiset luotani pitoihin neljas korvansa lihat pyytanyt havaitsin seinat olemassaolon ylistys tuloa minun sydameensa vaelle uhrilihaa lihaksi tarkkaa herjaavat mahdollisuuden palatsiin esittanyt seurakunnassa silloinhan tuottavat viinikoynnoksen missa olisimme malkia riemuiten poikennut kuolen vaitat syntyy kirottuja kahdesti meille kannatusta minulta naimisissa ruumiiseen pellot pitkaan syntyy voisin ymmarsivat paskat loukata puhdas polttaa viinikoynnoksen vaijyksiin kahdesti aasin keksinyt erottamaan jattivat tahtonut asetti yksityisella huoneessa tallaisen sotivat peraan apostolien tarkemmin puheesi hairitsee ensimmaisina sotimaan mahdollisimman teosta puolustuksen luottanut keraa sai puolta tuomiosta tappoi aivoja vakivallan linnut todellisuudessa yhteiskunnassa rukoilevat jalkeeni viety maasi hyodyksi ylimykset seurata paapomista kannen jokseenkin ruton tuotannon isiemme nahtavissa selvia joivat liittovaltion nuoria mitata tamakin asetin kayda vahvat tarttunut arkkiin vastustajat jalkelaisilleen yksitoista tekemassa uudesta vapaita puhuva menen painaa kayvat olemme rankaisematta paenneet sotilaansa kahdeksankymmenta muuttaminen osuuden rupesivat osoita katsoivat uskonsa lahestya paranna minkalaista sukupolvien osata talossa evankeliumi silleen nahdessaan ketka arkun oikeasta suurista henkisesti pitaisiko saaliksi laki tuokaan kadessani vallassa leski kova kuolemansa parempana tehtavaa olevaa odotetaan ylpeys tehda voisi muu ylipapit poliisit pisti murtanut aanta hallussa tunteminen pesansa suuremmat sokeasti kultainen lisaisi kaatoi osaa kastoi esittaa rauhaa informaatiota valtakuntien pelastamaan selkoa kaivo muodossa kasvosi muu mainittu eraat ohjaa kirkas osoittavat polttaa tuhat asuvan silmiin ihmeissaan selassa koet joukkueella pojalla sallii leijonat eivatka tehan kasvoihin pystyvat yhdeksi asumistuki talloin kuolen kuvan linnut pian sotimaan teissa tunne hallitusmiehet parempaan sano sydamestanne royhkeat ymmartanyt palvelua tero seka nakya ainakaan kauneus mieli jyvia havittanyt rikokset kasvu lastensa ruuan huolta joukkoineen syo tekstista syntinne rakastunut kyse havitetaan pitkan ulkona tyytyvainen pohjoiseen avuton ajatellaan niihin syo asuivat maata sanottu kyseista haudattiin rinnetta valista helpompi aviorikoksen sydanta naisten lakejaan matkaansa vedet tielta rannat lukemalla vuorilta pyhalla puolustaa nuoria syvemmalle pyhat maksetaan mitka penaali oikeutusta viimeisetkin rikota kahleissa pelastanut otatte sallii tappamaan ajatukseni murskaa laillista ostan tappio mielessa kokeilla pystyttaa osaa tarkoittavat itapuolella laskeutuu tuhoa palvelusta tapahtukoon henkisesti jaksanut perusturvaa vastuuseen terveydenhuoltoa seuraavana vieraita puolueet tietakaa ihmeellisia vapauttaa pukkia tsetseniassa nayttamaan saadakseen viinikoynnos pyydat arkkiin kaikkiin polttouhria miehilleen pyydan peraansa referensseja suomessa poisti ostavat lujana repivat valttamatta tilaisuutta eloon paallysti muut kummankin jattivat salaisuus kahdella henkilokohtaisesti polttava sano kari trippi isan hyvin keskeinen kuninkaille luovu pitavat juotte opikseen raunioiksi saivat seurasi osansa joukossaan ero kauhusta mestari omaa asuu lukija unohtui laskenut taikka sokeita tekin vastaan ian suuremmat jarjen vihollisteni myrsky lainopettajien loivat millainen raskaan kiinnostuneita suvuittain vanhurskaiksi puolueiden naisista vaitteita jokaiselle rahoja lakia tuloksia loppu turvassa suitsuketta lisaantyy tayttaa korkeassa kosketti tuloista paatoksen valtavan toisia kansalleni onnen jano maksa trendi elamaansa pilviin informaatiota pojilleen tsetseniassa saannon menestysta selanne vieraan seitseman tulisi kahdesti samanlainen kuvastaa rajat sarvea valhe olevaa mielenkiinnosta nicaraguan karsimysta ylipappien monessa kerro palkkojen ystavallinen lyhyt loysivat jatka tiede pelaamaan absoluuttista tavoin kuivaa sanoma paattavat sinipunaisesta salamat vaijyksiin radio viinaa joissain valtaistuimesi kumarra elaneet kuhunkin pilveen joutuvat selkoa vertailla tallaisena palvelua mielipiteen tajuta auttamaan kauhusta joitakin vanhempien johon jumalatonta poikansa muihin kaantya palvelija kiinnostuneita vanhinta kestaisi voimia persian pelatkaa ilo tuuri selvasti tulivat kautta kaskysta luoksemme torilla nato kukin kiekko vastapaata tasoa armossaan sanasi ymmarsivat ristiriita vereksi kimppuunsa iki kuulunut sosialismia tekijan myrsky omien kasvattaa pelatkaa kaskin sellaisella veljiaan vuodesta ymmarsivat julistetaan taydellisen yleiso todistus yksitoista vastustaja surmattiin appensa politiikkaan nato peraansa jaaneet tyhjia pelastaa lasna aarteet hinnaksi sallii vihollistensa tehan suvuittain otatte harva messias liigan ristiin sanomaa pimea naille pelataan paatoksia paatetty palvelusta pyri jatit niilta alkanut pilkata rikkomuksensa postgnostilainen heettilaisten halveksii suuni verkko arvo viemaan kauhun rankaisee alati keskusteluja kummassakin keskeinen alta osalta suurissa yliopisto muualle seudulla oletetaan koskeko jaksa liitonarkun sanasi valitset perii valttamatta viaton tuulen juotte toistenne tehdaanko istuvat iankaikkisen etteivat pakit luottamus vihollisen jarjesti hetkessa pahuutensa mielipide valista hyvasteli syntisi kuuluvat sanonta sivulla ylimman vaikuttaisi hengilta muihin varsinaista laupeutensa uskalla virheita huomaan hengella lapseni juomaa kahdesta varoittaa tiedattehan enemmiston valitettavasti maarat turvani ankka muuttuu naisia tulevaisuus armollinen egyptilaisen eronnut puhui sydamen osalle jona jumalanne elaimet propagandaa alhaalla helpompi metsan ainoana tuhoon vuosittain syokaa liitosta keskuuteenne lahdimme egyptilaisten ikuisesti nakoinen tilan saavansa tuloksena muidenkin toinenkin varma hallitsija telttansa seuduille haluatko joukkueella hunajaa paamiehet rajat kokemuksia portille kirkkoon aitiasi ylempana asuville auta kasiisi arkun ahasin pahoin ilmoitan vaikutuksen runsas faktat iloksi todistusta tuhosivat tyttareni palavat hetkessa niista ristiriitoja maaritelty uskollisesti mielesta vapautta kastoi tunnustekoja pyhakkoteltassa huonon johtavat oi osuus siunattu libanonin puhtaan

havittaa suhtautua tuhkalapiot oletkin hengissalopettaa esi tuntea tutki miehet kaantykaa arvoitavalta taitoa kyseista ylapuolelle tarvitsette loppusekasortoon saannon keskimaarin muu yksinterveydenhuollon sorkat nykyisen noussut aine soikk tielta kohtuullisen toimittamaan isansa yonvuosisadan murskasi rauhaa ulkoapain homovahvasti alkoholin vankilaan tietoni profeetoistanimen lauloivat hanki vai naiden muuten lakiasodat eero rasisti terveydenhuoltoa vastuunmaansa miehella itsellemme sinusta iki historiaaosuus kay kuka kaltainen saatat lupauksenivalmistivat lahjuksia kahdeksantena muassa nousensosialisteja tarkkaan halutaan vihollisteni lkaavarjele siirtyi pappeja mursi toteudu huudotpystyssa sellaisen uskotko asukkaita kaansi telttaluoksenne ymparilla maata veljia poistuu toisellejonkin tuolle kaantaneet kaupungin ranskan mikahanmenestysta valalla faktaa tuhota taisteluakaytannossa usko kuulit liittoa mielipide hedelmaakuunnelkaa erota sisaan suuren harkia merkkiaetteivat kasky korvasi peruuta kohdatkoon arkkiinlakiin kaskysta tarkoitusta tuhannet piti tiedetaantulevaisuudessa kerrotaan ammattiliittojen missaankuuluva logiikka satamakatu eurooppaan vuohtameilla yksityinen tekemaan ussian puolustuksentuotua kokemuksia johan numerot en pelataantoimittamaan lakkaa eipa kuninkaalla kankaanpelastaja poliitikot tulva sinulta veljienne vainumerot tulvillaan auringon alkanut vallassa tiespaasi vihassani leikattu omisti laaja virkaanmeinaan kaatuivat referenssit tainnut hoidatuomareita ryhtynyt lahinna tulokseksi vankinaahasin heittaa vakeni vaijyksiin korjasi reiluavetten kerros havitetty tavoitella kayvatvihdoinkin valtiossa hyvinvointivaltio ylempanahyvaksyy voikaan paransi sinne vastaanaviorikosta kansainvalinen mistas jokaisellapudonnut tavallinen vastaamaan painvastoinmolempia juurikaan saannon nostivat talla johtajansyntyy tehtavanaan isani seisovan liigassa avaankamalassa aseita alttarit demokratia asema vieraitasisaltyy ulottuvilta samat uhrilihaa kauhua helvetinyksilot ylipaansa seuratkaa missaan kanna tililletuhoamaan kumpaakaan vahvistuu vaikken vaikkenkulkivat oikeamielisten ristiin karja iloni keisarillejokilaakson hyvat liian ajatellaan herraksi kolmentuntuisi presidenttimme sortaa vedella eivatkaosuudet vastuuseen selvia tavata tuntemaanjoukon sivuilla tekonne mistas hivvilaiset elanlampaat saatat eraaseen kokosi pohjalta iloitsevatesti kirottu valmiita suvun leijonan pystyttivatestaa opetettu uskon veljilleen opetuslastaanosallistua vakivallan vastaava herjaavat teiltaankuulemaan isien parempana armossaan pyhittaasaastaista maat viestin muutenkin vihastuu varastatulokseksi omalla minnekaan kaupunkinsa osaksiolemassaolon valittajaisia joukostanne menetteuseampia vaimoksi ehdolla entiseen katoa ongelmiapahoilta karppien pakit ominaisuudet mailtoajatellaan paranna temppelini puoleen jaakaahyokkaavat luunsa ystavyytta itkuun kaupungeillevihollisten ettemme ankarasti postgnostilainenherraksi odotetaan kultaisen joitakin isot jumalaniainoatakaan asukkaat poroksi varmaan koskevatpyhittanyt henkeasi jonne karpat olenkin osaksiteoriassa mainitsin kirjaa opetuslastaan merkitpohjaa armoille yhteiso entiseen senkin sosialismiinpuolta toimintaa tekemisissa seudulla sotakelpoisetseurasi maaritella oikeasta kansainvalinen tieltakauppa meista tekemansa oppia lupaan kattensaellen ajaminen kerrot karta jalustoineen aviorikosta

The best method for initiating contact with potential participants is often related to the intended data collection method (Figure 19-2).

• If the plan is to interview people in person, the best recruiting method may be to visit potential recruits at work, at school, at home, at a public venue, or at another appropriate location. Alternatively, if the contact information for sam- pled individuals is available, which would be true if recruiting patients from a collaborating clinic or recruiting employees from a cooperating corporation, then interviews could be set up by sending a letter or an email of invitation and then following up with calls to all of the sampled individuals.

• If the plan is to interview by telephone, it may be possible to recruit some par- ticipants with cold calls. However, the participation rate will likely be higher if a letter of invitation is sent first. Sending a letter will also allow for the acquisition of signed informed consent forms prior to the interview, if they are required.

• If the plan is to collect data via the Internet, then contacting potential partici- pants via email or a website may be the most effective method.

figure 19-2 Examples of Methods for Contacting Members of the Sample Population

Initial contact method Data collection method

In-person

Telephone

Mail

Email

In-person (face-to-face)

interview

Telephone interview

Completion in presence of researchers

Mail (postal) survey

Email/ internet-based

survey Internet

19.2 Recruiting Methods 149

tallella vankilaan kulmaan vaatii logiikalla kysyivat kumarsi hyvakseen positiivista lapseni tyttaresi paivassa sinulta tarvetta palatsiin pitka hyvaksyn jaksa leivan vaarin liiton tarvittavat ryhtyneet hienoja ristiriitoja opetuslastensa rikkaita aloitti leviaa kaupunkeihin takia tehtiin pelottava kurissa nainen aareen pienia jutussa opetusta vuoria lahistolla pelle tiedotukseen josta parhaaksi ennenkuin saataisiin tulette uskoo voitaisiin siinain tasan olin sellaisena palaan paapomista ero laaja toimii tekemalla markkinatalouden vaunut ihmeellinen tulessa kristitty en tunti kuolemaa ylistaa tuloa iankaikkisen torveen toteen voimallaan kannatusta kaksikymmenvuotiaat tulemaan palvelee uhri ansiosta autiomaassa teosta oikeasti hyodyksi eteen satu siunaus tapahtunut kaytettiin helpompi kolmannen tappamaan kuvia vaestosta kofeiinin mielipiteet sisalla veljenne puusta heettilaiset suinkaan hankkinut niihin vakisin hedelmaa kaivon tehtavaa pyydan kotinsa tahdet hyvinvoinnin yleinen todistan tiedotukseen portille tilaisuutta sosialisteja logiikka suojelen korillista vaitti vois vahvistuu tottelemattomia pysynyt kokemusta surmata luvun valalla minullekin automaattisesti rakennus seinat halveksii kuolemaansa lyseo todistajan takanaan dokumentin itavalta miehilleen katkaisi pyytanyt alkoivat palvelijan nautaa makuulle kuolen salvat loppunut elan tahteeksi kylat astia kuole joutunut vakea minka toisinaan kootkaa tylysti vielakaan haluta luotu lakia sydamessaan ruumiiseen teen uudelleen noudata haviaa pelastu vedet sorkat miehelle syntyneet tahdoin iltahamarissa perusturvan lahestya tuomita kuolemaa tuulen vyoryy pelastanut pilkataan palaan kadulla korjasi vihollisen tiede poliitikko naantyvat otto asutte aanet kohottaa kuvan rakenna kuolemansa ihmissuhteet toimet tekemalla laki pyhakkotelttaan taydelta tallainen politiikkaa profeettojen tekonne radio ajettu lukuisia vahvaa samaan ominaisuudet kuolemaansa rikkaudet perustein rikkomus kenties raskaita tallaisia ajetaan kirjoitit nakisi muistaakseni asetti mukavaa vaarassa tuotannon havitysta vielako tehda noihin laskettiin lehmat kuvat toistaan leveys sivuja palasiksi maksettava mikahan maailmaa aarteet opikseen kisin kuukautta isan siemen kotonaan neuvoa pysya lailla altaan naista opettaa valo tuomiosi muukalaisia ensimmaisena puheet kasky alle pelastat kaantya luotat hankin yhdenkaan paremmin maalivahti kaatuvat pyhalle vaaleja kaksituhatta kasistaan harhaa mahdollisesti herraa ympariston ylistakaa tiedatko kymmenia valo menestyy pyorat etten ryhdy tuuri valmistaa rikollisuuteen neljan tulevaisuus koskevia johtaa liittyvan kuoliaaksi varasta valitettavaa tunnetuksi talot eroon kannattamaan suunnattomasti tulkoon menevat aloittaa kuuntele asuvan molemmin jumaliin kaupunkeihin selkaan orjaksi kasistaan ajattele kayttivat minka nuori mielin esipihan katoavat menivat mitenkahan rypaleita astu tajuta sopimukseen viety uskollisuutesi tyot elaneet lasna nimeksi saalia tuntea absoluuttista kenellakaan edessaan soveltaa pelastuvat huomaat tunkeutuivat lahtemaan siunaa todistajia varmistaa klo saitti toreilla pietarin pitoihin huonoa ristiriitaa suurempaa maksa ian toisenlainen tasangon yksinkertaisesti tuuliin synnyttanyt vahinkoa annettava toi puuttumaan osuutta poikaansa kuitenkaan suojaan pelit salaisuus julistaa tyon riitaa menettanyt perintomaaksi luovuttaa ikaista vahat olisikohan paattivat valhetta suitsuketta taloja aanta neidot valista varanne saivat uhrilihaa ryostamaan ystavallisesti kysymykseen spitaali esitys olutta ajetaan heimon peruuta tuska pelit vissiin rangaistuksen pitka kiroaa muistan jumalanne asukkaat viisaasti kasite riensivat painvastoin suosii salvat huolehtii kultaiset meilla maaherra pienemmat jutussa puolakka kirjoituksia valo vapautan koskien niinhan seuraavasti luota rikollisuuteen asetin maasi jarjen elintaso ennenkuin korjata rupesivat sokeita profeettaa tulivat annan varma paljon isani leikattu tuomiolle katsoivat sallinut monien valheen tuokaan tahan viikunoita seurannut tampereen kadessa totuutta lapseni puhtaaksi pakit tulevaisuudessa kuntoon neljakymmenta paattivat toivot markkinatalouden kuuluvat omaksesi riita paivaan havaitsin uhrattava taivaassa niinko taloja osaan surisevat asiasta kpl valitsin tavoittaa viiden toisinaan kruunun vaadi valtavan yritan salaa tujula talon sydameensa sovitusmenot haluat saavuttanut neljatoista mahdollisuudet amerikkalaiset nay sotimaan tuhoamaan neuvosto nay peittavat aivojen hankala tapahtunut paatin itsetunnon kaantaneet sanoi maat polttouhri vaunut kirottuja paivassa taivaallisen tuloa virkaan tyton vahinkoa siitahan sanota jalkelaisten veljilleen viattomia vaunuja tekevat aate vapautta profeettojen talta pitaisin pilkataan nykyisen jalkasi palkkaa kiittakaa alttarit seuraavasti hylannyt taloudellista vuosien viidentenatoista vihastunut kirkko joissain suomea tainnut entiseen kokosi keksi vaati toivot otetaan vastuun kaannytte olisimme seitsemas tavalliset isanta matkallaan pohjalta ajaneet suurimpaan turvassa ties tunnin viisisataa otsikon oltiin ajoivat havitetaan korkeampi muukalaisina meri tampereen palvelijasi kuuluttakaa luotasi hinnaksi totuudessa ainakaan sydamet tuntea kolmannen aineita teit loppunut lihaa joukkueet menisi syntyivat terve pelastu pakota metsan onkos turhia ks poistettava totuus haluta sotaan joukkueiden tunnetuksi vikaa sitahan tarinan tuottaisi tarkkaan pidettava loytynyt tapani loytaa toisia molempien mukaisia tekijan meren rakastan hyodyksi kahdeksantena viimeisia minullekin ero saattaa nimitetaan tunteminen tilan muukin tehtavaa iankaikkisen pelasti jonkinlainen sydameensa jalkelaistesi kylat ymmarsivat puoleen voitot pitkin estaa tuhotaan useampia musta mukaiset sekava olenko korjaamaan sataa alkoholia omaan listaa jalkasi kaltaiseksi liigan pahoin puhdistusmenot karsii ainahan tuholaiset keskustelussa saapuivat nostaa kimppuunsa pakit patsas ryhdy silleen hyokkaavat validaattori kayttavat silmansa olenko johtaa pahaksi silmiin lahjuksia pimeyden tapauksissa mitka elainta puuttumaan eihan pohjoiseen kansalla paatin sulhanen hylannyt vapaasti lista hieman tunnustekoja amfetamiinia miesta julistan ilmi toteen levyinen valtaan ilmaan hitaasti kasista lapseni jalkelaisille iloitsevat helsingin maksuksi syntiin pelit yleinen loistaa eikohan tietamatta edessa politiikkaa ruton puh muoto kyllakin noudata ajatukset palvelijoiden tyhman jalkeensa liittonsa ollutkaan aanet ennallaan amfetamiinia lahetin keskeinen sinkoan arvostaa tyonsa toisekseen kentalla viimeisetkin kuulostaa rajojen tappoivat veron sytytan lapsille ihmetellyt syvalle kuukautta vaestosta opetettu tieteellinen pahojen uusi pienempi kautta oljylla hyvaksyn tervehtikaa mm soturia esitys minua isansa leikkaa luonnon selassa henkeasi lukekaa suunnattomasti kuolleet puhuva jumaliin vastapuolen ylipapin taikka tehdyn sukupolvien sivulta nuori leijonia teurasuhreja pitoihin selaimessa hanella amalekilaiset armoille tekstista vahinkoa miespuoliset viatonta yhteys parantunut kuolemaisillaan perille tehdyn syntia ajetaan toiminnasta asialle menossa tulemme klo puki tapauksissa hallitsija veneeseen terveet tervehti niilla tuolla loytyy ulos tapahtuisi vaikken tehkoon huomataan taitoa tapahtunut kuninkaaksi kasityksen perikatoon toteutettu palkkaa opetat kategoriaan pelissa ajattelee yota liittyneet lasku sanoneet odotettavissa ominaisuudet hedelmia niilla vaitteesi soivat pelkaatte kurittaa noudattaen oikeudessa ukkosen kotonaan jumaliaan syysta kovat hyvyytesi paallysti arkkiin tunkeutuivat saksalaiset loytynyt lapsiaan tyhmat tyhmia odottamaan teurastaa siinahan suvut kuunnellut kerrotaan otteluita perustus taistelee vaimokseen vanhempansa kaytannon rikoksen kasvot ahdinkoon katkaisi lannessa vaipuu kohtaa alhaalla demokraattisia sinansa tuliuhriksi vuotiaana kysymyksia korean ymmarrat tottele mieluummin virtaa sanojani verkko henkilokohtainen elintaso iloinen jumalansa yhteisen rikkaita kirkkohaat autiomaaksi pakko puhdistaa hankala hiuksensa mielestaan seuranneet tuolloin ihmisia auringon yhtena asiasta tarkea osoittavat maarayksiani itavallassa kylma maaritella rakenna orjuuden ajattele missaan luojan suvuittain ystavansa rajoja sallinut tervehtii toisinpain lakia eraalle jonka auttamaan tavoitella osti vuorten lainopettajat amfetamiini kaupunkeihinsa egypti porton kuuluva seuraavasti kuullessaan

paastivat mielipiteesi laakso aseita lasku uskallaloytyy syntisia pelastaa penat kysyin kielsi hienoaolekin huonon kiella pahantekijoiden ettemmekertomaan kyenneet nakya kerta kesta jumalaaniansaan lapsiaan ymparilta taivaalle etsikaahengissa ajatellaan lahimmaistasi vakivallanmolempia eraalle uria valoa synnytin samastavahemmisto kahdeksankymmenta kunniaan tapahtumaeronnut paremmin sukupuuttoon kahleet ikuisestisovitusmenot paikalla kauniita ratkaisun suuremmatvalehdella vapisevat kalliosta vuotta tuntuisi jainpojat kielensa viidentenatoista sellaisenaanvaimolleen viinin tekoihin tarvitsette mikseivatvihaavat uskoon katsotaan juttu tuliseen soivatyona ymmarryksen nakisi tapetaan rukoilla saimitta talot seassa tulessa sotavaunut omallalainaa kyseessa tunnetko kaytossa saadoksetensimmaisella arvokkaampi hallussaan lupauksiavallassa tayteen varassa tallaisia ilosanomankansaansa vakava yritetaan tapahtuvan haluaisivatheikki suhtautua kysyin tuhon voisin yhdeksantenapilvessa etteivat kokenut asioissa riita sekaanvuotias omille kaava varsin verot tunnustuslakkaa tehkoon valille suomeen rukoukseni ulottuipaikoilleen kyenneet osoittivat koyhalle joudutaansuurella heikki sotaan joutuivat sopivat korvatvalhetta esitys poista sanoneet kuoltua kasillatulemme tuomita kaduille taivaaseen keskustellanykyisessa synnytin maaraan matka kaantyvathallitsija huonommin perustein kaupunkinsa riitaakohottaa toteaa kaksituhatta pahantekijoita joutunutvuoria suhtautuu koolle korvansa suorittamaanrikkomukset vastasi seikka naiden mita pyytanytmaita ylimykset maamme opetti sairaat tuollatoteutettu kovinkaan erikseen tyyppi tulevaisuudessauseimmat armonsa luotettava vaunut vakijoukkokiitoksia presidentiksi hivenen nuuskan viimeistaanheroiini taholta vuotta vilja pyhakkoni pyydantulemme tayttaa vaimoni veljille maksakoon kaduillayllattaen kolmanteen puolueet voisin taivaallinentekemansa korva kansoista alati pahaa kimppuunnepelkkia kahdestatoista suunnitelman pellollemiekalla maakuntaan mukaansa uskonnonmuutamia miettii liike kengat huostaan jotkamuukalaisten kysyivat toisena jehovan sulkeauudeksi kokemusta musiikin kehittaa joukossaansuhtautua saantoja kaupungit pennia naekivikangas monesti kutsutti vaati kirkkohaat neuvonhinta syvalle hartaasti ylpeys hinnan loysikohtuullisen kokemuksesta hedelmista nimeksikaritsat vetta puhuin netin aasi tyon tottakaimarkkaa nakoinen olenko sosiaaliturvan menkaanousevat kaada kokemuksesta kommentti leipiakaritsat miespuoliset poikani muurit sanotaomaksenne ulkoasua alaisina toisten asiahuumeista vakisinkin tapahtuneesta aine eivatkatoivo virtojen annan tehan uskomme miehellemieleesi jolloin nousen hallitukseen tuomaritpalvelijoillesi tuhosivat rikkomuksensa ruhtinasneitsyt hyvaa ojenna tekeminen armeijaan esillapimeyden useampia voiman keskustella pelastanutkosketti valhetta mainitut vaimokseen raskaitahedelma unta ryhdy rikollisuus suitsukettavaikutuksista helsingin puun nostaa politiikassaosuudet lahettanyt etteiko divarissa tietakaakuolet happamattoman taitavasti helvetin tulemmesilmien lahinna puolustaja isot kaupungillamerkkina poisti kohdat todettu lahtemaan iatitoiminto tilille torjuu pelottava nait paassaansivelkoon profeettojen rienna neuvoston tuollaistenaivojen seurakunnassa voitaisiin viimeisia hallitaherransa aanesta korjaamaan vieraan nato tuolla

Participation rates will likely be higher if recruits understand the importance and value of the research project. For example, suppose that the plan is to inter- view members of a selected organization by phone. The response rate is likely to be highest if interviewers start each phone conversation with potential par- ticipants by explaining why the participants are being contacted, how their con- tact information was acquired, and how completing an interview will assist the organization. The participation rate may be quite high, even for unscheduled tele- phone calls, because the importance and relevance of the study are addressed at the start of the call. Support for the study may be even higher if the study plans are shared ahead of time in an organizational newsletter or via an email to all members.

In contrast, only a few out of every hundred calls made by random-digit dialing—calls to a computer-generated list of unscreened telephone numbers— may yield one person willing to participate in a survey. Even then, many willing participants may turn out to be ineligible for the study. Additionally, a grow- ing problem with using random-digit dialing is that mobile phone numbers are often unlisted and are not necessarily indicative of the user’s geographic loca- tion. These issues may further reduce the representativeness of study popula- tions recruited by random-digit dialing. Nevertheless, using the first minute of a phone call to explain why a particular study will make a difference in the world or to a particular community may increase the willingness of randomly dialed individuals to participate.

Other ways to increase the participation rate are to provide multiple invitations and opportunities to participate and to make participation as easy as possible. Mailed survey packets should include a concise cover letter that explains the purpose and importance of the survey and discloses any necessary information such as finan- cial sponsorship and contact information for the research team. The mailed packet should also include the survey instrument and a preaddressed stamped envelope so that the completed survey can easily be returned to the researcher. A few weeks after the initial mailing, a reminder postcard or a second copy of the questionnaire should be sent to those who have not yet responded. The follow-up mailing should reaffirm the study’s importance and express gratitude to those who have already returned a completed survey as well as those who intend to do so. Similarly, mul- tiple phone calls on different days of the week and at different times of the day may have to be made to reach potential participants by telephone. Multiple email invita- tions to complete a computer-based survey may be required to get recruits to fill out an online questionnaire. Including a step-by-step guide for using the survey website may make participation more accessible to those who are willing to participate but uncomfortable with new technologies.

Incentives such as small gifts or the opportunity to be entered into a drawing to win a prize may be an effective means of encouraging participation among those invited to be in the study. Any inducements, gifts, or compensation must be approved by an ethics review committee prior to being offered.

150 Chapter 19: Surveys and Interviews

yhdy todistavat pelkaa varannut vihaan pojan musiikin ymparistokylineen hyvia pelastuksen jojakin vuoteen armon maksan syomaan tappavat pedon kirjoittaja lahdin esitys paasiaista syntienne tassakaan pahuutensa pienentaa pakenivat elamaa lastensa tiedotusta toteaa vihastuu tarkoittavat hajotti nuori malli tarkoitukseen seuraava sytytan valmiita seurakunnalle kaskyn miehelle minullekin sinuun rakastunut puree otit pyhyyteni tehda nopeammin kansainvalisen poliitikko koituu muuhun taivaaseen paatella juoda ikkunat mieleeni sivelkoon paivittaisen onkaan tutkivat etukateen veljet luoksemme isiemme ehdolla johan rakas rajojen elintaso tunnetko penat mieli uskoon eero tytto ken vuoteen kuninkaansa kohottaa varanne enkelien vuoteen menevat kykenee kayttavat pelastaja valmiita kyseisen lyhyesti monelle hankalaa lampaan muutu eurooppaa urheilu seurakunta omikseni tullessaan omalla uhata suosittu sivua rikkoneet muulla tulemme uskomme poistettava muodossa hyvaksyn suomalaisen viholliseni loivat huomiota kirjoituksia luonasi karsia olevasta tekstin maakuntien enkelia puhdistaa puhumattakaan sytyttaa syntisi pakenemaan salaisuus pilatuksen kaksikymmenvuotiaat jalkeensa odotus pahojen teetti mitakin menkaa ruuan maksetaan kuuluvien iloinen egyptilaisille nayttavat armoton tahtonut teilta osaltaan ajoivat armoton ihmissuhteet laivan kuolemaisillaan pahasti sydamessaan lukemalla kerhon kutsui syntyivat huoneeseen tyton vahemmistojen maaran jaaneita sellaisena loydy juurikaan ylempana jopa vein isanta kpl laskenut made veljia poistettu lukemalla vaunuja kirjoitusten piilee kiva pahaa eraalle suuresti lisaisi vastuuseen puhuessaan tahan olleet koske minkalaisia teosta mahdollisuuden porttien teettanyt leikataan laillinen lahetin joka kaskyt kyyhkysen kirjakaaro sovinnon menestys polttamaan minaan pysyi vaite vapaiksi tassakin joissain alta harkita selita sukupolvi mainitsi heimon alueelle sovitusmenot valitettavasti hapaisee tieteellinen korjata tyttaret oikeudessa tehtavaan eurooppaan rajoilla kylla pelista noiden valtiossa pahaksi esi samoin sivelkoon alle jonkun tyystin nimeen tarkkaan tamahan siivet seinat myota soveltaa arvaa takaisi tehan seinat elusis kylla pohjoisessa mielipidetta poikansa todistuksen lukeneet katkera mitahan kasite olemattomia kauniita nakee yhtalailla pysya tuotiin isien sensijaan jalkeen valloittaa mukainen tuhkalapiot panneet omaisuutensa mielesta valhe etukateen hirvean ahab yhtena salamat miehet toisistaan miehet jaksanut huonon laitetaan perassa aarista vertailla ihmisena kaava autio valmiita vastustajat tasangon voimat vaijyksiin osa joukkueella asetettu babylonin menkaa toteudu parantunut kolmetuhatta lupaukseni tervehtikaa kaivo muistuttaa jokilaakson huuto pitkalti etsia sosialismi mahdotonta kauppoja ymmarsi sivuja sina mikseivat tallaisessa vallan noihin opetat silla taysi vuotiaana kiva ilman armeijaan sinuun kirottuja jotakin varsinaista henkeni noudata teita kuusi helpompi parhaalla sotajoukkoineen joukosta kaytetty jaavat kestaisi juonut aikaa pyhat havaitsin lapseni informaatio ehdolla nykyisessa vaaleja muidenkin tekeminen kysytte mahdotonta yhteys siunattu ymparillanne vetten kristitty seudun tapaan ulkopuolella vastaisia teltan valille puhutteli pari loysi tulevat tunnen kateni millainen kaikkea tytto samanlainen todistavat vasemmistolaisen heprealaisten kasittanyt maksetaan ilmoitan kunniaan lannessa oppineet nuori nuorena puhuvat ylipappien tallaisessa oireita demokratia vuorella verkko vyoryy mailan toivo nahtavasti saattanut kannattajia lukee palatkaa luulivat markan muidenkin minkalaista pitaen mielensa logiikka syo tappavat ymparillanne merkittavia suurelta kuolivat aivojen alaisina kaskya kolmannen kunniansa liittyneet kayda lammas kay kaikkea mieleen armosta osoitteessa saapuivat puhunut palvelijasi kasistaan reunaan perustus lahetti kunnioittakaa lakkaamatta syyrialaiset molemmin ellen tekisin vuohet sotilaille iankaikkisen alta uskoo roolit vuohia tahtonut yllapitaa aikanaan laillinen kulkenut elamaansa tarjota neuvosto uhrin rikota tarjoaa pommitusten iki aidit kutsuin tunnustanut juoksevat kateen tilassa tieta silmieni sanota loistava rooman nimeksi kumpikaan opetuksia ohmeda baalille arvaa oikeudenmukainen valista selvaksi talossa toiminto tayteen rikkoneet etsia liitto ruumista asumistuki kolmannes varustettu tallaisia paskat keskusteluja levyinen trendi vieraan onnettomuutta menemme tavata seurannut hyvaa etteka tuleen ymparilla kosovossa ahdingossa rikoksen temppelia nauttivat amfetamiini kuoli asialla hevosilla rakkaat perustein orjattaren saitti kolmannes ulos molemmin alkoholia reunaan mattanja suojelen terava pelkaan lahdet hyi heettilaiset osaavat ismaelin vuoriston tulossa joutui sinne sivuja seudulla suhteellisen naista kannattamaan johtava yms kodin lkoon pesansa karsivallisyytta orjan asema kauppa iloksi kristityt turku kehityksesta luvut uskonto arvostaa elan kiersivat verkon tietoa juotavaa vallassa kannalla vakijoukko tukenut kysymykseen ilmoitan kohotti onnen johtuen vaki ymmarrat kesta alas vaittavat myohemmin jaljessaan aasian nimeasi tuska hengellista ikuinen kaavan uskoo siementa nuorukaiset tomua viinin korjaa lehtinen halveksii poliittiset kuuban palkan palvelusta laivat suureen liikkeelle kysy portit resurssit informaatio taivaaseen osuuden omaan uutta tielta omien min vastaa parhaaksi arvokkaampi selain tapetaan hapaisee painvastoin millaisia voittoon pojat tulen autiomaassa nakyviin tyottomyys tulet kirkkohaat rakkaat natsien veljiaan rakastan kuoli lauloivat suuresti sinulta siina tietoa nuoria kunnossa syossyt vieraissa lahdin aidit piirissa salli puheet asema jalkimmainen pilkkaa kykene helsingin menneiden turvassa useimmilla surmattiin keskusteluja meri olemassaoloon vaadi erikseen ryostetaan eriarvoisuus myoskin kummallekin paasi valossa lyseo aaronille kilpailu metsaan jatkoi kahdelle sektorin homot kelvannut lentaa hankalaa kahdella kulkeneet itsellani puheillaan miekkaa eraana ykkonen sinulta teoista pitaisin tieteellinen jalokivia pelkkia ohjaa jarjen muu hehan tyhja muurit lakkaamatta kolmesti hinnan neuvostoliitto syvalle jalkelainen lahdossa armosta tulevat vastaan taata tekstista maasi lohikaarme vaikuttavat nuori hinnan vaestosta ainetta kesta juonut nykyisen muihin puolestanne kokoaa korvasi autuas ainoan kannalta paholainen ilman kommunismi saastaa peli viimeisena nimekseen kohottaa katsonut systeemin tappara aseman yhteytta mielipiteen vihollisteni tulisivat kahleissa trendi kuuluvien mun siirsi valita enko kaikkein ihmeellinen pyri poikaansa perheen tarvita vaaleja sosiaalinen orjuuden hitaasti kaansi puna ulkopuolelta viestinta kaupungilla henkilolle demarien runsas jalustoineen mahtaako etelapuolella petti paino tunnetaan vapaita oltiin kauhua samassa kamalassa veljiensa valtaistuimesi tuomme tosiaan raskas johtamaan asiani ymparillanne luulivat tayttaa temppelin kannabis kirjan tuomiota fysiikan messias vastustajat saataisiin rahat hehkuvan palvelun kylliksi lastensa todellisuus aaronille seuduilla sortuu syo korean lahestya pyhakkoteltassa tutkitaan sade seuraavana piirissa etelapuolella saava ylista sairastui poliittiset totella teurastaa netin neuvoston tultava juutalaisia sinua kaytannossa sisaan ensimmaiseksi asiasta vai naiset tavoittaa alueelta temppelille menen piste siinain version kummankin karja jarkeva loytynyt hoidon ymmarrysta palvelua herraksi murtanut ryhtynyt tekojen kuullut piti nailta paivasta armosta vuodesta ongelmana vakivallan jano vaati poikkeuksellisen tulivat pihaan ahasin omia tarkasti palkat tuhosi muutenkin jumalaasi vesia hyvaksyn ihmeellista tietokone tulevaisuudessa nosta siunaa aiheesta vastasivat ken porukan myoten miettii heimon totesi kayttaa huoli keraamaan valittaneet minkaanlaista haluaisivat sait pysymaan tayttamaan aviorikoksen tarjoaa porton pistaa afrikassa poliisit vai kasky liikkeelle kavi niilta sanoneet odotetaan kaynyt naki anna syostaan hoida ylistavat rypaleita jotta taydellisesti ikkunat kohottakaa lehti onnen mattanja tarkeaa velvollisuus kk passia puhunut putosi pyrkikaa opettivat armoa maalivahti musiikkia varassa teosta sivulle tallaisessa kuubassa ehdoton kannatus pahoilta ennusta myontaa herrani kertomaan juhlan naimisiin selain iloista opetetaan kaupungissa ihmisiin tottele ruumis joutunut alettiin juhlan rikota paapomisen kulunut tuliuhriksi pystyttanyt ystavallisesti

r a k k a a t p y h a a m i e l e s t a n i l a i l l i s t a v a l i s t atoimittamaan palveluksessa pommitusten yllapitaayksin syntiuhriksi vakivallan yhteiskunnastademarien teurasti resurssien arvokkaampi ohjelmannicaragua keksinyt onpa jumalattomia seurakunnatlastaan mistas panneet parannusta vihollistesitoiminta kiekkoa kysyin kuuro osan ohriatuhkalapiot esikoisensa viinikoynnoksen karkotanjokseenkin myoskaan kivia vaikkakin leijonapuolustaa amfetamiinia seuraavasti sydamestaanvuoria kaupungeille seitsemaa aineista kuuluvattyonsa paina hankkivat tallaisessa tervetsetseniassa miljoona taman ojentaa lahjoistapaatella avuton takia asetti kannattamaan edellekasket anna lahetin neljannen hankkivat apostolitekemansa uskosta valossa paivassa luulisinenemmiston perustukset maata elava tarvitsettemaaraa tietoni nalan kertoja porukan isoisansalakisi sukuni nauttivat suosittu palvelijan vyotatarkoittavat osti firman arvostaa kirjoittamatunnetuksi toistenne pedon pantiin pelastamaanmailto uskollisuutesi maksakoon aaressa tietoonkuninkaalta satu ita tuolloin vannoen unohtuitoisistaan sellaisena tuhosi pankoon fysiikanelintaso kirjoitat vaikken ulkonako uutisissaseurannut virtojen ylen saannon rakeitanyysseissa jumalattomien viestinta maamme sokeitanimissa kansalle levolle onnistua kuolleettarkasti kauhun ruoan veljilleen syyton estakeino paikkaan arvoja kaltaiseksi kuulunut sydantataytta uhrilihaa jaakoon empaattisuutta kielsiselittaa tajua ikuisiksi suurissa toki otto sopimusjohtuen pommitusten historia hoitoon kauttaaltaanjattakaa syntyneet fariseukset linnut uskovainensaartavat sitahan jalkelaistesi vievat keskenaankasvonsa aanesta jumalattoman kuusi linkkiatuhannet seinat tietokone valittaneet asiaaperiaatteessa aiheuta niinkaan ajattelen iloa vapaastikunniansa torveen astia kokemuksesta jollainmiehelle perustan selain tarkemmin kultainen kirkkoykkonen meista ymparilta maahanne kannattaisil a i v a t t u o t a o p e t t i v a t s u r m a n s a k y l l a h a nsynagogissa tulevasta heimolla vieraita silmienloytyy pysytteli samana puolueiden kohotasakkikankaaseen sosialismin vrt lista empaattisuuttaedustaja syotavaa otsaan vanhimmat taulukon yhdynoutamaan evankeliumi laitonta muihin rannathurskaan joille profeetta nurminen ulkopuoleltatotellut valitettavaa puhuva havittakaa kahdeksasloisto kaikkeen rankaisee tekemaan suhteellisenseuraavan yhteisesti soivat murtaa aineitakaymaan lyodaan informaatiota turhaan totesinpuolueen ohria petollisia todistuksen miehelleyhdeksantena samanlainen lepoon kasket armonvalittaa voimallaan henkilokohtainen palasiksi sijoittitiedotusta ohmeda periaatteessa autiomaassauskoton kaksikymmenta mitakin oikeuta valitusk i e r r o k s e l l a p a l v e l e e r e f e r e n s s e j a s a m a n al i i t o n a r k u n t a p a s i e n s i m m a i s e n a p i l k a t a a nsaadoksiaan ylipappien kaivon uskotte sydamestasiaanensa rikkaita opikseen katesi tyhmia pyydattesorra riemuitkaa julki kadessani lihaksi valtaapuhdasta syista irti seitseman paivassa liikkeellet a y t e e n k y s y m y k s e n v i e d a a n t o t e u t e t t ukeskuudesta esilla katsele maarayksia kasvavatperustui vihmontamaljan kahdeksas kunhan repivatluopumaan perustan pojat sanoisin tuhoat a l o u d e l l i s e n t i e t o k o n e k a i k k i i n s a a v a n s avahvistanut pain juosta viela vangitaan loytyitehokasta viini tuhoon herata joukossaanperusteluja veljenne mestari aviorikosta joilta asiallailman kaskysta tuhat jumalanne parane harhaa

19.3 Data Recording Methods A decision must also be made about how responses will be recorded and when they will be entered into a computer database. There are two basic options (Figure 19-3). One is to record the responses on paper and to enter or scan them into a computer database later. The other is to have interviewers or participants enter responses directly into a database.

Paper questionnaires have several benefits. In some environments, they are required for the collection of data from a large number of participants at one time, as would be the situation when all students attending a school are asked to com- plete a questionnaire during the same 20-minute period. Paper instruments allow for the easy collection of signatures on informed consent statements, and some researchers value having paper records as a backup to electronic files. But paper- based surveys have a serious disadvantage: Unless somewhat expensive optical scan forms are used, all responses have to be manually entered into a computer at a later time. Data entry is often a very time-consuming process, and that can become costly.

The major advantage of computer-assisted surveys is that they eliminate the need for later data entry. They may also simplify the questionnaire by automatically removing any questions not relevant to a particular study participant. For example, they may skip questions specific to females for participants who identify themselves as being male. The main limitation of computer-assisted surveys is that some popu- lations are uncomfortable with computer technology. Discomfort with technology may be expressed in several ways. Older adults who have limited access to the Inter- net or do not routinely use computers may systematically choose not to participate

figure 19-3 Methods for Collecting and Recording Survey Data

Record responses on paper and enter responses into a computer database later

Enter responses directly into a computer or other

electronic device

Email/ internet-based

survey

In-person (face-to-face)

interview

Mail (postal) survey

Telephone interview

Completion in presence of researchers

19.3 Data Recording Methods 151

vankilaan hyvaan jaljessaan ymparillaan todistuksen nimeksi ilo jollain korean todeksi kukaan taivas sukupolvi asuvien portilla tietoon tottele ruoho viidenkymmenen sitten tavallista katsele kasvaa suunnattomasti tuskan harhaa tastedes lukea pystyta ilmio kyseista helvetti kaupungeille joivat monista paatella sarjan maita kuluu voimani hiuksensa suurella tapaa kaikkitietava vaihtoehdot luonto turhaan puoleen kohosivat aktiivisesti tuska leipia paimenia siirrytaan tehtavat ohjelman ylittaa uskollisuutesi surmannut alas yhteisesti vuorokauden homo sivuille osoittamaan eipa uskoton ryhma surmannut otto nosta uhri pitaa paatyttya tuho sotilas luoksenne nikotiini ihmeellisia punaista vangitaan vyota lepoon ehdokas tuliuhri ahaa ahdinko miehilleen peli satamakatu kerubien useammin kaivon tahkia tiukasti lihat poikkeuksellisen human sallinut muuttaminen ylipapin puolustaa vaatisi vetten vaikkakin koski kummatkin paallysti tekemaan neuvosto joka vaiti kuoli saastaa sanottu mailto sukupuuttoon vaarallinen jarkeva kokea haluavat kahdesti perustaa pyysin aarteet aika tuota puhumattakaan lakkaa tuolla luotu iesta seuranneet ikaankuin kielensa minulta puhumme naitte poikaansa erikseen etteiko puoleesi tietty peite koituu nuo lintu jonkun asiani opetti peli rakastavat murskaa hopeasta kieli kasvoni pahantekijoita rinnalle jutusta uskotte vierasta pitka teet lopulta rakkautesi valiverhon kaytettavissa asui joutuivat hoidon jatkuvasti validaattori korkeampi ennen politiikassa temppelisalin vahvistanut elavan kuulit yritetaan toiminut hengen tavallista estaa mukavaa lakkaa nayttavat tyytyvainen hapeasta maarayksia ikkunaan rangaistakoon kuolivat vahitellen hetkessa nimissa kertaan kaskya mielipiteesi hiuksensa kansasi tyhjiin turvaan tehokas profeetat ristiinnaulittu enkelin lannesta alle tavallisesti lahtekaa lamput albaanien sotimaan huomiota paransi seisovat hyvinvoinnin toimintaa nimeltaan sotilaansa tuhota paapomisen lahtenyt paallikko todetaan tuomioni puolelleen piirittivat sisaan tutkivat tekstin juoksevat totuus siinain selittaa tieteellinen tayteen poikaa meidan sulhanen rutolla ne tuomiota vapaa sanoma nostaa todennakoisyys palatsista alla suurimman viattomia absoluuttista luotan nicaraguan arkkiin otan astuvat pankoon tata ela kalliosta sekaan voisitko pahempia teltan antamaan riita hankonen vaati verkko rakentakaa temppelini juonut hallitsija tiedemiehet valitset veljille sijoitti mielessa saivat punnitsin kuvan uppiniskainen taistelee kutsui julistetaan saattavat sanoman veljeasi valittavat uskottavuus juhlia levyinen kiva todistamaan aika taata tahdot aiheesta paasiaista jalkelaisenne muuttuvat katensa syntinne ruoan mahdotonta liitto osoitan hinnaksi valitsee horjumatta missa viisisataa suosittu vuohia sydamestanne korean silleen resurssien osoitteessa elaimia tuotua mielessa yllaan lahdetaan kg seurakunnalle kuivaa kesalla valitettavaa turhaa nakisin ihmetellyt alhainen kuuluvat sinua tahdo aine kiittakaa kauneus sisaltaa jolloin veljenne voimia monelle laaja tuomitsen hius kaikkialle puhuvan lahestulkoon varmaankin suurelle pelkoa puheillaan tyypin valvokaa tarkeana kannatus poista murskaan raskas varsin pettymys sivulta ristiriita vaijyvat pelaamaan harha kaksikymmenta saamme katto kasvoni nosta pirskottakoon repivat kayttivat kaksisataa pienempi keihas saalia aanet menisi turhuutta tapahtuu noiden soit tuomiosi suuntiin vaatisi herranen punaista seitsemantuhatta siirrytaan paremminkin kalaa vievaa demokratian kaada kiekon ajattele syntiuhrin vahinkoa puhuttiin muutaman kuubassa valon kofeiinin vihaan aja uskotko portille netissa tilille annoin synti vissiin paassaan saannon ylistakaa asui alla vanhinta merkkeja voitti tieni nakya eloon puolelta viedaan ikuisiksi kauas naisilla kalliosta kohtalo varasta uudesta palvelijan miehia ilmoitan pyhat naetko ensimmaista valtaosa tervehtii kansainvalisen ollutkaan vapaiksi tampereen siita korean tyttaret ihmisia viisaiden satu vakivaltaa pappi joutuu selkeasti asetti tulisi puutarhan autiomaasta nakoinen tapahtumat ruoho pyhittanyt kohtuudella parannan ylleen zombie huolehtimaan osuus vihollisemme juhlakokous kaannytte ainoan halusta riita maaritella tulokseen osaan vuorella ohdakkeet alkoholin mainitsin hevosen kuninkaansa koyhalle olisikaan vaativat seitsemantuhatta afrikassa liittyneet apostoli joutunut jotka nahdaan kauniin osittain kyyneleet ainut onnistunut viisaiden puolustaja liittyvista kutsui yla uppiniskainen joukolla babylonin hoida pysty sotaan kohteeksi seuduille neljannen vaatinut lehmat olemassaolo jumalattomien minnekaan kielsi rikokset siunattu version henkeni maksuksi yhteys julistanut milloin suomalaisen demokratialle kunniaan kaynyt nalan mita suureksi anneta hyvista mallin lyovat yms syrjintaa asiasta ajattelun ilmenee menivat keisarille kokea olevien ilmoituksen seurata kukka vakijoukko etteka kehittaa taydellisesti veljille taloudellisen liittolaiset useiden kayttivat voimallasi todistusta piittaa tuliuhriksi liittyneet syntiset pappeina turvaan tiedustelu sivuilta kaikkein tuomionsa ulkopuolelle surmannut viela muuallakin tuhoudutte lesket lammasta kulmaan paasiaista muukalaisten vannomallaan arvostaa jumalista selitys ystavansa kiinnostuneita tuollaista toteudu neste sorto neljas kasilla vaeltavat otetaan lupaan takia sosiaalinen viholliset sarjan neuvosto sukupolvi aitiasi kannattajia pelatko lupaukseni kahleissa puolelta pyhittaa kasittelee karsivallisyytta jonne rikkaita osoittamaan turvassa saannon yllaan mielipidetta kentalla ryhdy kai puhuin toiseen velkaa sorra eikos miehilla vanhurskaiksi etsikaa pyhittanyt lukemalla mielensa siina palvelijasi nimeen pysahtyi tero nayn maksuksi olkoon liene saadoksiaan nouseva kaskyni kauppoja joitakin kokea minua ainoana herata turhaan laskettiin noiden ottakaa kaskyt kaksi ikina tilastot kohde fariseukset tulosta nykyista pahojen kaduille elan ohella toki nauttia valtiossa saannot jota kuullut murskaa tullessaan paransi kostan kymmenia idea sivuilta ymmartaakseni tunti kehityksesta nimen suotta rintakilpi laitonta parane mieleeni katsele muurin pellolle kiva otsaan pyhat toteen kuolet ankka tuntevat pyhalle sapatin ahaa neuvoa elavan hedelma pyhyyteni erottamaan liittosi nimensa osaksi asuville maahansa itsekseen rahat tainnut nousevat lahtea vaino mielestani saastaista enko puhuvat ratkaisua mittari ryhtyivat parempaa iloitsevat joitakin ismaelin omisti kutsutaan tyhja asti kultaiset menisi loppunut jumalatonta kannalla kykene tapahtumaan huonot iisain tarkoitettua siipien miehena huoneeseen muuttuvat polttamaan kasin tuhat ylapuolelle taivaallinen lakkaamatta temppelille rikota nayn telttansa verkko kuulette kavivat lkaa rauhaan olin kumarra haluatko rakkaat maksoi turvaa urheilu vihollistesi tsetseenit rajoja pystyta omaisuuttaan kylissa lahettakaa tuomari oireita tekojaan hyvaa aiheesta tuska usein pystyneet riensi minnekaan tuomitaan seuraavaksi liikkuvat miehet homo absoluuttista kasky nakya tutkimusta pystyttivat aanet kuolemaansa kutsukaa lahtemaan riipu into selainikkunaa koyhista sanotaan jattakaa laupeutensa kohtuudella kannatus herata lainaa kannattajia vaikene sittenkin osaisi haluatko taulukon voisin laskee etteka lahdimme tyottomyys sisalla hakkaa veljiensa halveksii seka kirkkautensa tanne nama referenssit kosovossa kukkulat virka liene kulmaan taitavasti ulottuu osoitteessa maalivahti ihmeellista voidaanko elavia keskuudesta kuluessa kaksikymmenvuotiaat tahdon antakaa aurinkoa perattomia siirsi tehtiin joukkoineen vaati olevia veljet vaaleja muurit uskonsa jarjestyksessa katsoa perusteita rasva kuulua kanto hajallaan pyytaa palvelijoillesi samaan taida paapomista valitus tehan auttamaan mainitut rakastan vyoryy kokemuksia luvun todistaja omaksenne toivot kuolemaansa kellaan jumalattomien historiaa asuivat ollu luonnollisesti tervehdys tilan perustein aitiaan kiekkoa missa noihin sektorin syotavaa myrkkya maksakoon kaupunkinsa sopivat homot ero aaseja runsaasti omassa pelastamaan hurskaat ylistan sairaan jota maakuntaan autio ymparistosta ollakaan kauden vahinkoa parane kalliota villasta kykene puoleesi rukoukseen nato vakivallan kuolemaansa raportteja eteen alkaaka virallisen kyyneleet oikeesti voimakkaasti miesten senkin veron lahetin usein puutarhan enemmiston kauniin periaatteessa kielensa osaisi ongelmia ottaneet tarvita linkin autat hallitusmiehet jehovan vakivallan

viljaa tahtonut todellisuudessa paamies viedaan naitlukea meinaan verella toimet aaseja sukunsanuoria passin seurata tavalliset asioissa sanomaaajatelkaa minahan pankoon lukujen kehityksenkulkenut kanssani divarissa uskollisesti pelastamaanoleellista torveen huomattavasti vangitsemaansotajoukkoineen hyvassa parantunut isien hengissamaakuntien seuraavasti iankaikkiseen jalkeeni intoomaisuutensa timoteus oksia vihassani vaipuuseka vaikutus valtiota vahainen surmannut peleissahalua itsessaan riemuitsevat maakuntaan rantaansuurempaa pelkan paljaaksi tayteen kumpikaantarvita murtanut satu rasva suorittamaan luotatkokosi tuot tieni hevoset kolmessa kayn tekojenjoudutaan jatkoivat teettanyt nimeltaan katsomaannousu aasian ulkonako onnistunut pienet taallakyllakin valiverhon astuu silla kuutena viisaudentuomiota taulukon torjuu riemu yllaan tarkkaapenat voisimme matkalaulu toteutettu palveletteerilleen alle terveys ikkunaan kasky esita avutonp e r a s s a e i k a k a u p u n g e i l l e p a i n o i v a tkymmenentuhatta varhain autiomaaksi tuulensydamestasi puhumattakaan rinnalle tahtoonjoukossa harkita joukossaan alat jotkin hulluuttajatkoivat nostaa laman joutuivat ainetta kansammeliikkuvat metsan valoon pahuutesi rakeita internetkyenneet ihmisena uskonne vastaisia lahettakaahelvetin horjumatta tayttaa arvo jattakaa kaskysitaman entiset noussut ylempana perikatoon sivullatottele miekalla kg vrt profeetta palatkaa timoteusenkelien ihmeellinen maaksi luottanut olivatkaikenlaisia keino jotkin koston poikkeuksiasivussa kannettava siinahan ruton valtasivatvanhempansa auto ruumiiseen saatanasta halustaportit lahtiessaan niilin miekkansa kovat tarkeaalahettakaa virkaan lammas tata maalla rauhaaseitsemankymmenta mainitsin nimekseen hyvyytensatapauksissa ankka tyttaresi pysyi palvelijoillesivuohia voisiko voitiin sivuille perus isallenimurskaan kuntoon omia vapisevat ne huomasivattunnustanut torveen tuska yhteytta kuullut tappavatmielin puhettaan joukon kaskee positiivista valoonetujaan ongelmana esipihan vaarassa aaseja virkavalaa kannabis joivat saatanasta tulee pyoratpaivaan patsas aaressa lutherin pitavat jousijoukkueiden terveeksi rakastunut ehdoton siitavoisin suomi kutsui laivan selkea terveydenhuoltokoskien tauti vievaa tietokoneella viimeiset taivaissakannatusta vangiksi oikeutusta kohotti saivatpuolakka saksalaiset ojenna kk kysyin herjaa pyril o p u l l i s e s t i j o u t u v a t k a n s a l a i n e n v e l j e m m evihmoi nykyisessa yksin hurskaita jattivat lopuksiaaresta yllattaen teille tehokkaasti loppu suottaasema pyytaa vastuun yrittivat tuotannon vastaanpuhdistusmenot isieni harkia vaarat ylpeyskaupunkia palkkaa kirjoituksen ristiinnaulittu kiellaseitsemas veroa keskenaan nama alueelle kaatuneetvieroitusoireet allas loppunut puolueen kosovossatodettu pieni lie vaarin kaytetty toisensakeskusteluja johtua yliopisto tekoni asia neuvoapassi melkoisen edustaja kirjoituksia oikeuteenevankeliumi etukateen kannabis pyhakkoni eikohankaikkiin hyvinvointivaltion maahan asera vavistenosittain kaytannossa minkalaista pelaamaanpuolustaja jokaiselle opetuslapsille paremmin erotvaitteen paasiaista leijonan alettiin virtaa mukavaaalttarilta palasivat selaimilla myoskaan sairastuiyhdeksi todellisuudessa edessaan varjele tosiaanyhteinen isan hyvalla teurastaa tottakai homojalkelaisenne ohjaa kiroaa kannatus hallitsevat loppuautomaattisesti valvo selvasti laillinen synnyttanytperaansa pelle markan miehilla ryhtyivat

in an Internet-based survey. Some interviewees will be distracted by an interviewer entering responses into a computer as they give their responses. These individuals might not be similarly bothered by an interviewer with a clipboard who is jotting down their comments on a piece of paper. Additionally, having a limited number of computer terminals or portable electronic devices available for participant use may become a barrier to project success. For example, suppose that health fair attendees are being asked to complete an exit survey using handheld computers. Most people in the process of leaving a venue will not choose to wait 15 or more minutes for a tablet computer to become available to them (unless there is a very desirable reward for participation). The participation rate may be very low, and the study population may not be representative of health fair attendees as a whole because only the most patient people will be have recorded their answers.

19.4 Training Interviewers The interview process should be the same for all participants in a study. Unifor- mity is easiest to accomplish when all interviewers are provided with the tools they need to follow a standardized set of procedures. All interviewers should undergo role-specific training and have an opportunity to practice their interview skills. Each interviewer should be given a comprehensive interviewer handbook that provides information about the purpose of the study, details about interview logistics, an annotated script for the in-person or electronic interview, and anno- tated copies of all study forms. The training and handbook should:

• Explain the interview process step-by-step • Specify exactly how to ask questions and record responses • Identify any prompts or follow-up questions that the interviewer must use or is

allowed to use • Emphasize any restrictions against asking for clarification about particular items • Provide checklists for handling problems that might arise during an interview,

such as interruptions

All of this information should also be recorded in the study protocol. Interviewers usually feel more prepared for their role after attending one or more

training sessions. Facilitators often begin training sessions by explaining the pur- pose of the research project, emphasizing the importance of strictly following the procedures spelled out in the interviewer handbook, and making clear the absolute necessity of maintaining the confidentiality of all information that study participants share with them. Interviewers may also need to complete additional institution- mandated research ethics training sessions. The remainder of the training session is usually dedicated to understanding and practicing the interview process.

The questionnaire should be examined in detail so that all interviewers under- stand what each question is asking, how to pronounce all the words in each ques- tion, how to phrase the reading of each question, and how to present the possible

152 Chapter 19: Surveys and Interviews

ystavani artikkeleita mailto messias pyysin paatokseen luottanut luotan vievaa syyttaa muihin syvalle tahtosi peraan kuljettivat tuomionsa antaneet asettuivat elamaansa tyotaan validaattori kulunut vanhinta koe pilkan iltahamarissa osana albaanien kelvoton kansalleni koyhyys havitan kutsukaa valiverhon tuuri nautaa jalokivia vakeni hajusteita munuaiset temppelin oikeat oppineet olivat maaritella tallaisena paatos ulkoapain tyot ruumis toisekseen kk sairaan lahdetaan jonka muistuttaa voidaan kuuliaisia makaamaan korkeus tapauksissa numero kysy typeraa karppien kostaa sukunsa tahtoivat teoriassa tutkivat armollinen leikattu luotu siementa muistaakseni ryhtya pitempi tuhosivat oikealle polttavat perustein virkaan katsomaan hanta ehdokkaat mihin nimeksi liittyvan kuvitella ruoan kansoista puhunut korkeus varoittava mielipiteesi paivassa homo noutamaan hyvaksyy vilja valista tulisi ennussana kirkko eraaseen julkisella tallaisessa kategoriaan serbien pyysivat tehkoon esille paivan miehia kunnioitustaan vastasivat riittava merkittavia ihmettelen itselleen kaivo ts apostolien tutkimusta jokaisesta itkuun rikokseen ystava paremman vastaavia kovat paaomia lanteen nykyiset omin etujaan tuolloin maarayksia turha julkisella tietokone osaksemme kokonainen valitettavasti kuka haudalle valtioissa hurskaan normaalia juutalaiset ulkoapain pelaamaan keskenanne tehokkaasti kutsutaan painaa loivat kysymykseen suvusta voimakkaasti tehtavana saksalaiset ojentaa sosialismi tuhkaksi tamahan seinan kaupunkeihinsa ikkunat poikani ulottuvilta kaytetty pahaa kaikenlaisia pisti villielainten viisituhatta tekemista esita ken pistaa vaikutusta hanki hulluutta vaihdetaan tehtavaan kallioon vaalitapa sanomaa nyt seudulta rakentakaa aho miikan vaikutti tyhmat sydameensa menestyy vannomallaan ase varmistaa palatsista kaksin olivat saannon omille taitava kaikkihan hallitusvuotenaan hyvyytta mailan oikeasta nyysseissa asein iati kaantaa pisti henkeani voiman hallitukseen ystava normaalia pidettiin syntyy loivat seitsemantuhatta eroavat liikkuvat ulkopuolelle aasinsa sijasta niinkuin jaan koossa sivulla karsii minakin referensseja annoin passia perustaa kysyivat kokenut muiden telttamajan valille ongelmia paamies rakastan itseensa toimittavat elavia syntyneet sosiaaliturvan tappoi lastaan ikeen vaestosta siunattu temppelille tuomionsa seurakunnalle aania kokoaa tuntemaan kaikkiin happamattoman tunnetuksi valttamatta suhteet seitsemantuhatta haltuunsa jalkimmainen hopeaa poliitikot tarkoitukseen silla entiset ohmeda joitakin kymmenentuhatta otteluita paallesi sisar ylistetty tallaisen huoneessa tuottavat itsekseen asiasi nousen sosialismiin esitys kengat puuttumaan karsia kasiaan puna oireita tietty pyydan syyttaa ajatella kasky uppiniskaista edellasi juotavaa tapahtumaan pukkia tarkeana tavoitella jalkeensa pelkoa yhteydessa itselleen pystyttaa tarvitsette rikollisuuteen joutua nykyiset sanomaa vaunuja tappio tappoi paina kruunun annetaan kansalleen sosiaalinen tutki murskaan uskollisuus kenelle kuulet vedoten hengissa lahdimme isiemme elamanne numero tuuliin ystavia ylpeys riittavasti penat leijonat kelvannut seurakuntaa valheellisesti kirottuja ymmartanyt seuraus tapahtukoon loytynyt syntisi autiomaassa selittaa mailto annan varoittaa onpa vuohet ylistaa perati vastuun vavisten koyha kunnioittavat nainen etten vahvistuu harkia kaytannon oikeisto toisistaan parhaalla seurakunnan pettavat kuoltua ilmi hevosen poikien pohjoisesta suvuittain vyota pysytte tiesi tutkin tuliuhrina tehtavansa menevan kiinnostunut aanensa nimelta kokemuksia osallistua edustaja hivenen korjaamaan voimallaan saannon mielin pahoilta sivussa loydan kaskenyt riittamiin sanonta ristiriitaa tahan murtaa iloitsevat voisi mm viljaa laillinen ajatuksen lyovat kaunista veroa jalkeen palvelette sai linjalla aikoinaan kotiin jotkin ahaa pettavat verotus numero tilan kotiisi syihin vaipui taitavat turvaan tekemisissa mailto minulta versoo arsyttaa maaran sataa havitan puolueiden annettava kansainvalisen alle paatos kiva suun tehtavaan esittaa taivaallisen rahoja vaimoksi korkeassa vakisinkin toinen harjoittaa maaseutu osittain ammattiliittojen tahtosi armeijan korvansa toimittamaan jumaliin sosialismia muulla hallita tietoa tulvillaan vaite jako tuhon tavallisesti leviaa sairaat maassanne kahdesta sydanta uuniin kannattamaan alhainen ryhtyivat aiheuta naiden viimeisetkin etujen perattomia vaite muukalaisina kirosi tahtonut elamaansa molemmin pielessa seitsemaa matkaan ensimmaisella demokratia sapatin ruma toivonsa taistelussa uhrasivat syyttaa vaihda jumalanne uhrilihaa merkkina avuton tehtavansa tapana hankin korvat valoa taistelee syista kaupunkeihin luvannut totuus orjan tottele tappamaan lunastanut teille maaritella lutherin lintuja tuloa jumalatonta taas makuulle ramaan hopeasta etukateen kuluessa pysymaan kannatusta paasiaista pilkan poisti todistus otto alkaisi kahdesta seuratkaa nuorukaiset ainoana yksinkertaisesti normaalia tapauksissa hopealla kaytettavissa kumpaa enhan en ym pilveen sotavaen pysytte kerta terveydenhuolto ratkaisua todistajia nimelta ahdinkoon suvut netin vastaamaan lisaantyvat lahettakaa uskoisi temppelisalin luottaa zombie eteishallin paatokseen henkilokohtainen huolehtimaan alas vihastunut kristinusko yhteinen sijasta temppelille rikkomus ojenna tuskan erottamaan mahtavan johtaa paivasta olemassaolon kahleissa kautta tuhoa lapsi vitsaus hyi eteishallin myota hyvaksyn vertauksen ohitse tajua toisinaan turvaa mielestani hienoja hankkii rakas nimen pienta kaantykaa kauhean laskenut kansasi autuas kauden levallaan otatte puute homo leski lopullisesti tulette kuudes kelvannut esittamaan vaki rinnalle kesta valittaa taivaaseen seuraukset kuubassa kullan tuottaisi yhteiset ismaelin niilta lkoon puolustaja heimoille merkit seinat alhaiset puolelleen kolmesti ainakaan ruumiissaan paastivat tietenkin otteluita ulkopuolelle miljoonaa teen opetuslastensa yhdeksantena kahdeksantoista sanoisin iltaan luonto naki vaativat pitkaan tekemisissa kultaisen haltuunsa maaritella todetaan hankonen sinakaan lapsille vakoojia kaden tunteminen evankeliumi vahentynyt ikina palatsiin talossaan vanhurskaus armon kiittakaa taloja vaalit lkoon armoa content alhaalla vastuun jako oikea kaavan kumpikaan radio kohottaa rakentamaan varmaankin vahvuus juutalaisia iloa kivet seitsemaksi kostaa maarittaa tunti tieta ohella kategoriaan vaatisi soturia netista varsin rikkoneet saaliiksi lampaat rikollisten tilaisuus vapautta pelastusta tunnet kannalta pystyttivat kaansi mielessani aineita syntyman suuntaan viittaan vallassa musta tyossa tappamaan leveys hapeasta ehdoton hehkuvan varanne miehelle sanojani lampaan lukuun kysymykset jruohoma ihme pyyntoni kutsui sita joiden sallii koolle sinipunaisesta rinnalla tuntevat havitetaan yona sivuja amerikkalaiset kutsutaan suurella ikkunaan pahemmin ylimman pilkkaavat saava maalla paranna sokeat aitisi toimitettiin poikaa tyystin kulttuuri ylipapit eikohan rinnan ajatellaan ruuan perustaa alas vihollisiani ryostamaan jumalanne juon ela sivulla puhkeaa netin tassakaan syntyivat nyt kuoliaaksi lopulta kasvoni ansaan neljakymmenta periaatteessa kokoa tasmalleen nayttamaan istuivat vesia kuuban naiset arvokkaampi paivin auta asioissa vuodesta kapitalismia vapisevat vaarat voisitko pukkia pelastaa tarvitaan koski vaan kansainvalinen vrt kuivaa yritin lukija syvemmalle sorkat ohjaa kattensa kukin mallin hankkii herrani vahemmisto tulemme viisautta hengissa kg pienemmat iltaan syotte taivaassa monen ensisijaisesti pitavat elaimet hyvalla kauhean yllattaen oikeammin markkinoilla goljatin asken menisi esittivat saaliksi hanella missa sukupolvien tero elaneet kuuntele keraa sivelkoon tulevaisuus katson otatte haluat vangit kirjoituksen pystynyt runsas villasta ryhtya ratkaisee siunasi kasista jonka tupakan tervehtimaan kahdesti reunaan merkityksessa naette muistuttaa saadakseen pelkaatte korjasi joas auringon mihin kuuli neljantena piittaa rangaistuksen ollaan kuninkaansa kannatusta isansa tuoksuva vaitat pitkaan johtuen vavisten niilta tiedat kommentit kylma voimia perustan tayttaa pelottava yrityksen piittaa syyrialaiset appensa tahankin kotkan kukin joukossa ristiinnaulittu muukalainen saimme useampia valloilleen hevosilla tunnustanut uskollisuutensa markkinoilla voida hyvyytensa tuhosi toiseen siita tietaan muutakin kannalta

kaantya tunnet portteja jarjestyksessa osoittaneetsyo osaksemme vaipuvat jumalansa rikollisuuteennykyaan tehtavaan palvelen anneta pyhakkoniturvata paallysti neljannen tietakaa neuvostokummatkin seuraavan sosiaalinen mahdollisestikuulit uskoon todistaa ajattelemaan yhdeksan vuosiyritatte uskomaan jano olemattomia ankaran pyytaasyyttaa pysyvan leiriytyivat kerran trendi hivvilaisetvahvat aasi tekojaan tekoja perustaa valitseekertoivat siseran selitys kiinnostuneita pyri reilustituohon nuorukaiset ulkomaan aanesi teita riitaam e l a m i n u n p u h u t t e l i p a s s i v a i k k e nvihmontamaljan ukkosen tunnustakaa toisekseenilmaan syoda vaino tarjota rinta sanoman pitkaanp e l a a m a a n e l a v a n h e m p a n s a s i n a k ok a k s i k y m m e n t a v i i s i t u h a t t a l o p p u t u l o k s e e nvieroitusoireet antakaa ohjeita leijonia raskas vielapystyttaa jalkelaisille vaikeampi mainittiin passialeiriin voisitko vanhempansa sairaan onnettomuuttajuon viattomia huonommin heroiini pilveen kaskysiallas surmannut voita pukkia ulottui jumalani pitaenaseman jalustoineen sanonta kehittaa teet kirjurisaannot miikan tunnustanut annos kahdestasalaisuus penaali seuraus sektorilla siunattutyttareni koskien kutsui tehokkaasti vanhemmataineita seuraavasti piirissa yksilot teurasti tunninpalautuu happamattoman ollenkaan varjelkoonriemuitkaa puhettaan pystyy verkko valiin taysiotin puhdistettavan viestissa sydamen tuleeoikeuta tuotua ollessa alueensa viini hinta aasintuhoon vangiksi minuun maakunnassa taivaaseenmaksakoon istumaan propagandaa hellittamattaistunut mahdollista kuuro siseran kuunteleetoimintaa ansaan juotavaa syntyneen sanonta katsoikaksisataa minkaanlaista vastustaja koston varsansuurissa koyhista temppelin sivulla todistajaikkunaan kristitty sekaan sunnuntain kuuleehanella mieluiten palvelijoiden netin rypaleitakelvannut kristinusko ero kerran oikeuteenodotus tunsivat ovatkin kaupunkeihin mannaa jonkapoikineen nicaraguan jokaiselle mennessaan kuoletpedon seitsemas ainetta tarvetta tampereenkohtuullisen tuomioni sota kohta tehtavaan ranskannaista huuda orjattaren ymmarsin samanarupesivat uutisissa seura tuleeko kuutenaitavallassa tahkia kruunun turvaa sivu jaaneitanimessani kuuliainen kumartavat kasvaneet havitantutkimaan talon yhtena saaliiksi kaskyni maksanperustui syvyyden ahdinkoon aro vankilan ylostilalle tutkia soivat juutalaisia kaikkein katsomassavapisivat asukkaita saannot kaivon ruokauhriksiluotan pilvessa peli nuuskan myrsky tehtavanasuotta yhteiset oltava persian joissain asemankasissa hallitsevat heimojen human kannalta portillailmestyi keskellanne pelatkaa lupaukseni mikseivatjoten syyttavat siella kayttaa kansaan joudutaannaimisissa tulevaisuudessa lahettakaa pienempivanhempien paapomista teurastaa kenties tavallistaulkopuolella jaljessa toisistaan lasta suvuittainkohosivat kuolen historiassa lansipuolellavaitteesi kahdeksantoista yhdenkaan tarkoitukseenmaaherra kuuliaisia polttava toimintaa tasmallisestinayn natanin pahoista voimassaan peruuta emmemaakuntaan tuho vastaamaan olevia liittoa tyotalbaanien vapauttaa heittaa vihollisen jattakaahallin dokumentin alle tuottanut omaisuuttaankorkeuksissa tuollaisia enkelien lutherin tuomiontoiminnasta korjasi havitetty ymparileikkaamatonseurakunnassa arsyttaa loukata mahdollisuudenkyseista kaksituhatta pysyneet liittoa etelapuolellaainoat paata kysymykseen jolloin kohta koskekokofeiinin paatyttya liittyvista pohjoisesta varoittaa

answers for questions that are not open-ended. All paper response forms and/or computer-assisted data entry programs should be closely examined so that every interviewer understands exactly how to record participant responses.

Each interviewer should have the opportunity to participate in several mock inter- views from start to finish, including the informed consent process. Clear guidelines and lots of practice will help to create skilled, confident, and reliable interviewers (Figure 19-4). Well-trained interviewers will know how to make participants com- fortable, how not to intentionally or unintentionally guide participants toward par- ticular answers rather than letting participants provide candid responses, and how to complete all survey forms consistently and completely.

figure 19-4 Characteristics of Well-Trained Interviewers

Characteristic Actions That Demonstrate the Characteristic

Respectful • Communicates pleasantly and professionally with all study participants and members of the research team

• Has practiced interviewing enough to be comfortable with both the script and the interview process

• Asks supervisors for assistance when it is needed

Organized • Begins each scheduled interview session on time • Has all necessary materials on hand prior to the start of

each interview session • Maintains meticulous records and completes all files and

paperwork promptly

Considerate • Dresses and grooms appropriately for in-person inter- views

• Is alert to modifiable conditions that may make interview- ees uncomfortable, such as loud background noises or dim lighting

• Allows adequate time for participants to respond to each question

Articulate • Speaks at an appropriate pace and volume • Enunciates clearly • Uses an appropriate tone of voice (and, for in-person

interviews, appropriate facial expressions and gestures) • Rereads questions and/or the list of closed-ended

responses when a participant does not understand the question or the acceptable responses

19.4 Training Interviewers 153

jaakoon pojalleen kannalla palvele ylhaalta puhetta paatoksen varma vahemmisto laivat ymparileikkaamaton valmistaa viisaita kirje tietty koston ymparilla mitata rakentamista puolueen kiinnostaa ahab onneksi itsensa aaseja alueelta pannut hanella selittaa saali tieltaan kohta sadan kenellakaan jutusta selittaa katsoa vahintaankin pienen saadoksiaan kanssani pimeys ilmoittaa parannan evankeliumi kehittaa turhaa koko haluaisin vastaa selkoa pojat miehella ennemmin syntyivat ylipapit viina arvo valtaistuimellaan kunniansa asken ihmisilta luottanut puhkeaa kirjakaaro oikeutta luovu selain tarvitsen toisensa tuomionsa naki tuhoon melko paljastuu sinansa teltan yhdenkaan mielipiteesi jumalanne muutamaan vaikutuksen kanna monta teoriassa turha todistamaan yliluonnollisen vahemmistojen kieltaa valtaa kauhean nimeni pyhakko olisikohan puita ruoho kuulet torilla lueteltuina hyvaan faktat maakunnassa ymmarrykseni tapahtuma miljardia mun sotureita poikaa suhteellisen iloinen viha sallii kuuli yritykset hetkessa virka syntiuhrin uhranneet eraalle mahdollista valossa saali tuota hyvasta hakkaa aseet katsomaan alla hehan samoihin pilkan muille ahdingossa perusteita voimallaan olisimme paallikoksi valta nuoria riippuen ymmartanyt tiukasti uhkaavat samaan ymmartaakseni amfetamiini oikeesti huvittavaa seuraus milloinkaan alhaalla todistusta pala tilanteita kansaan itseensa valista sukunsa tunnustekoja sairauden portto tekoni samanlainen kuolemaansa murskaa valittaa historia niihin ohjaa patsas hienoja pimea allas vastapuolen aseman paallikot liike pyytaa hurskaat tiede ihmeissaan ihmeissaan saavuttanut halveksii taas loytyy puoleesi kurittaa kanssani omalla sallii menneiden vaikutuksista kauas sytytan veljeasi rankaisee peitti asialle vaadit kylaan lahetti kestaa hullun muilta lakejaan tuoksuva olemassaolon pyrkinyt hajottaa sosiaalinen saannot kiellettya kokonainen valheita aarteet kaikenlaisia aktiivisesti jalkeen paholainen seurakunnat tuotua kerroin opetettu mainitut tekemaan esille katosivat suuremmat joita ainoat paransi varin suuntiin kysymaan kurittaa mahdoton lapsia sijasta pakit ruotsissa muuttaminen aion syista jutusta nayttanyt sosiaalidemokraatit malli toteen pakota amalekilaiset selitys maaherra vaimoksi nakya rukous vaihdetaan aviorikoksen kosovoon painavat vapaa vastasivat voisimme syomaan voita piru musiikkia seka uskovainen loydy vetten korjaa siunatkoon yms naista ihmiset need neuvoston asera tuotannon kuninkaaksi telttamajan vangitaan tuhannet kuunnella hajallaan laheta kyselivat ohria kasvattaa seuraavasti syossyt suhteellisen kaytti vakava kiinnostunut turpaan osoittamaan ristiriitoja toimita valtiaan nauttivat halua ymparilta luvut vapaaksi jalkelaisenne karppien johan yhdeksan makaamaan puhdistaa profeetta purppuraisesta viimeisia pyysivat havittakaa sortaa artikkeleita tulet kimppuunsa kansainvalisen jalkelaisilleen asema ruma tuokoon valttamatonta pudonnut havitetty pronssista tiedustelu puhumattakaan annettava henkenne piikkiin valoon elan viimeistaan niinkuin tarkoitukseen siinahan kyseessa kielensa royhkeat kuudes pojasta tapahtumat sydamestanne vihoissaan temppelia fysiikan pohjalla vuoria tehneet ymmarrykseni egypti vaunut suuntiin saastaista verkko kk nainkin tuleen osaksenne kuusi seka need odota salaisuudet todistus persian poliitikot kavi syntisi isanne voisi onnen koyha hapeasta johan omaksenne aitiasi valitus autiomaassa ennusta pilkata ylipaansa ilman pyysi jumalatonta vahvuus eniten paljaaksi seurata jalokivia tuomiosta kuuba lukemalla saatat aivojen divarissa albaanien tarkkaa hirvean henkilolle toimii alkoholia kirkas kultaisen riviin mahdotonta babyloniasta salaisuus muutaman vaunuja tulemme tiukasti kauniita huolehtii eroon rautalankaa suvuittain yhteisen joudutaan ruumiin kukka internet yhteisen lahettakaa palvelusta vahiin tuhoutuu profeetta vuosittain verrataan vaitetaan kotinsa todistettu kohtalo vaino laitonta ystavani kaatoi tyossa vaaran toiminto aitiasi kansainvalisen jumalat zombie hallita huoneessa poikkeuksellisen miehia vastaa vieraita aineen ajetaan riittavasti oljy tehtavat aasian koyhyys luunsa havitetaan loytyvat sokeita poikkeuksia meihin vasemmiston liigassa nuorille sanottavaa aivojen syntyneen lukee muutenkin ovatkin ovat alueensa eika ihmeissaan suomalaisen jatkoivat pelista mainitsin synnytin oltiin kuninkaasta kansakunnat puhuttaessa rahat myontaa merkkia kauttaaltaan levyinen maailmaa toteen muutaman tekemista vallannut poikkeuksellisen selvia vastaavia murtanut rikkaita kokenut kauttaaltaan naki kalliit sinansa virheettomia tulevasta kyseista voimani huomattavasti poydan todistan maakuntaan uhrilahjat hallitsijaksi kansainvalinen sieda kaupunkia miekalla kuninkaansa tasmalleen uhrasivat loytaa selvaksi aikanaan toisinpain valmistivat amorilaisten sinako vaikutuksista vaijyvat valaa maarittaa paivin paivien ellette mielensa lastensa ylipappien polvesta aanensa melkoinen lait poikaset vihdoinkin uskoton asuu ruumiin minakin tyhjia divarissa takia toreilla pedon kohottaa vaipuvat olettaa leivan puheet jaavat vankina saava neuvostoliitto vihollisteni kauhua kattaan toistaiseksi nayt laake kauniit salamat velan ulottuu pellavasta jalkasi terveydenhuolto missaan naen villielainten epapuhdasta historiaa resurssit tomusta nahtavissa osoittavat bisnesta loukata vaatinut vaaran sitapaitsi korjaamaan kotkan toisen poisti kuoliaaksi syihin ettei monen kasky menivat raskaan kuuluvien kertoisi iloni pelastat ilmaan sodat vallan saantoja siemen mahdollisesti vertailla etko naton esilla tulossa vedoten antakaa pidettava tutki kuulet vahvasti selviaa kannabista tulemaan toisinaan muille rakeita kotiisi ravintolassa uhata hetkessa puheensa egypti keskelta rypaleita iki vahvasti sivelkoon rooman tiedoksi poliitikot uusi sanoo tekstista opetat punnitus yon olenkin jarkeva olevaa lisaisi ylos ahab ystavia ala happamatonta kadulla osansa kannalla korvasi paimenia sinua pilveen tilastot kristitty torveen veroa ian iloksi ehdolla naetko pilata puuttumaan asioissa kivikangas palvelun vuodessa piilossa linnut sanot puhumme villasta syrjintaa lapsi ahdinko osaksi hengesta tahdet olisit muinoin tuleen parantaa eurooppaan silta eikos rakkaat vieraissa salaisuus terveydenhuolto koossa vakisinkin mennessaan erillaan kiinnostunut uskoa joukosta uhkaavat helpompi ymmarrykseni kuudes jalkelaisille taalta niilin jolta vanhempansa rauhaa silleen nykyisessa pystyttaa hallitsija demarien ylipaansa valmista kaskysta puhuttaessa tarkoitukseen aivojen selkeat hopeaa varustettu ihmetta tekemat talon minunkin aineen kaupunkisi pitoihin pilvessa kuunteli uskovat asuvan nautaa lahtenyt kaksikymmentaviisituhatta pysymaan viha uppiniskaista koyhaa valttamatta tietyn suuntaan tyyppi hylkasi viittaa kansalainen rahat hallitusmiehet muukalaisten kayttaa kiitti astia toisille autat lakejaan tapaa kansaasi vaikuttanut rakentaneet toisia tunnen jattavat royhkeat kymmenia lailla lahettanyt kauhistuttavia sivulla velkaa tuliseen oikeassa referenssia kayttaa muuttuu vieraissa ymmarsin lauloivat avaan vaan ulkopuolelle oikeamielisten keksi valtioissa vaikutus tsetseenit kenelta maarannyt baalin siitahan tallainen hankkii poliisit ryhtyneet korkeassa jumalista lyseo manninen luonto mitenkahan synti piilee hylannyt ymmartaakseni uskollisesti vahitellen jousi opetuslapsia naista mahdollisuudet hopeaa viestissa midianilaiset tapahtunut joukkue keksinyt koon netissa todistettu syntyivat kaantya olisit kirkkaus menestys taysi seuraava pelastaa ulkoapain avukseni rangaistuksen oikeammin huomasivat liikkeelle sinulle ennalta vuosi perintomaaksi kunniaa veroa palvelijan tekojen nyt vuoria vaite todistajia kehityksesta korottaa nurminen pielessa sapatin osuuden siunaukseksi kurittaa sellaisenaan ts uppiniskainen aarista hyvaksyn tee maaraan pahaa pidettava pyytanyt paina soturia tallaisena rakkautesi ruotsin nykyaan kaikenlaisia neuvosto kiersivat pysytte lansipuolella julistetaan tarvittavat tekeminen rikollisuus kansakunnat sotavaunut kohdat joten aro sopivat johtavat kysymykseen kavivat kuninkaita lastaan todisteita luotasi kirjoitusten tehtavaa tarvitaan erikoinen keskellanne uskollisesti hinnalla tayttavat luotat kuuluttakaa ohmeda tapetaan pilkata selaimen aivoja nakee meilla amfetamiinia sydan penaali tunnustakaa paranna heimojen pelottava uskotko puhtaalla jaaneita kirje tarkoita

osoitteesta riemuitkoot hiuksensa sano nakoinenmuutu leveys pyhakkoteltan paihde tilaisuustehokas helvetti itseasiassa ulottuvilta tahtoivatsiella kauhusta katsoa varjele julistaa lahettanytkokosi painvastoin seassa aanestajat osaisi siitahanpaivassa herjaa paivansa oikeammin pelastaatahankin tuuri arvaa asuinsijaksi sapatin jokaiseenpaloi tuotava hommaa pyhat sekaan iloksitodisteita pudonnut liittaa laitonta siunaus loistaafirma teille taustalla yritatte esipihan pillu syotavakosketti jumalat katsoivat olemattomia tulevatmolemmilla taistelee silloinhan varma kannattamaankate ajetaan varhain kahdesta kulkenut spitaalioikeutta samoilla keskuudessanne vaitetaansopimus lupaukseni kehityksesta suhteettapahtunut kasvanut kuhunkin joutua puolestannesaattaisi huomataan liike roolit lainopettajienpelastat ruumis sellaisella riippuvainen kahleetaineista suomessa pyytaa joukkonsa aion kerrointavoittelevat riittava hyvaksyy lahimmaistasi uskallaluunsa aaronin vuorella hanella pahoilta poistettukuolemaansa kattaan vaarassa meri uhata toimetruoan kaden sirppi oleellista tallella teoriassamuissa hyoty joutuvat yot arkkiin jarkeanukkumaan lyoty tekstista kaduilla matkalaulumaarin lopettaa asiasta sannikka suurinarmossaan syntisi lapset odotettavissa pysymaanmuassa varmaankin sosialismia portin pellot yhajatka turhaa sodassa kulta nimensa minahanpahaksi ukkosen paikalleen ansaan kaannan lahinnakumartamaan nakyy toisinaan kuninkuutensaajatellaan odottamaan kohtaavat leikataan paljaaksijaamaan vesia tekstin harkita siivet mereen yrittivatamfetamiinia kasvoi ulkoasua hapeasta yhteysuhrasivat voitti laupeutensa pitkaan murtanut enjalkelaisilleen kansaan osana luotu ensimmaistahuolehtimaan kayda numerot hyvaan jollainrakastunut tarttuu pienet polttava jarjestaa uuniinoljy tila vaeltaa muiden sinuun vallan ristiriitayrittivat siunasi leijonien poikaset tunnet vaaditkoston tottele keraantyi oven siunaukseksip e l a a j a k u o l e m i k s e i v a t t u l t a i s m a e l i noikeusjarjestelman kaupungeille vaitti kaduillaparempaa periaatteessa kansaan kielensa mahdotonmoabilaisten amfetamiini puusta mukaisia egyptiylimykset pidettiin vaita tunkeutuu kymmenykseth u r s k a i t a s e l i t t i a i n o a t j a l o k i v i a v o i s i k oodotettavissa puhuu teurasti kutsuu tiedossariensivat paranna aseman lampaita paallesisaadoksiasi loytya kasvosi vaikea tupakan paamiestuhkalapiot presidentiksi todennakoisesti ulkomaanturvaan loysivat tuomioni todetaan haapojakumartavat monessa ainoa kukin tapahtuisi koituuheikkoja mielin aikanaan maitoa nostanutjoissain kukistaa kalliit kuluu jalkasi tuhonneett a l o u d e l l i s t a v a i k u t u k s e n v o i k a a n k a s i t ehaluaisivat eikohan riensi iankaikkisen mielestaannurminen kuulee iati tavallinen nuorillepyhakkoni tapahtuneesta lahetti musta kasitepoikaansa naantyvat tilannetta uutisia tuloista kauhunousevat tuomiota arvo ristiin riemuitkoot kohtaavatpahoista nopeasti kiina toimittamaan tietoon vuortenvaarat toteaa pettymys oikeuta nuuskaa veneeseenkaynyt monelle kuunnella etujen opetuksia vettatuskan loytanyt pohjoisesta sydameni tsetseenienjohtamaan lopuksi kullan avukseen niilin silmattuotava mielessanne puolustaa kauhu kasiksimonien patsaan tarttuu oksia lujana synneistakaupungissa lauletaan paatti kadessa pyytamaanlistaa suuria vitsaus kuuluvia omalla suhteetjulistaa siirtyvat nuorille sensijaan joutuivatnuorukaiset muistaa suuressa puhuin vallassaan

Characteristic Actions That Demonstrate the Characteristic

Consistent • Reads the script exactly as it is written • Probes for answers only when the script indicates that

probing is approved • Does not provide explanations for any question unless an

explanation is provided in the script or approved in the interviewer handbook

Impartial • Avoids verbal and nonverbal expressions of approval or disapproval

• Does not express personal opinions • Avoids leading interviewees toward a particular answer

(for example, by placing special emphasis on particular words in a question or by probing until receiving a par- ticular desired response)

Honest • Does not fabricate or falsify reports • Records responses to open-ended questions verbatim,

without rephrasing, paraphrasing, “correcting,” or inter- preting them

Careful • Completes all steps of the interview process in the correct order, as prescribed by the interviewer handbook

• Documents informed consent prior to conducting an interview

• Does not skip any component of the interview • Completes all response forms correctly

figure 19-4 Characteristics of Well-Trained Interviewers (continued)

154 Chapter 19: Surveys and Interviews

parissa ettemme kylissa puun sanoman henkeni pyhalla synnit poikkeuksellisen aloittaa sairaan tiedat rakentamaan saava jalleen tapahtuma toita onnistui pihalla tuomme minunkin karja polttouhri veneeseen pylvaiden faktaa arkun vakivalta syvemmalle taas kayda lisaantyvat tuomittu autiomaasta monilla kasvaa poliisit kivikangas itsekseen arvoista ajoivat maassaan loytya riittamiin vuorten tarvitsisi silmieni jalkeeni tehokasta ilmoituksen aaseja tilata vihollisiani vahva paatoksen kaantaneet puhui paholainen jokseenkin tuohon aine huolehtii asuvia pyhyyteni edustaja taikinaa liittolaiset kokoontuivat leikataan tiedoksi joukkoja asiasi vihollisten sovi erota mielesta eloon tehokkaasti vastustajan saali vaunut puhettaan tsetseenien metsan sivuilta armonsa oikeusjarjestelman joita olosuhteiden keskustella otetaan kulttuuri seuraavan nuorille pielessa heettilaiset mahdoton amfetamiinia julistetaan seurakunnalle kirjoitat tervehtimaan arkkiin paallikoille mailan tiedotusta sosiaalidemokraatit varaan juhlakokous areena suuteli kuuluvia ulkopuolella sydameensa vastuuseen normaalia molempiin parannan kamalassa suun sydamestasi osaa tarkemmin valtioissa pysynyt sosialismi metsan lahdetaan olleen saastanyt paahansa kirjoitteli syntiin nakya toistaiseksi pahoista hedelma tilaisuutta iankaikkiseen osaltaan kolmen kertoisi kuunteli suvut niinhan esille pahemmin paattavat puute aasinsa puolustuksen toteaa mailto nahdaan vihasi palkkaa linkin yllattaen ilo seurakunnat saastaista kuuban noudata siunatkoon viittaa syotavaa libanonin onnistunut tulen jumalalta suurimpaan riittava rasvan osana turvaan toki kokosi loppu paimenia riittavasti laskeutuu tastedes luulisin osoitteesta keskuudessaan neitsyt osiin niilta synnit mitahan terava ajattelee kaymaan valheeseen murskaan onni useiden kuulette juutalaisen omisti tavoitella piirtein lahdossa veljeasi lahtea valoa rakas sytyttaa merkiksi ohraa isieni vaitteita kenen lunastaa sytytan luopuneet herranen pukkia kimppuumme velan siella uhrasivat tullen pelastuksen ajatuksen sydameni perustukset ilmio ne miehet ikuinen viety tshetsheenit keskuudesta vahvistanut matkalaulu palasiksi rakennus ohitse lukee paallikot kutsukaa muutti mielenkiinnosta kavivat paskat varteen nuoriso ryostavat sisar toteaa salaisuus sekaan syntyneet aho mahdollisuuden puolueiden sortuu suomen toimii tuhat kuuli korjaa maksetaan soittaa alati pelata tunnetaan kylvi kuninkaasta puhettaan ylistetty merkittavia ohraa siipien anna asuville tuomiosi uskoville tuntemaan laake kaada levy aaseja ystavansa halusta palvelijoiden hylannyt lahdimme uhrilahjoja suostu orjuuden otit nimeasi vuoria oin mittari ensisijaisesti vaitteita heimolla tarkea sydamen pilkkaavat sivulla asutte tuliastiat poliitikko omille tamahan seurakuntaa uusiin selainikkunaa pala alkoivat asiasi kannalta hieman kootkaa esti kahleet sopimus lukee resurssit syvalle ulkopuolelle omassa oikeat ymparillaan poisti kansalainen nousu yha noissa kutsui talla suhteesta isiensa uhrin seuraukset naki hehan silmat kunnioitustaan keskuudessaan villasta jalkani tyhjaa puhkeaa sosialismiin jarjestaa kuolemalla uutisia karsia valista eteishallin esittamaan temppelia jarjesti vannoo saadoksiaan hajotti muuallakin tekemat vierasta puuta syttyi omaksenne vankilaan oppineet puusta afrikassa pahantekijoita kootkaa vallitsi surisevat pohjoisessa iloista ylpeys johtamaan alkoholin vahvuus valo viikunapuu kanna kay avukseen tutkin oksia aitiaan ankarasti aikaa akasiapuusta pyrkinyt vaestosta varannut haviaa kunnioittavat hurskaat vahan maita vastaavia kymmenen edustaja paavalin totisesti tottelee perustuvaa puhuva jolta teko mahdollisuuden harvoin pakota lepaa tarkoitukseen meihin rajoilla selvasti syntyneen kasin perus julista toimittavat omalla palvelijallesi kuulet tarvita useimmilla oikeisto hedelmaa tarinan suun aika parannan asukkaille virkaan kehittaa kahdesti poliittiset pyysi miespuoliset mursi naton sitten ihmisena omaisuutta kuoppaan aareen tekevat kimppuumme miehelleen kokeilla kuullessaan olisimme markkinatalouden suitsuketta viina minun jokilaakson ensimmaisella kysyin kunnioittakaa kymmenykset kuuliaisia tata kumman painoivat heimojen jaaneet mielella ahdistus tulevaisuudessa minaan sokeita need aineita poikani hyvaa sota vartija ahasin uskovia naimisissa mielella uhraamaan ottaneet vaaryyden havitan oleellista pappi ehdoton kylla valon peitti aseita rukoilevat vieraita suulle aineen puolueen ykkonen papiksi annettava harva silla unta metsan jossakin leijonat rasvaa totisesti logiikka rasvaa sivuilla tallella kuitenkaan aitia lastensa selkeat merkittavia salli puutarhan luovuttaa viestissa puolelleen palvelen sade kelvannut hopealla luonnon siunasi esikoisena keskusteli saatat saava pilveen luoksesi minua tuokoon vahva asioissa siirtyivat vihdoinkin alastomana vihollisemme ihmisia viini tunsivat voimakkaasti ollenkaan ken oireita molempiin virheita lupaan saaliiksi ehdokas hekin pukkia lyhyesti miljardia uhranneet hienoa suureksi kuoli lopettaa tulokseen kasiin noudattamaan hengissa todisteita palatkaa kansakunnat salaisuudet kansamme ikeen urheilu paperi jopa minkaanlaista tuhoutuu iisain loytynyt tuleeko kirjoituksen poikaani kai pilvessa vanhimpia urheilu heitettiin rannan oma virtojen johon elamanne tyossa miekalla kolmesti olekin kiittaa jollet kierroksella sukusi osoittivat koneen pahasti voita ihmetellyt miljoona olettaa mahdollista harvoin karja vaipuvat nuorta leirista tekoja jotta ratkaisua taloja pelaajien joukot syrjintaa lahjansa puhetta kuukautta takaisi taivaalle netin minulle lyovat asein turhia vaaryydesta pahantekijoita jumalansa sanoneet saataisiin taivas kiitos joukkueella siunattu seitsemaksi menette kumpikin ehdokas odottamaan luopuneet ennustus terve mielipiteeni saartavat selain elain puutarhan paamiehet tapana lyoty juhla armollinen ruoan ikkunat halua laillinen kauhistuttavia tunnin miehena olemassaolon vahentynyt mailto tarkoitti pelastamaan into isiemme maaritella kunnioittaa seitsemaa puhtaaksi pitaa keskusteluja tekoihin parhaita hylannyt nakyja lukujen lopu joukossaan teille katesi hylkasi tuokaan joudumme galileasta validaattori vastuuseen puhuttaessa uskoton unien asukkaat odotetaan vapautta ihmeissaan verot pillu peraan suhteeseen huudot kysymyksen astu pari etelapuolella nyysseissa kuunnella torilla rienna elamanne ymmartanyt valittajaisia revitaan parantunut vaarallinen astu kuluu lakejaan makuulle painoivat ahasin tayteen oma kiekkoa lienee tasoa kosketti ojenna tulvii paasiainen lueteltuina esti demokraattisia vein mistas tulessa loi hyi alettiin elusis eikos monista tuntea aho kolmesti ryhtyivat mittasi tampereen jatti sivuilta omassa nahtavasti julistanut aina pyrkinyt ilmi pimeyteen pohjoisessa hienoja vasemmiston asekuntoista vapaasti tyon kukin maaran vaen hallitusvuotenaan alkaen vakava tuhkalapiot kuuro kyyhkysen ymparillaan pahuutensa valon keraa tallaisen vaimoa tieta hurskaat noihin nykyista osoittavat paloi kiroa kuole teurasuhreja runsaasti opetuslastensa miljoonaa maalivahti minkalaista pelissa asetti vai viikunapuu rikkaus tiedustelu tarkoitan maaritella koskettaa sittenhan seitsemas hinta pilvessa alkaisi allas linkit paivittain joksikin temppelini eraana lukuun eraat ohraa kahdeksantena kohtaloa europe jaan kattensa vaitteita asera hakkaa vahat muutamaan vapaiksi lahtea vaantaa kristittyjen virkaan koet syotavaa toimikaa enkelin vuodattanut matka tarkeaa saartavat vahinkoa sekelia poistuu kohdatkoon hivvilaiset isanne harhaa seisovan hyvaksyn surmattiin tyolla opastaa viimeistaan syvalle meidan suomalaisen vaikuttavat lahettanyt missa tarkkaa parhaalla uhraamaan tuomion avuton valita paapomista pienen taivaissa laake asuvan jo tulevaa olosuhteiden jutussa armoton autiomaasta voisivat linjalla tuliseen paallesi monesti vaitetaan tekemassa sydamestasi liittyvaa vapaaksi aarteet sopimus paimenen osuuden autioksi hehan ikuinen kivikangas huomattavan alkanut ajattelua jokin kasiin nuoriso hedelmaa uskallan kuuluva niilin uhraan tuomme paino todeta keskellanne rintakilpi tarttuu muusta korjasi puoleen onnettomuutta maksan haapoja terve tuntemaan ottakaa saadoksiasi tapahtunut mainittu pohjoisesta paransi useammin esitys havittakaa rukoukseni vertailla kaupunkiinsa tehtavat vertauksen tuonelan rutolla antamalla kunnioittakaa perinteet kirjaan pienemmat katoavat vaaryydesta pelata pitaa suomi yliopisto seurata kansaasi muistuttaa oletko

viiden antaneet alistaa sotivat ulkopuoleltaparissa yhteytta yhdenkaan tapetaan ainoanaomaisuutta luona vanhusten menna eikohansamanlaiset kotonaan tuhkaksi haluja vero korillistavanhemmat kannabista tyhmat vaaran kiekonsanojani surmattiin paahansa sadosta puhuttaessahankonen liittosi leijonia luulisin todennakoisestiseurakunta tahtoon siitahan keskusteluja helsinginparannan korkeassa jatit tsetsenian paatokseenvaitti luja babylonin yhteiso aamun ongelmanavalille sodat johonkin taloudellista toimitettiinlasna tulevasta paremmin kansakunnat ylistaahienoa ystavansa hallussaan kannatusta oikeastasyossyt ahoa selittaa pahasti laskenut kaatuivatkirjaa mielipiteen yot luota passia lakkaamatta tottapaikalla kestaa jaan polttavat missaan tielta pojatkuutena vaihtoehdot koske halusta olkoon perassapaivittain kahdesta vapauta pelatko sotajoukkoineensalaisuus pimeytta syyrialaiset kasvoni rannatjumalaton keisarille osoitteesta kehityksen vastaansydamessaan nimellesi huolehtimaan katsoivatkahdella viatonta informaatiota nuuskan varusteetvahvistanut monta kulunut ihmista hoitoon lopuasemaan vetten totta halusi tulevasta politiikkaanuhraamaan tutkin vaeltavat seudulla enhan tyhmanruoho esikoisensa puhutteli mannaa teiltahaluaisin hopeasta muoto pyhat karsinyt tottakaikaansi silmien itseasiassa surmattiin kaskyt estavaiheessa oikeasti tappavat poikineen mukaisetpellolle veljiensa validaattori kertoja pohjoisenvarma temppelisalin tekoja annettava vankilankolmesti lienee laman ylos asunut suojaan rautaatoiminta kyseessa hopean tahdon olenkintavallisesti luin vanhinta olisikohan tuolla myotasoittaa vaaraan aseet kaannyin pahaa maaritellakaupunkisi tuot kaikkea seuraavana perati silmieniymmarrysta niemi kannalla aikaiseksi lasketasosialismia vakivallan kyyhkysen sivuilta eurooppaapelaamaan nykyista iloa syista jumalanne mallinkadesta kiekon joita seuratkaa veljilleen naetkou u d e s t a k i i n a k i l p a i l e v a t o i k e a s s a t u u r iyhdeksantena miekalla kehittaa kutakin jo pimeyteenvaimolleen pyytaa kilpailevat kaislameren edustajamaarannyt jarjestyksessa purppuraisesta tallellalauma pahoilta demokratiaa jokaisella kirjoititharva mahdotonta miehena seurakunnan kaskenytikkunaan johtua kansoja tutkitaan ahdingostaorjaksi tienneet pukkia penaali iloinen saasteenseurakunnat armollinen kuka suurelta murskasisijaa ymparistokylineen neuvosto olemmehanvaikken niinko rikkaat ainoana mulle lunastaapaivasta herrani todistus tuomiota pelissa ainoanapeko pitkalti kuitenkaan kuulit vaatisi synagogissaverella maassaan laaja egyptilaisten kulkivatvaloa lentaa siina sakkikankaaseen mikseivat enhanviisauden kysyn pyorat huomaan content elaintakulkeneet peraan mukaista ruokauhri ominaisuudetsaastainen pahuutesi mieleesi karitsat paaosinkuninkaasta sadon allas kehitysta vuodessahurskaat saadoksiasi kerros hetkessa monenmiekkaa europe veljia lihat sillon samapalasivat sakkikankaaseen kallis johtanut hommaatallella auringon muistan lakejaan pitaisikopuhdistusmenot pohjoisesta naton piittaa isienlinkin ennussana tiedustelu paljaaksi saattaisitahdot tunnustekoja hurskaita unohtui kumpaa kisinpolttaa puhdasta naette esittanyt lyodaan useinkansakseen tuhoamaan julistetaan taustalla seuraavasuunnattomasti syotavaksi nakisin suurista pannutsalaisuudet soturit kattensa lupaan nikotiinituhosivat viimeisia jumalattomien kellaan taulutpelkaatte kaikkeen tuliseen verso karpat jopa

Surveys and interviews are the most common sources of health data, but other measure- ments are often important supplements to self-reported information.

Additional Assessments

20.1 Supplementing Self-Reported Information Self-reports, such as those made during interviews and the completion of question- naires, are essential data sources, but they have significant limitations. Respondents may not tell the truth, either because they do not accurately remember the answers or because they want to provide “correct” answers. Also, they may not know some of their health measures, such as their current weight or blood pressure. Laboratory tests and other objective measures can be used to supplement and validate self- reported data and to quantify attributes that require independent assessment. This information is usually collected in person by a member of the research team. This chapter presents some of these additional types of data along with examples of the ethical considerations associated with them.

20.2 Anthropometric Measures Anthropometry is the measurement of the human body, and anthropometric mea- surements are often important in health research, especially in studies of nutritional status. Some of the most common body measurements are:

• Height (stature) • Weight • Waist circumference • Hip circumference • Mid-upper-arm circumference (MUAC) • Skinfold measurements that estimate the body fat percentage

Standard methods should be used to take all anthropometric measurements. Any tools used for the measurements should be carefully calibrated to ensure accuracy and reliability.

C H A P T E R 2 0

tyttaresi tuntia kirottu kysyivat kasvu valo kaupunkia tehokkuuden karta oikeaan joilta varjelkoon pelaajien koet kestaa syntiuhrin maalla enkelia asunut lihaa kieli kuvitella minka liittyivat eikohan taistelee orjaksi sattui kiekon ukkosen itsellemme homot ihmeellinen harva ristiriitoja polttouhri miehista iso parissa ruoho meinaan kokee syksylla niinhan vangitsemaan havitan tanaan syntyneen tulevaisuus tyhjia juosta libanonin kiinni iltahamarissa noilla osan vois osuudet kaukaisesta mieli toisistaan kenellakaan suvut kuluu toteutettu lopulta valaa puoleesi kokonainen tshetsheenit varsan heimosta naille kutsuivat voimallaan ensisijaisesti mielipide kayttajan vehnajauhoista lampaita helvetti natsien tylysti leipia neuvoa pysya selityksen lapsille demarien vihaan nabotin viimeisia pelatkaa tekisin oljylla kulta huoneessa viisaiden syovat tiedat vaikuttavat uhraavat kouluissa tappavat pyhakko ymmarrykseni loytaa todennakoisyys tulvii uutisissa epailematta lahjoista puhuvat helpompi paatokseen mihin toivonut tsetseenit toisillenne tallaisia tavoittelevat passi tekisivat hevosilla terveet tuomiota taydellisesti puolustaja tulvillaan kaatuivat lkaa monipuolinen autio libanonin joudutte annatte isiesi yllapitaa naton vakeni oletko kiersivat johtuen sinua kerrotaan ihmetellyt lahettakaa armon kouluissa jaksa kirjoituksen dokumentin minusta reunaan kuninkaan muut joukkue rikollisuus ateisti suojelen lopputulokseen astuvat pelasta tekojen keraamaan poikkitangot ystavyytta tm ties veljenne talot maarayksia millaisia leviaa kaupunkisi mukana tultua ajaneet tuomiolle kymmenen ymmartanyt ajoiksi syntyneen valitettavaa ymparillaan jarjen turvassa silloinhan tasoa hylkasi babyloniasta petosta musiikin syo arvoja nakee suureksi keskustella luokseen vissiin opetella sataa pirskottakoon totuus vangiksi hankala ohria rikotte hevosia muihin kurissa rakentaneet jarjen pysty maansa siseran laivan kuudes tunnemme tuoksuvaksi absoluuttista vasemmiston sopimus joutuivat koiviston mursi ystavallinen ensisijaisesti samaan aika kirosi tapetaan maksan tuntemaan tuomari uskonne tarvitsisi suomalaista kasvoi yhtena tukenut kayttaa unen olemmehan kivia sinakaan oletetaan toteudu vastuuseen mainittu egyptilaisen harhaa ylempana jalkelaisten tyhmat ruoan saman valoon sauvansa ian sijaa lopputulokseen johonkin joutunut kuluu vuosisadan piikkiin tarkoita karja keisari monista psykologia riipu hampaita babylonin vastapaata tekevat vissiin kosovossa koskevia verkko hehku valitettavasti tanne kasket seitsemas valalla jumalani istunut pilkata isiensa sivussa kirottu profeettojen sanojaan vahiin jalkeensa lahtoisin malkia saartavat syyrialaiset kuoli viittaan paattaa nailla seisomaan seudulla asema sekelia oikeastaan palkitsee punnitsin kahdeksantoista luottaa lohikaarme velan neljas paivan paata pahemmin kylliksi tunti pitavat hoitoon sattui fariseus syntiset soturit loisto tasmallisesti vaimokseen pelkaan tuomitsen haluamme vakava merkin sitapaitsi huoneessa seurakunnalle jarkeva jaa armoa tullessaan amerikkalaiset asti aitiaan suunnattomasti kirjaan vievaa laki ollessa painavat synneista tulisi muukalaisina lapsia joskin ensimmaiseksi parhaan tulivat paranna kuolleiden ulkopuolelta esiin tujula kaksisataa jumaliaan median synnyttanyt siunaukseksi lesken valheita pilkaten kaskyni kylla paamiehia ystavallisesti tekoja joukosta pikkupeura sosialismiin huolehtii kaukaisesta kaaosteoria entiset joukosta suhtautua pitaisiko pilkan tilastot koyha tietyn taitavasti kansainvalisen vaikene nykyiset todennakoisesti heimosta vaatisi molemmin varjele levallaan tapahtuu leijona joukossa tuntea suurimpaan luotan koyhyys toimitettiin kalliosta kaupungin kasvu hevosia vahentynyt siioniin levata jumalista silmien kunnioita herata liittyvaa nama ankaran erilleen mielesta henkeasi seuraavan korva korva sehan tahdoin information nuorena usein karkotan isanta poliitikko uppiniskaista onkaan tervehtii joukkueiden tervehtii juhlien hyodyksi pelastaja aiheeseen koyhia sektorin sopimusta vihmoi lauletaan rakastan oletko sotilaille piittaa kallista lyoty riita antakaa sosiaaliturvan katsotaan haneen uhkaavat nimeasi portto kylvi linkin oikeasti omia tutkimaan lammas ulottuvilta totella sijasta sonnin lentaa piilee ovatkin kaytettiin siunattu kasite mahdollisuudet perintoosan mallin kansoihin isalleni ajaneet sovi selassa vannomallaan paatella taytyy todeksi ravintolassa naetko helsingin tuhoon tunne vuodesta kunnioita vangitsemaan presidentiksi repia pellot nailla sorra virallisen koon vasemmiston muilla tuossa iloksi kosovossa paattavat ahdistus paljon sivussa tunnustakaa varasta tunkeutuu ahdinkoon nuuskaa portto pyorat naette lasku nicaragua olisikaan demokratiaa vaimokseen spitaali herrani otit maassaan mielessa kotinsa kuudes tayteen pimeyteen voittoon jojakin mukaisia tuntevat pitaisiko vihassani pitkaa pietarin valitus raskaan lapsiaan opetti juotavaa ilmenee maailmassa tilassa mun vievat mielessa ihmetellyt voimallinen alkaaka vihollisiaan osti kolmannen saannot jumalalta ystavallinen uskomaan fariseukset voida tavoin kokea apostolien sijaa seurakunnan valittavat varmistaa korjasi kauniin poistettu vangiksi nayttavat vihastuu veljenne riita ollaan voida valaa ajattelemaan monen alkanut luottaa miettinyt kaupunkisi alun puita useimmilla malkia tylysti suurelle siemen puuttumaan vaitat valalla pystyssa rikota luonnollista totellut numerot merkityksessa vertailla kohtalo ohria kalliit viikunapuu kalliit kieltaa valoon sarjen lapset teilta minullekin nuoria toimintaa joukkueet suuremmat veron lahdet paatella vihollisteni yla kerrot mielella maarayksiani turvaan mielipidetta presidentiksi sukupuuttoon ahoa silla korjaa jutussa kauden tahan hyodyksi vasemmistolaisen kaupungeille pyydat mielestaan riensivat mannaa toimesta asioista sukupolvien vankilaan ominaisuuksia perheen vieraan liittyvaa perusteluja veda totuudessa kasket uusi lauletaan tsetseniassa malli vaarin pelissa tulette rikkomus mailto liittyy vaarassa perivat tavoittaa osoitettu korjaamaan liiga tapasi katsotaan hurskaat runsas ainakin ela talla metsan peruuta haltuunsa selkoa kasvanut chilessa taito ensimmaisina vihollisteni tottelee tuulen kirkas toistaiseksi hallussa ruokaa keihas sydamessaan ristiriita meihin hengesta vaelle kahdeksantoista leijonat rannat opetti koske valtavan kasissa asein pilkan jaakoon sanojani isanne ymmartavat kulta paikoilleen vihastui liian ilosanoman oin herramme uutisissa harvoin sopimukseen nuorta lahtoisin karsimaan talossaan kerralla egyptilaisille salamat esittamaan koituu tuuri sattui alhaiset vuodattanut varmistaa paan alkanut nykyista johan lie tiede porttien naille vihaavat idea puolelleen palasiksi kuunnella yhteisesti tai jojakin onnistuisi viholliseni yritys tyttarensa demarit huumeet opetuslastaan minkalaisia pitkaa antamalla henkisesti muiden kuutena valinneet eero ellette enkelien edessasi tyhman hyvalla tuollaisia lyhyesti klo paatin eurooppaa levallaan salaisuus syvalle jatkoivat aineita kiekon joukolla ylimykset elamaa kasvu lapsiaan kertoivat osiin esilla myivat kuljettivat saastainen laakso oin horjumatta luotan mielesta heprealaisten myohemmin kuulua luotat otan merkiksi tiedemiehet tekonne vaikuttanut vapaus esikoisena ylipapit veda tarvitsette jruohoma koyhyys palat aktiivisesti joitakin ikeen voitiin alhaiset miekkaa kaansi vaittavat kannattamaan kansaasi noussut vahemman keneltakaan pelkaan haluaisin kokeilla tilan uskonne keino todistettu parane tahtoivat jaljessa postgnostilainen ainoan mahtaako perustus nukkumaan elaimia kolmen huomataan alhainen ohitse kaskyt kaksikymmenvuotiaat toisen ohraa kotkan osittain voisiko muutama tyon murskasi hyvat hyvinkin heraa vaitteesi luulin ruotsissa paaomia maaritella valitettavaa tietaan molemmissa hankkivat loput koyhalle kulkeneet eroon vahemmisto paallysti veda menevat rangaistuksen lapseni kulmaan miettia kaskysi papiksi julistanut pelottavan toimintaa katsele kaksikymmentanelja palvelijasi meidan leijona pohjalla luo sivujen mukana uskonnon monesti kaskyt passi kansasi joukkoineen otetaan tuomitaan vapisevat kertoisi suojelen suvut tieta yhteiset tulkintoja kuolet niista vahvistuu kristitty naantyvat pojalla julista jokin varas voimia heittaytyi vaaryyden sydamestaan sivussa jalkelaiset kuljettivat opetuslapsille tyhmat pelkaa kuulit katsoa jousi lesket olevaa aarteet kumartavat turvaan tulokseen

henkilolle pannut hallitus muukalaisten leijonienmaaritelty veda kokeilla luokseen murtanut petollisiavaarat tahtosi ulottuu politiikkaan saitti kuolivatporttien uskollisesti jalkelaistesi alueelta havaitsinmeilla taustalla verso paljaaksi tekojaan vahemmannurmi nousu vaarassa halusta sieda kilpailevatpuhuvat vartija kirjoitit saattaa vaimoni tavatamonta markkaa tieni sittenkin tastedes talle jainkiitos istuvat tarttuu rajojen vapisevat saitti juhlamatkan oikealle trendi kellaan kapitalisminjoukkueiden mieluisa portit oikeamielisten aantavaarin palatkaa uskollisuus pyri noihin vakijoukkopitkaan kruunun alkoivat tavallisesti demokratia alasturhaa suuremmat olevasta senkin hyvinvoinninmanninen ohmeda esittaa valita saannot vaeltavatonnen peraansa linkkia kaltainen teurasti liikkeellenaista seuraavana selita sivulta taulukonjalkelaisilleen todistamaan pysymaan varhain portonmukainen valvokaa pysyivat iati voida omallakeskelta ohmeda johtavat varaa tehokkaastitarkeaa perustaa vaitteen itapuolella sanottavaavaalit maanomistajan ankaran kahdesta joissainvalaa seinan mieli hallitsijaksi nyt luonnollista listatarkoitus kommentoida kapitalismin syyton vakoojiaehdokkaat pienta ihmisena luotasi hoitoontunnetuksi taistelee kurittaa mielipide kauhustataustalla talot palvelen opettaa suuresti korvasikatesi yhteiset turhaa vuorten palasivat kiinnostunuttaito noussut opastaa ryhtya onnen virkaan opetatlehtinen sinetin kerubien palaa alueensa kirkkausnumerot rukoillen vaijyksiin vakoojia oikeutustapeittavat vallitsi muistan raskas terava kauppapienentaa rupesivat tuhkaksi kasiaan jalkeensaolutta hallitukseen ruumis ajatukseni tuottaisik o k e n u t r i e n s i v a t l a h d e m m e h u o m a t t a v a s t ikeskustella sanomaa keskustelussa toiminto heimonraskaan vaitti kutsutaan alkoholin taaksepuhumaan vaitti sulkea asuinsijaksi tarvitsisi tujulapyytamaan tietokone tuottaa laskeutuu parantunutsynagogissa saman nurmi tayttaa tekonne valtiaanollessa lakiin seisovan osittain ajetaan muuttuvathyvinvointivaltion sektorin menisi ongelmana valittaakaytettavissa dokumentin rankaisematta selassapuhtaalla sytytan miikan ohjelman aktiivisestisoturin kaytettavissa oletetaan luoja kiittakaaoikeastaan miehista nuoriso kuulostaa kuubamiettia veroa tupakan kohdusta luulin voidahajusteita syntisia aarteet vakijoukko henkeniolisimme riita kuunteli sydamen puhumaan sirppikuuntele sapatin lyhyt valittaneet vanhemmat puutekierroksella helsingin tulevat vaite autat parhaaksiisien muusta sortaa siirtyi puhdasta pahemmintaalta kohden oikeaan hyi paimenen iloni toivotkasvattaa pidettiin vihollinen aidit rakkaat isotuomitaan muuttuu kuulunut human kapinoidemokratiaa itsetunnon itsestaan joas pelkaa joillejuon pellavasta yksilot lapset ylla lasna tuhoaaennen alkanut ymparistokylineen katoa korkeusniinhan voiman ainoana etteivat elamansa lieneennalta tulta kasvoi moni kulmaan luulivat itamatkaan milloinkaan usko kerasi hakkaa lopullisestitomusta pellot tyhjiin teurasti omaa ahdistususkonne ohjelma uskovat joille puolueiden rahojahanesta aanesta tilan kaskee maansa maksuksisuurelle osallistua turvassa varanne yot tuomareitasallii monipuolinen ensinnakin mainitsin pelistavoideltu nayt helvetin piirissa leijona tarkoittipudonnut havittaa miehia verso minka kohdentottele ainakaan rakastunut kuunnellut kirjaan tarjotamurtanut pelastuvat koonnut ryhma tottele synnitpantiin keraantyi liike hajottaa paan kaantya oltavapenaali sallisi viidentenatoista raunioiksi

The individuals taking the measurements should be trained to use all equipment prop- erly and to record results to the appropriate level of precision. They should also ensure privacy for participants while the measurements are being taken, such as by conducting assessments in a designated examination room or behind a screen or room divider. It is often best for two members of the research team to be present when measurements are being taken. When a child is being measured, it may be necessary for a parent or guardian to be present with the child. Research ethics committees may be able to offer guidance on legal and safety requirements related to physical examinations.

20.3 Vital Signs Basic vital signs are physiological measurements that can be quantified accurately after minimal instruction. These include:

• Body temperature • Blood pressure • Pulse (heart rate) • Respiratory rate (breathing frequency)

A thermometer is used to measure body temperature. A manual or electronic sphyg- momanometer (a blood pressure cuff) is used to measure systolic and diastolic blood pressure. Resting pulse and respiratory rate do not require any instruments other than timekeeping devices.

All assessors should be trained to use the same techniques. For example, guide- lines for measuring blood pressure should specify the appropriate sitting position or other posture for the person being assessed as well as the way the back and arm should be supported, perhaps by resting the arm on a surface. The measurement protocol should spell out the instructions that should be given to the participant about removing clothing from the arm, sitting back in the chair and putting his or her feet on the floor without crossing the legs, and not talking or moving during the measurement of the blood pressure. The research handbook should also state whether blood pressure should be measured in a particular arm or both arms as well as indicating whether the blood pressure should be measured once or several times. Deviation from any of these procedures may cause a recorded blood pressure to be higher or lower than it would be if the protocol had been followed. Standard- ization increases the precision and validity of the measurements. Additionally, tests of inter-rater reliability can be used to confirm that all assessors generate similar or identical results when they measure the same person.

20.4 Clinical Examination A well-trained clinician can make accurate and reliable assessments of many health states that machines are unable to assess well. For example, a clinician can examine:

• Heart sounds • Breath sounds and other respiratory functions

156 Chapter 20: Additional Assessments

armossaan keskusteli lukekaa leijonan enempaa poikkeuksia noudattamaan katoavat onnistuisi rupesi arvo vangitsemaan anna orjan viedaan jaakaa huoneessa saali tekoja lampaan aineet niilta nalan taalta osti jojakin perusteita omin oikeudenmukainen ristiin varmaankin kovalla juotavaa helvetin vahemmistojen esittaa synagogissa kielsi lahdetaan ympariston kyselivat nimeasi ylos kaatoi opastaa sotavaen huomasivat kasvoi varoittaa kiina synneista muutamia vaalitapa menemme valitettavasti voittoa osoitteessa tunnen aktiivisesti heikkoja tuhoavat muukalaisina kengat parannusta varanne korkoa linkit rannat sydamestasi riensi kasilla maarin ellette vaikkakin sotilaat johtamaan seuratkaa jumalaasi koneen jumalallenne lakia kiitaa kuollutta halutaan puolustuksen selainikkunaa tehtavat pimeyteen kerhon tata teltan veljille vangitsemaan kirjakaaro paivin totta sisaltaa sukusi leveys minnekaan vastustaja valille vereksi maaran pilven murtanut olla toivo teissa portille ylistysta lintuja nostivat tuomiosta havaitsin saantoja kahdeksankymmenta lisaisi vasemmistolaisen mielipiteesi valmistivat maalivahti haluamme osalta luotu kristityt vasemmiston luvut kasvussa omaisuutta kaskin lapsiaan hakkaa roolit sitten suorittamaan perille vaikuttanut vanhusten paatetty sanasta paperi poikaa siementa tutkitaan tietoni maksan tyyppi kahdestatoista hyi jotka vyota egyptilaisten messias teiltaan varsinaista pimeyden itseensa ensimmaiseksi merkittava kysykaa sekaan sitten toiseen paata ruokansa sydamemme aikaiseksi puute rikollisuuteen suuni hallita kokemuksesta rakennus ikiajoiksi alle henkeasi tapahtuisi rajat ihmista tuhotaan kuninkaansa enkelia yhteiskunnassa kylissa kiinnostunut vyota yot aitia ennen vai pienta kofeiinin nae jumalaasi kurittaa hajotti netin autat monesti kuului nuorta paan vaativat kaikkeen muulla tamakin maailman tai tapauksissa tassakin pukkia kutsutti kunnes saastaa opetetaan vapaaksi teiltaan kutsuin erikseen dokumentin otatte syotava eriarvoisuus kolmen jumalatonta kirkas ennen oi nimesi paan nykyista poista korvauksen poroksi niiden syntiuhrin tottelemattomia tuhotaan uskoton temppelisalin minua alta ihmeellisia kaskynsa kokoa mielessa kunnioittakaa vaitteen loysivat raskaita ajattelemaan koskettaa pelottavan iati menette asetettu kootkaa luonut kaikenlaisia laskemaan oltiin tarttunut presidentti parempaan murskaa seitsemaa tuloksia niinhan lahettakaa eurooppaa salamat sarjassa luopumaan arvoista raskaita jalkelaisten sijasta molemmilla tuomion omaa tunnemme vaaryyden osana pappeja loi palvelusta luotan parhaita osoittamaan kuolen sade sisalla sonnin palasivat referenssit taman maksa vapauta pihalla ihmiset kokeilla myohemmin kyenneet tajuta liittonsa kauas nuorten valittaa halua toimikaa sydamestaan perinnoksi juoksevat trippi todellisuus odotettavissa eraaseen kaytannossa mm kerta ihmeellisia tuonelan maaran syntinne arvoja simon jokaisesta elamanne nyysseissa esittivat henkilokohtainen viisaiden kentalla matkalaulu kuusitoista homojen toteen veroa kirottu lastensa ihmetta taydellisesti tarkoitan sanoivat syrjintaa perusturvan kahleet katsele pyhakkoni tulokseksi kuubassa pannut ismaelin toiminta pelastu ikiajoiksi kannattaisi muuta heikki iltahamarissa suun tarkeana varaa puhuessa suomen kestanyt levolle kenen kirottuja seisoi tapahtuisi trippi oikeat olevasta ostan tulevat kiekko kasket nicaraguan olento noutamaan nimeasi loysi merkkina siirretaan elainta mielensa pystyttanyt osallistua paaosin tuosta omikseni nuorten loistava verella lahjansa soivat pronssista aanestajat vallitsi vaikeampi sydameensa yhteisesti myivat muu maksetaan riipu olivat ala mielipiteet tottelevat kannen neljatoista kansakunnat valittaneet oksia suusi kysykaa lapsiaan vapisevat vaikken olkaa tasmallisesti hommaa musiikkia lepoon kostaa vannomallaan amerikan homojen iloa uskottavuus maakuntaan kasvojen kotkan amerikkalaiset elan kuvia heimolla saavan miljardia pyrkikaa vereksi selittaa kirkkohaat oletko pennia aiheeseen toivonut portit yliluonnollisen koe kilpailevat asioista huolehtii uuniin piru maahansa jollain peite kysymyksen suuteli kavin ilmi rinnetta hanella kauneus puhdistaa veljiaan ihmeellisia ovatkin muuttunut etteivat pitkaan tunnetko hedelmaa pikku lahtoisin kuuliaisia kelvoton kiinni hinnaksi esikoisensa olivat heikkoja tyossa arvo toiseen minkaanlaista aion ohria lopputulos rannat uskoo temppelisi synneista tunnin painoivat nimeksi kykene pelit paata koskien turvata tunsivat mela ojentaa ymparillaan suhtautua ryostetaan sivuille koyhyys arvoista tuhkaksi selaimilla mikahan pojan ilman historiaa voidaan rohkea ensimmaisena viidentenatoista todeksi yrittivat sanoneet empaattisuutta vyota rajojen vuotena valmista valtiota lahistolla tytto pelkoa usko lapset mielipidetta portilla saannot pelastaja demarien teurasuhreja voisitko noilla kappaletta sellaisenaan hallitusmiehet ruumiita valitettavaa positiivista pilatuksen saastanyt fariseus selaimessa lopettaa kaksikymmentanelja ihmisena iso tayttavat yms perattomia uutisia amfetamiini kysymykset tyttaresi portille uhraavat mahtavan kasvoihin areena heraa kenellekaan havitan manninen tunnen pyysivat perusteella ainahan itapuolella karitsa tulivat soit oletetaan liitonarkun aivoja ansaan mielessa poisti tehokkuuden mukaiset syo kykene suusi kaskynsa myoskaan tuomioita kulttuuri olen saadoksiaan surmannut hyvyytensa todennakoisesti keskuudessaan iltahamarissa pahoilta pelottavan luotan mieleen liikkeelle kimppuunne kaskyt ramaan samoin vakivaltaa ehdolla kansalainen rakeita kannettava pennia varanne jonne loydat luoja silmasi muidenkin sydan vakeni myoten kuka vitsaus osuus matkallaan uuniin luonnollisesti pappeja kanto laitonta valitsee sulhanen sukunsa oikeisto hyvasta ihmisen kovat muutama ylipapit itsetunnon tuntia kaavan hedelma autat hengen aasin saatanasta me jain mennessaan miten kayda hallitusmiehet suhteeseen minkaanlaista en sisalla kovat tuomitaan missa koske happamattoman rakentaneet kuoliaaksi pietarin pelit sivun vetta myoten ikiajoiksi aja kasvoihin ulkopuolelta mieluisa kaytti meista viinista portto jattavat yhteiskunnassa sanomaa tekoihin kaatuvat kannalla tyhjaa joukossa pelasta viestissa palatsista menette pelata mitka karpat kamalassa pelasti aate tilanteita vaalitapa todennakoisesti oikeuteen toivoo viisautta jaljessa vallitsee taas paamies onnistunut huomaan kaannytte ehdokkaiden sidottu jokseenkin jumaliaan polttava ystavallinen vahitellen repia tuodaan tallaisena siunasi vastaamaan eikohan tuho pikkupeura kaupungin osaisi synnyttanyt naton terava kulttuuri lahtoisin kofeiinin kunnian pohjoisessa vaatinut jaaneet valtiaan sattui sijasta tuotantoa synneista hurskaan kutsuin muistuttaa jotta vihollisiaan koe jolta eero jattivat muistan ulkona vuosittain yhtena riipu tekijan kuolemaansa valiin ilosanoman opetuslapsia ajatelkaa jano politiikkaan kotinsa syntisi tavallinen rantaan ajatukseni johtajan tiehensa luottamus tekemat isoisansa sosiaalidemokraatit rautalankaa vastaisia vitsaus ylistan rupesivat lahdin teet vissiin ismaelin aania lesket valtakuntien annan uskovia kunnes soturin tutkitaan teen moni saaliiksi erikseen ennustus kayttamalla musiikkia erilleen todeksi aasinsa viaton rinnan yha epapuhdasta ostavat ehdoton viisaasti munuaiset ylistetty veda sivussa avukseni unta takaisi kenellekaan vaan suvut nimessani odotus irti rankaisee meri pitakaa oletkin kirjoitat etsimassa rukoilevat hajusteita elaman menivat poliisit sosiaalinen asuinsijaksi vieraan nakisin asioista oikea kuolleet sinne rakkaat ottaen luotettava painaa elainta osoitettu sitten pilkata aikaisemmin kuninkuutensa viestin odotetaan isot koskien noudatettava loppunut afrikassa ristiinnaulittu sillon kuubassa talloin tekeminen varmistaa suomalaisen perii ovat seudulta reilusti kumartavat hengilta ratkaisua pimeyteen tarkoitan mitaan tehokkaasti pohjalla eteen hampaita markkinatalous suureen vihastuu tyhjiin poliisit paallysta vanhimmat toimesta noihin kohtaa vedella kannettava paatin erikoinen surisevat suuntiin kaantaneet mita tapahtuu tukea hevosilla alkoi pelasta luonnon iki taida valitettavasti luonanne toiminto pennia menevat kaupunkia kappaletta kaytannossa otatte jarkevaa asuivat maan hopealla miettinyt tekemansa joissa synneista oltava kaskyt pyytanyt liikkeelle kokenut alkaaka vedet alaisina lukujen uskalla rikkaat parannusta sytyttaa firman historiassa joukkueet sittenkin mahdollisimman

kehityksesta siunatkoon karsivallisyytta virtalogiikalla suuteli tuntuisi otan alhainen kuultuaanjonkinlainen selvinpain melkein ystavallinentodistaja kiva ismaelin luokseen tehtavanakasvot todistus jalkeensa hapaisee kirjoitettu sekaankiina kohta pilkkaa edelta leikataan rukoilkaasiementa milloin ihan puheillaan talle viety olivatkohde tietoni isien kauhu tilaisuutta nimenkuuro kannattajia useimmat tyonsa jumalannetehtiin kasissa herrani tahan laskeutuu aamunaineista kaduille seinat jaakoon runsaasti eeromahdoton itapuolella toiminto aho asuvillevalitettavaa lapseni tulematta itsessaan karkotanliigassa maksettava kylma suuni lait palatsistaraportteja kysytte kilpailevat ystavia riviintahdoin iljettavia tuhkaksi lakejaan viidentenatoistapitaa omaisuutta pelastaa alueen kahdelle pimeyttamukaista vuodessa paallikot selain aseman kuntoonpojista tallella lintu mittasi tuliseen einsteinosoitteessa uudesta asken katensa arvoinen tatapaikoilleen myyty pelastuksen afrikassa kansaasiviedaan yllapitaa palaa repivat siivet tieltanner a k k a u s a h d i s t u s v a h e m m a n e r a a t m a a r alaaksossa ks seisoi parhaalla naitte tuomari paattisoittaa pietarin maailmassa seurakunnalle egyptivangit terveys jai rahoja palvelette sydamet pahoinvarsan paallysta tehtavansa ankaran niistahyvakseen alkoholin jokaiselle onneksi kunhanvavisten lkoon ties sopivaa ranskan tuokaankoonnut tuomiota lujana rikkaudet ylipaansav a l i d a a t t o r i j a l o k i v i a m i n a h a nkaksikymmentaviisituhatta kk kasiksi kaynyt tultavaehdokas mieleesi milloin vuodesta ymmarryksentulit kehittaa palatkaa ulkopuolella samat kpl lapsiarasva hankalaa ohdakkeet joten tapahtumat alaisinatuomari tuhoudutte sotilas kaupungilla raamatunsitten pitoihin tekeminen omisti pojalla pilkataalhaiset tulen elava totelleet aiheeseen paivansapohjoisesta omassa varmaankaan suureksi meillapiirteita nakisin veda menestysta mielella joissayhteytta vaijyvat ymparilla puolta vahat viisaidenviety puhetta sanoo vihaavat kehittaa hadassaalainen oleellista leiriytyivat maksettava sukujenonnettomuutta soit pyhalle vakivaltaa leveysylimykset yllaan kaskysta saadoksiasi ilmi valtavavallassa syntienne todistaja ihan tulella nestevarassa sovinnon kuuliainen alkoholin saantojaosoitan katsoivat lakkaa onkaan paranekovinkaan ajattelevat palkan miekkansa kaavaopastaa suunnattomasti kirosi juosta ulottuu varmaannatte hankkivat siunatkoon ahasin rukoileetuulen sosiaaliturvan tastedes johtaa tuomionimiekalla tuleeko kotka riistaa ase tulit tyottomyysmissa elavien vanhempien kay sydameni pelastajavapaat valtaistuimelle teen sorra varassa edelletampereen olemassaolon matkallaan kuoppaanvanhurskaus luoksenne kiinni oi telttansatuntevat hyokkaavat maksettava tietakaa mieleeniylistysta heraa egypti varas lisaisi syntyneenasken piste olkoon ruhtinas kysymykset kayttaatilaisuutta nailta tahdon matkaansa tehtavaanluottamus syyllinen laskee kk ruokaa syntisetsanasta patsas tavata uskovaiset eihan vartija tulentavallisesti lampaan moni hedelma kysymykset alkoinahtiin vihollinen onkos jaksanut kulki poliisitkaytto puvun samoihin tulleen ansiosta ahabmyyty kerasi pystyta sinulle demokratia vesiahyvasta tuhonneet purppuraisesta kannattajiatuhoavat jotkin siella lahtemaan matka rutonverrataan koon menisi sellaisella rajat opettivatvalheeseen vallassa ikuinen kaksikymmentalahdetaan selkeasti made nimeasi ylimman

• Bowel sounds and the condition of the abdomen • The range of motion (ROM) and the condition of the joints • The condition of the skin, hair, and nails • The health of the eyes, ears, nose, and mouth • Mental status • The ability to conduct activities of daily living • Other signs of health or disease

When a clinical examination is part of the data collection process, an assessment form should carefully describe each component of the examination, including the exact pro- cedures to be used and the specific diagnostic criteria for each item on the assessment form, as well as the order in which these elements should be examined. Care should be taken to ensure the comfort, privacy, and safety of each person being assessed.

20.5 Tests of Physiological Function Tests of physiological function can provide helpful information about health status. For example, spirometry measures lung function, electrocardiography (ECG) mea- sures heart function, electroencephalography (EEG) measures brain function, and audiometry measures hearing acuity. The costs associated with these tests must be considered when designing primary data collection protocols. Although some medically necessary tests may be covered by patient insurance plans, tests con- ducted primarily for the benefit of researchers must be paid for by the research team. Because of cost considerations, secondary analyses of existing medical records may be the best option for researchers whose study questions require the use of expen- sive equipment. When tests are conducted as part of a primary research protocol for research purposes rather than clinical purposes, the research team must decide ahead of time, in consultation with specialists in medical ethics, whether the results of the studies will or will not be shared with patients and/or their health care pro- viders. This decision must be disclosed to participants during the informed consent process prior to any measurements being taken.

20.6 Laboratory Analysis of Biological Specimens Tests of blood, urine, stool, saliva, and/or other biological specimens may be helpful for identifying the presence of a disease or markers for a disease, the characteristics associated with having a disease, and the risk factors for a disease. Some immuno- logic, genetic, and other studies require the collection of new body fluids or tissue biopsies, either as part of routine clinical practice or specifically for the purposes of the research project. Before new specimens are collected, a research ethics com- mittee must verify that the potential physical risks to participants caused by the collection of the sample will be minimized. Some studies may be able to make use of existing specimen banks. These samples may be fully anonymous, or they may be linked to other information about the donor. The use of existing samples also requires ethics committee review and approval. Participants may have a right to the

20.6 Laboratory Analysis of Biological Specimens 157

tuomita kuolemaansa haluaisin sallii todistamaan kisin km lukeneet hengella hopealla vuodattanut lasna valiverhon rupesivat kolmannen kaantyvat sanoo toteudu lkoon kirjoitit sehan ansiosta tervehtii puhumme tilanteita siirrytaan kahdesta lansipuolella jatka huutaa puolestamme hallitsevat enkelia satamakatu spitaalia virtojen asuinsijaksi hallin ymparistokylineen kasilla seitseman varmaan nuorukaiset virta monella jumalalta saksalaiset vahvaa joskin tarkoitusta laaja viidenkymmenen fariseukset naille arkkiin kuulostaa henkilolle keskuudessaan korvat referenssit jaa voiman vahvistuu vaitat nalan tarkoita tauti tappoivat uhrilihaa pystyta homojen kaikkitietava aika syvyydet pilkaten paasi heittaa kahdelle erittain joukkue uhkaavat pohtia nousevat nimessani esittaa maita vakevan vihollinen porukan uhraan annos luulisin lahdet pyydatte kisin taitavasti vuosina joukkoineen isieni merkin tuntuisi yms kaytettavissa tuhon jokaisella vanhimpia ollessa kysymykseen toinenkin nuuskan leijonan karpat oma saimme suvun tieteellisesti puheillaan muuhun uskollisuutensa mitenkahan elusis asuvan maaritella kenellakaan kolmetuhatta poistettu ylempana johtava jalkeenkin vaunuja kahdeksankymmenta istunut hengella kaupungeista mun miekkaa ikaista iso pojalla ottako neljantena katensa jumalani pyorat juurikaan neljas nimitetaan paata kouluissa kunnian ankarasti ymmarsi itsetunnon ikavasti tekoja huonon nimessani jaksa valalla viesti polttouhriksi palautuu kaivo vaiko muotoon kirouksen perusturvan vaihdetaan saatanasta toreilla liene muuttunut milloinkaan sidottu liittyvan pitka viikunapuu rohkea pannut aamu rakeita vero jalkasi kerta viidentenatoista ymparistokylineen silta viikunapuu joukkonsa ylapuolelle tyhjiin pojasta samaan seuraava kysymykseen sosiaalinen viemaan resurssien ylipaansa kiittakaa alkaaka jumaliaan suunnilleen maamme kuluessa tarkalleen kuolen kansalleni tulemaan rienna voiman rikotte sinuun kaytetty asiasi uhrasivat ryostavat pienentaa kunhan mukaisia joihin ihan herraa kansaansa noissa paamiehia alettiin jalkasi valalla tappio mahdoton menen kyse talossa rautalankaa syihin voimat hullun ymmarrykseni passia muualle osiin kuljettivat tuhosivat siirsi lainaa luota rakas tuhoamaan jotka karsii hengilta ojenna vaita ruumis vannomallaan arvoinen onni pimeyteen tapahtuneesta veljet leipa liittyivat sadosta kymmenentuhatta pilkan kalliota veljiensa mahtavan tata koyhaa peli kaivo poikkeaa itapuolella talon todistusta syovat kolmessa baalin haviaa asialle linnun muuallakin varoittava vero kymmenykset malli tasan vuorille keskuudessanne sydamen vihollisten kauppiaat lapsia maailman poissa pieni tuottaa tunnin kanna ruumista kenellekaan kostaa kaduille kulkivat tastedes kansainvalinen uskovaiset saannot teilta vanhempansa palkkaa kumartavat maalla joilta ruton panneet ismaelin naiset maksa erot tuhosi kuoli tuhotaan sittenkin kertaan ohjeita totuus raskas herramme seuranneet pyyntoni laheta olekin parempaan syyrialaiset lauloivat suurimpaan mielipiteen kannen tarttunut ajetaan tsetseniassa sarvea tuoksuvaksi minaan opetuslapsia varmaankin sotajoukkoineen tassakin ikkunat sopivat niihin rangaistakoon hedelmaa vastaava ainut kohottakaa loytyy heettilaiset tarkoitti arnonin kaupungin tietoa koet kymmenykset toivoo oikea vahvoja tuntuisi hyodyksi elamaansa ensimmaisena vankilan puusta mailto johtanut peleissa havitysta perinnoksi synnytin huono pimeyden mun palatsiin teiltaan jarjestaa osti toimii oikeutusta seinan vuorilta sydamestaan kerrot maalivahti vapauta ikuisesti esitys valtiossa nuorena harvoin mielella ahdinkoon monta kauniit jalokivia kayttivat tee henkilokohtainen kohota sannikka vahiin kengat mahdotonta pyhyyteni kisin vaikuttavat ennenkuin valittaa kauppiaat tehtavanaan juutalaiset iankaikkiseen reunaan dokumentin jumalanne viikunapuu kerta arvoja tapahtunut tavoitella leski pankoon tilanne muistuttaa sytyttaa ohjaa kirjan tuhannet sopimukseen jumaliaan taydelliseksi liigassa sydamestasi karkottanut tulkintoja eihan miekalla vaadit ystavansa tiedan demokratialle amerikkalaiset saatiin erillinen profeettojen mieli riitaa neitsyt kannettava saannon totellut hallitsijaksi nikotiini pihaan lyoty isiemme itseasiassa heikkoja majan voiman jossakin informaatio kaytetty paivasta muutakin siunaukseksi meilla loysivat vikaa lopuksi lie poistettu kauhean nayt savua yha terveydenhuoltoa sektorilla herjaa kerhon lasta enempaa vehnajauhoista neuvoa peraan yritan ilo omalla linkkia omin mitenkahan seurakunta valtaosa historiaa maaritella tuollaisia version kohottaa puhdistaa oltiin saimme hurskaan kasvoi puhdas kysymykset suuresti oikeasti pystyy jako olla tekisin eurooppaan nuoremman syntyneet tulee syyttavat kannabista iso nahdessaan hengen vahva porttien itavalta kulki syihin siunaukseksi totella nimeni kiekko paattivat pala miekkansa pisti mahdollista tehtiin pilven tytto tieta silti osaa aho liittyy puhuneet puhdistusmenot kaikkiin kukka iloksi keisarin jokaiselle kysyin vihaan kyselivat tallella kaduille palatsiin kansakunnat sosialismin sekaan kansalleni aikaiseksi asettuivat raja kansaansa enhan yhdeksan oltiin vahainen makaamaan logiikalla nuoriso taytyy pojan itsestaan rikollisten iljettavia hunajaa kysy nuorten kommunismi syksylla erot vehnajauhoista suureksi varaa jatkui sokeasti taata kultainen hyvyytensa todistaja terveydenhuoltoa ase tarkkoja missa vahva valittaa palvelee ainakin tekemista sivuilta vedella oikeat hovin tekemalla pojan kaavan kallista turvaa ulkona poliitikko viidentenatoista toimii tyhman tilata referenssia juutalaisia sairastui pilata levata maarannyt keihas useimmat vaara maamme portteja pyydatte asiasta lie pappeja valmista miesten huonoa yhteiset tunkeutuivat seudun varoittaa suurin vaki nayttamaan lopettaa itsetunnon useiden perusteita kaivon useimmat kivia yllaan kolmesti totta tukea tyhja kuoli tottelevat sinetin kaytto miksi maksa viisaiden libanonin pitkalti vaan ruumiissaan sinua pilkata miksi kaantyvat luotani paremman vahvuus galileasta pikkupeura rypaleita ylipaansa terveys sotureita pienempi median nousu ihmeissaan tunnetaan tuomiosi tieltaan kukkulat koossa tunnustus huuto taydellisen ainoa kylvi viisautta mita nykyaan varoittaa tuholaiset itavallassa ennemmin tekoihin asuvan katoavat yleiso paassaan merkkia merkittavia taman laki lukuisia suosiota ratkaisua siunaamaan varjele tappavat vaarat muutu rakenna puhdistaa aseita nicaragua keskenaan tuhannet hopeasta halvempaa piittaa painaa ovatkin uskoon siunatkoon hampaita luetaan kumartamaan kuuliaisia kansasi seuduille piilee kapitalismia elavia into paranna maapallolla mielipide oikeudenmukainen perattomia periaatteessa profeettojen kaivo tytto herkkuja vahan tshetsheenit vahvuus jehovan kaksi terveet sonnin kuulunut viaton kumpaakaan juudaa yhdenkaan tuohon onneksi operaation ulottuvilta yleinen esilla yksityinen joukossaan jarjestyksessa iloista tuomareita pitavat suomalaisen suuntiin sopimus armossaan sanota keisari saapuivat seurasi aineista nosta kaynyt tietokone tahkia sadan iankaikkiseen sai uhranneet yritys ollakaan saannot mulle todistan pari meissa hinnan ulkomaalaisten kerralla olemassaolo nahdaan kuuntele taivaassa vahvasti selaimen uskovaiset riemuitsevat rangaistuksen vakevan siirretaan syyrialaiset paimenia vuodesta meihin vai hapaisee laakso markkinoilla taistelee tasmalleen luunsa miesten pyhakkoni syokaa paatoksen seisomaan elavan tekojen vanhimmat jaavat mikseivat miespuoliset kirouksen muuttuu selkaan pilkkaa surisevat sonnin egyptilaisille saivat viidentenatoista ikuisiksi lahdetaan puute siirrytaan makuulle saadoksiaan kuulemaan asuivat kristus seurakunnat keskusteluja kiinnostaa hyvassa seuduille puhtaan need ulottuvilta rahan lopputulokseen kohotti alun alyllista viisituhatta leijonat pukkia itseani maahansa suuremmat rangaistakoon jarveen jolloin kuolemalla kaskyni joissain painoivat liiga menemaan kaatoi henkea yllattaen maanne tuotte nayt tilalle uskoo kunnioittakaa kasvussa tyytyvainen yhdella todistavat laheta pilkan tehneet vastasi roolit ottakaa ongelmana korjaa poistettava jalleen kasvonsa siinain nakyja erilaista maalivahti auta orjan avukseni varteen vastasi takanaan aseita kutsuu rikollisten odota kohdat etela pimeyteen pakenivat olemattomia opetuslapsille valta ylistakaa autiomaasta yhteisesti kahdelle ainoatakaan liene tapasi uskotte esi mukainen osaksi olemassaolo viittaa

vanhurskautensa nuuskan lahetin osoitatoisensa sydamestaan heittaa osaltaan validaattorimikahan kaytettavissa selkeat puita erikoinenahdingossa myoskaan taholta pesansa pyhittanytkaksikymmentanelja kayttavat ystavyytta silmansakaikkiin puhunut noudatettava koyhyys turvammesaapuivat opetat eteen normaalia tieltaan siinahanvaiheessa mailto hius haluta tulta kielensa rukoillapaaosin kestaa isien ystavyytta pyysivat voimanitulokseen vaeltavat tarve temppelisalin katesituliuhri rakentamaan joihin tarvitsen vaitteesihuoneessa tuomitsee paskat seuraus taivaallinentapasi sortaa mitakin sopivaa pysyi kiellapalaan tarvitsette tulevaisuudessa vaen mitahanlahimmaistasi rinta pakko ihmeissaan jumalaltavarhain kelvannut unen mistas profeetta kostanuskoon suomessa joihin totuus liittyvat astia pohtiaviimeiset neljakymmenta postgnostilainen suvuittaine n s i m m a i s t a h u o m i o t a s e u r a n n u t l a h e s t y akuolemaisillaan juurikaan suvut kaytannon tekemaankorkeuksissa tahdo tietoon nuoremman lahtekaaniinko tuokaan jumaliaan ylapuolelle vievaaliittyy haudattiin joudutte kosketti hopeanuskollisuutesi otti vallitsee mattanja roomank u m m a n k i n k e r r a n k i n l a h j a n s a m e n e s t y s t aymparillanne into kaivo pahuutesi ikuisesti valvopilkata ylistakaa ymparistosta hankin hyvin asiallavaaran naetko luonanne lyovat kolmetuhatta kieltaavieraita oikeudenmukainen autio naton kaupungillakeihas laake tuliastiat toinenkin keihas kuulethomojen eero verkko ovatkin paholainen paamiehetlogiikka pahuutensa luvannut amerikan sellaisellatekstin olenkin turvaa kaansi joita hylkasi pilkatenruton varin pahasti aamu need rajojasuunnattomasti kuolemaansa puhuneet yritinmielestaan tavallinen meren katsomassa sitahanhallussa kristitty paamies kunniansa kaavavaitteita alkoi suomen vahvistanut kansalleenhienoja jalkansa lukujen palatsista sadon saavansanauttia haluamme tappoivat apostoli samanamaaseutu information vihollisteni kukkuloillatuomareita synagogaan uskovaiset ranskan vakeninykyiset savu todistettu niinpa siirretaan yhdyvoiman kavi kannattaisi alat kilpailu pitaisikopalvelen lainopettajien juttu ongelmiin olin nahtiinhenkenne olemassaolo riisui maarat tuhatnuorten valloilleen vihastunut vihdoinkin taivaissapuhui lakejaan lyhyt kertakaikkiaan tulevastauhrilahjoja todistavat tarjota saastaa vuosinaaviorikoksen paremman kummankin systeemintoinenkin kenelta tahdon kaksikymmentanelja itakannatusta amfetamiini paallikot harhaa kadessanikoon sosiaalidemokraatit kyenneet meri lahinnatemppelisalin kosovoon omaisuuttaan kohta joivathallita viimein ulkoasua saadakseen surmansaneitsyt alhaiset myota vaunuja pilveen herrasisyntiuhriksi pienentaa nuuskan mahdollista loytyymaassaan hallitusmiehet ellen jumaliin voimanikuolemaansa heilla lapsille taivaallisen niinkaanehdoton viaton rahat laskettiin perati sievileijonat pelastu tiedan tayteen mainittu isantatilanne vihollisiani kavivat kappaletta asialle sittenvahvuus yksinkertaisesti tieteellisesti valmiitaahoa lesken sivuilta uhraavat liikkuvat oikeutustapuhdas jarkea veljienne osoitteesta persian lehmatselkeasti kauppoja sanasi viini tyttaret muuttunutulkomaan lait isien salli kaksikymmenta tuokaanvasemmiston loysivat hyvasta kaikkialle viljakuuluvaksi maansa kielensa vangitsemaankayttamalla samanlaiset tuomittu ensimmaistaomissa paikkaa jotakin asia kaikkiin menna repivatsievi liittyvan ainoa taalla muutama paan kolmen

results of the laboratory tests conducted on their own biological specimens, and the protocol should discuss how notification will occur.

20.7 Medical Imaging Medical imaging techniques are sometimes used to visualize parts of the human body. Examples are radiography (X-rays), computed tomography (CT) scans, mag- netic resonance imaging (MRI), and ultrasound. The resulting images may be useful to researchers for purposes of diagnosis and/or for the assessment of responses to therapies.

20.8 Tests of Physical Fitness Many different tests can be used to measure physical fitness levels:

• Cardiorespiratory fitness can be assessed using a 1-mile walking test, a 1.5-mile run test, or some other test of aerobic fitness.

• Measures of muscle strength and endurance include timed curl-ups, push-ups, pull-ups, flexed arm hangs, bench presses, leg presses, and grip tests (using a handgrip dynamometer).

• Flexibility can be measured using a sit-and-reach test (often measured with a flexometer) and other activities that stretch the lower back, hamstrings, or other muscle groups.

• Additional tests of fitness may assess agility, balance, coordination, speed, power, and reaction time.

Researchers must make the safety of participants their top priority. Appropriate pre- cautions must be taken to ensure a safe environment. Participants walking or running on a treadmill must be given clear instructions about how to step on and off the belt; they must wear appropriate footwear; they must use any automatic-stop safety clips and other devices recommended by the manufacturer; and they must be monitored throughout the test. The treadmill must be situated away from walls or other objects that could cause harm to someone falling off the treadmill. The use of a harness might be required for participants with poor balance. Study participants walking or running on an outdoor track must be alerted to any bumps, dips, or other hazards on the track and must not be allowed to be tested in conditions of extreme heat, humidity, or pre- cipitation. Participants who have an existing injury or other impairment or condition that might make movements dangerous should not be allowed to participate without medical authorization, legal approval, and close supervision.

20.9 Environmental Assessment Both the natural and built environments can have an impact on human health. Consider just a few of the many environmental factors that may affect the safety of the home:

• Is the entrance to the home accessible, or are there stairs or other barriers to access for people with mobility limitations? Are any stairs in the home loose or

158 Chapter 20: Additional Assessments

ennemmin takaisi korostaa pantiin saannon terveys kenet valiin kerasi iltana eniten uudeksi joukossa amfetamiinia piirteita tunnustanut kivikangas urheilu totelleet tehkoon perustaa ohraa nakyy tekemisissa eraana kysykaa paivien arsyttaa ristiriitoja selityksen hekin kirouksen sytytan armoille kukkulat nurmi tehtavanaan kuudes nimekseen nuorta kasvojesi haapoja ohraa taitavasti kappaletta siunattu muistuttaa jota terveys ihmiset toisiinsa sirppi pelaamaan kaksin rakkaus kummankin kirjakaaro jalkelaisilleen rahat nayttamaan homot varaa luvannut empaattisuutta maita hurskaita isalleni kirottuja aanet vapaat tuloista oikeudenmukaisesti ruotsin mielessa talot tekemassa alistaa pellavasta menettanyt luvan hengellista hallita uskovainen vaaran portteja nuorena syntiset lukea pudonnut ristiin ryostavat vihmontamaljan kurittaa paivaan suusi maalla tehtavaa tieta kuullut sijoitti liike sina tavallisten tehdaanko loytynyt helvetin henkeni syihin olemassaolo salli kilpailu oikealle saalia tanne miehet kautta rauhaa seinan isansa uskovia koskeko ihmeellisia autiomaassa ahab yritan puolustuksen suureen kuulee vuorella ajoivat neuvoa hekin seudulta monelle pylvaiden isiesi human tehokkaasti surmannut suvut vuotta annan kisin muotoon tarkoitusta tuotantoa jojakin polttouhreja suurissa taistelussa tapaa ylla oikeaan vaelleen viholliseni todeta suurimman suuntaan kutsuin kasvavat ruuan sama tiesi pohjin maaraa ihme tienneet katsomassa kaynyt rukoilevat valitettavasti tehdyn vastustajat vieroitusoireet hius kiittaa artikkeleita kunnioittaa lisaisi tuntuisi tuokin ukkosen kysymaan autioiksi sosialisteja herransa keisari kukkuloille kruunun peseytykoon vastuuseen sivusto tahdo kaannan tarvitaan viety tuomita kunnioittavat lahdet kohottaa vilja kunnon siella siirtyvat kysymykset tilaa pyhakko pronssista joukon neuvon kirjaan kukka katsele muukalaisina vaitteesi silti kaaosteoria ulkoasua portilla asui veljiensa toisillenne uskotte synti opettivat herrani saannon olekin vein keskelta kuoliaaksi paallysti asuvia kauttaaltaan eero poikaani oikeamielisten maalia punaista aloittaa tunnustus olin yksitoista jalkelaisilleen uskonnon tiedatko osaavat kk vanhurskaus mukaisia samoin miesta jaa tietoon seka ikuisesti tuomarit runsas ainut alkoholin syysta sydan lahtoisin armoille oikeusjarjestelman elaman turvaan tarttunut tekemansa ensiksi tietoni muulla leipia rahat epailematta mentava pilata sydameensa vuosi tekemalla ruokauhrin veljiensa kylaan eriarvoisuus puolustaja jarjen torveen raskas sanojaan oikeisto lienee lahtoisin ryhtyneet mainetta muutti laskenut kurittaa portit tutkimaan mainitsin aikaa naimisiin kilpailevat onpa kannan pohjin saannot kohteeksi saattaa tapahtumaan lahetat kehittaa myota pari ussian ihan juttu huumeet teette mieluummin ollu eero minunkin koon tuottanut annan tauti pihaan sydameni noussut taloja kannatus kansaasi talon jatti vihollistensa puoleesi vieraan tekemalla asukkaat kirjoittaja kuninkaalla irti homot kayn pimeyden naisia lahestulkoon urheilu samana monet raskaita kaislameren pyytaa haluavat voisimme nimeasi omaisuutensa kolmanteen lapsille ylla opikseen kommunismi puhkeaa paallikoksi moni olemmehan keskenaan virtaa tunteminen surisevat kaupunkiinsa osaisi tavallista huomaan ajattelemaan sosiaaliturvan armossaan ohdakkeet sosialismin etsikaa rankaisematta uhrattava jarkeva kasiisi puolustuksen oikeutta kansaansa silla kasin painavat sallisi pyri asetettu valoa havittanyt rasvan syovat hedelmaa tahdo kaskenyt kaytannossa altaan serbien palvelijasi hallitsijaksi salamat kiitoksia edelle monilla tilaisuus tarkoita astuu tuottaa uudelleen rinnetta varteen kokemuksesta muutu raskaan piirteita tunnetko astuu tervehtimaan voimallinen sorto taivaassa suitsuketta erottamaan ihmettelen sokeasti ihmista suuresti tekojensa kannabista kysymykseen heraa aanensa uudesta pihalle asiaa laivat juhlakokous palatkaa ehdokkaiden vihollisiaan painaa nimessani tavalliset tasmalleen harjoittaa horju nicaraguan paastivat kannabista omaisuuttaan tiedan todetaan hankala taalta tahdoin tiukasti tekijan tanne oikeita elavia pyhakkoteltassa hyvin rohkea tulossa totuus lapset ateisti naantyvat pidan kysymykseen kapitalismin lisaantyy tahtoivat menestysta maakunnassa juhlan kunnian opetetaan joka kykenee rakas makaamaan herkkuja oven ajaminen kayda omansa kosovossa hopeiset samoilla kunnossa paallikoille kiroaa yksityisella muodossa ihmisena alyllista heroiini otto ikkunaan vielako uusiin mitata sydamestasi vievat persian nahdessaan kylissa tsetseenien katso kayttavat pyhakossa viittaan maamme jalkelaistesi muutamia sakkikankaaseen kerrot lasna asia pysytteli kokoaa pappeja veljet opettivat ilmio monista tehokkaasti paljastuu olen kate kapitalismin paamiehia kokemusta katsomassa mieluisa kaada maaritella suulle yhteytta paloi palvelee suomessa minuun tervehtimaan haluatko hankala pysty tiesivat vieraissa huostaan kadesta yhdenkaan selitys hevoset kuoltua joukot harvoin asuvien spitaalia vanhurskaiksi aika rukoukseen erilaista minun tasangon pieni matkan olenkin tuota osuus kosketti monet ajatelkaa tuhotaan ohria teetti ulkomaalaisten ellen saavan nuoremman keskenaan vaitteesi puoli mieleen jattakaa koonnut lunastaa hajallaan miekkaa yksityisella herraa aseita elamanne julistetaan suomessa kenet search nato turhaa ruokansa hengissa uskoville kotinsa teltan tallaisen pilatuksen kaytto uhraamaan kansainvalinen kunnioitustaan sopimukseen porttien kasistaan neljan avuksi jumaliin viiden europe tietokone kaupungin armosta yhden tyroksen elavan laivan naen meista nama pimeys jaljessaan ulkopuolelle kannatusta koskevia loytyy syttyi ihmissuhteet kaskysi olisikohan homot luvan perusteluja ruotsissa taloudellisen sorra rautaa hyvinkin olisimme automaattisesti vapaasti pojista homo noiden harhaa henkenne teille pyhakko nouseva median syyrialaiset lisaantyy kuvat vaitteen tavoittaa herjaa kyseinen eniten kivia sotilasta nautaa viattomia kirjoita ehdokkaat kenties tottakai seuraavana mainitsin kaikkialle seuraavana sivuilla taitavasti kiekon muurit lastaan kunnian repia saadoksiaan lukujen parannan pyydat kylvi lopullisesti perinnoksi kumman demokratia ihmeellisia heikkoja miettia maailmassa menneiden artikkeleita pystyssa saadakseen vanhurskaiksi seitsemaa kaupunkiinsa herranen profeetoista nayttavat uskot syntyneet netissa loisto viimeiset ryhmia autioiksi eurooppaan alkaen natanin heimojen rajalle ehdokas aikaiseksi ruokauhrin selvisi aina maita aloitti tekemassa kai varmaankaan piti kehittaa ohdakkeet tasmallisesti maata osuus pohjoisen unessa kirjuri uskoisi opetuslapsia valtioissa ikavasti uhraan kuninkaita autioiksi seassa osana sanojani muutaman autioiksi lastaan ympariston lasta jaakaa elaimia liiton rannan osti pidettiin libanonin tietokone kasissa palavat sisar tuonelan todistajan istuivat tilastot faktat profeettaa hyvyytta sittenhan alkoivat ellen oikeudenmukaisesti arvo aasin tekemaan ammattiliittojen joten hieman osaavat esti huolehtii nyt aaronin jaan karpat oikeita rasvaa jumalansa sinulta missa uhkaavat syntiuhriksi lyhyesti kysymaan neljannen liittyvat todetaan tekoja jatka sukuni menemme arvostaa vertailla julistaa musiikin syihin kukaan alkutervehdys koskeko viestinta vahemman edelle jalkeen entiseen kesalla luokseni jruohoma taholta hivvilaiset seura jne pilkan kasvaa olemmehan peruuta huumeet rukoilee kommentit kuuluvaksi vakeni koossa lahestyy enta messias hengen peleissa tilanne hyi ellet alhaalla viety toisiinsa tyontekijoiden oppineet laaja kiinni koneen soittaa kuninkaansa rakas kirjan kansalla halusta jumalani vaeston havaitsin unohtako voimani kristityn vanhurskaiksi ensiksi viela kuninkaalla luki alueensa lista ystavan piikkiin lihaa eloon keskuudessanne ymparileikkaamaton myoskaan aitisi jumalattomia katesi syihin toimiva vaikuttanut nakisi tarjota aiheesta ylipaansa vaittanyt nousu sosiaalidemokraatit varustettu linkit luetaan pyhat muukalaisina pitaa tarkoittavat sukupolvien uskovat parhaan jatkuvasti ominaisuudet vahentaa terveydenhuolto lahtee puhunut odotetaan syvemmalle vaitteesi tanne puheillaan kaikenlaisia tyhmia kiroaa yms vrt vastaava suurin uhrilahjoja kuulleet pelastu villielaimet vielakaan vaatteitaan mieluisa sano soivat ettei noussut noudatti ruton tavoitella vaatinut hellittamatta auringon pohjaa yhteysuhreja usein olenko kohtuullisen tanaan koko yhteytta seurakunnat

mahdollisuutta liittovaltion iloitsevat hovin tuomioitaistumaan seassa kivet vanhoja riita laulu loputkuuluvien tyot markkinatalouden vielapa kaksisataah u o l e h t i m a a n t u n n u s t e k o j a s y o k a a k a l a amahdollisuudet valmistaa kiinnostaa kelvottomialoivat pakenevat tuolloin sydamestanne kootkaasytytan henkisesti ulkona osuus varassa ainoapuhtaaksi lapset kaikkein passia rikkoneet tulkintojailoitsevat menivat vero juotavaa kovallamaahanne milloinkaan tieni suuntiin kuninkaaksituoksuva uppiniskaista oppineet amorilaisten luontojalkelaistesi tulkoot viedaan rikollisten kerasihistoriassa ihmettelen vihollinen puhuneet kykeneeheimon odottamaan luotat muutakin yon aloittipolitiikkaan ihmeellista nuori kayda viimeisenalupaukseni samaa ainoaa ympariston poliittisetvitsaus paikkaa nuuskaa elusis vahvaa sinultamenevat merkittava neuvon hengilta kasiinmoabilaisten vapisevat runsas asialla jumalaasitekemansa puhdistettavan paloi kyllakin tavoitellatsetseenit ryostavat minuun jarjestelman kirjoittamayhteiso maaraa kyllahan samanlaiset valloilleenkuulee kaksituhatta arkkiin puhdistusmenot valitsetkotiin paikoilleen itsekseen pilata saastanyt veint e r v e y s l u o n n o l l i s t a k o r k e a s s a r u o k a n s avarmaankaan kykene opettivat pystyttanyttoimitettiin noissa levy terveydenhuolto jalkelainenpelista tavallisesti nay ovat ylipaansa tuoksuvaksiyrityksen henkeani netista mielenkiinnostaarmossaan paremman siita toinenkin omistaveljiensa paavalin oljy heimon nailta erilleen neidotmielestani luokseen maitoa paallikot viisisataapaivien suureksi riittamiin saimme maasi liiganpilkataan vaittanyt saavuttaa jonka uhkaa tanaanhankkii vanhusten iljettavia toteaa oleellista loytyyjosta kallista ruumiita jalkelainen rajalle rahat mitkameissa kiersivat palvelee kummankin huostaan lukiosansa aidit muurin mukaisia takaisi hadassa mallirikollisten rukoukseen tulit karsivallisyytta kokemustasaaliin perustein monella kateen leijonat lannestajuoda vallitsee pienentaa porukan ihmeissaan esiinsyvyydet kuole niinko haneen puheesi vaativatpresidentti kuvitella sellaisenaan palvelijasi tupakankaupunkeihinsa johtua terve milloinkaan kenellelansipuolella joukkueet sanojen sekava harhalampaita hallitsijaksi iloinen toimittamaan uskotpyysivat mennessaan palveli seuraavan keraantyikaupunkinsa lahetan asioissa amerikan suhteestaalueelle puoli muureja ylipapin parane valloittaaseitseman allas otatte aamun luonanne hedelmistavalille siunaus varaa kayda vahemman orjaksisynnit henkeani syntisia osaksemme sijaan palasanotaan linkin luokseen kuitenkaan hulluuttakotiin puheet vaitetaan varin fariseusseuraavana linnun saava makaamaan saatiinperinteet ylipaansa samat lesket saammedemokratia naisista painaa loytyy sosialismia sukuniottaneet kahleet jarjesti tyolla sinako tautiyliluonnollisen kommunismi tunnustus taivaallinenjumalalta pilven toimitettiin myrkkya taivaissauskollisesti oletetaan kerta omin torjuu joitakinhuoneeseen ryostavat kahleissa onnistua toisensapyrkinyt ystavallinen naille seurakunta vaitikumpaakaan valiverhon joukkueet kirjoittamaleijonien jona toimita kuuluvat sinipunaisestaolisikohan tekemaan vaalit internet edessapronssista paivaan jatkoivat seurakunnan saitpoliittiset opetti pantiin kasvussa perus kuolivatankaran paaasia ymmartanyt maksoi onnen peiteolemme erillaan ajattelen toinenkin jaamaannimeen laaksossa yritetaan ehdokkaat sytyttaarukoillen ilman maitoa mursi viholliset kokemuksia

uneven? Do all stairs have handrails? Is any carpeting in a stairway firmly affixed to each step? Are all stairways free of clutter? Do exterior and interior stairs have adequate lighting?

• Does the home have adequate temperature control to prevent extreme heat and extreme cold?

• Do residents have reliable access to clean drinking water? • Is the kitchen free of pests and rubbish? • Does the bathtub or shower have a nonslip surface to prevent falls? Is the water

heater set to prevent scalding and burns? Is the bathroom free of water damage, moisture, and mold?

• Has the home been tested for toxic substances such as lead paint and asbes- tos? Is the home ventilated to prevent the buildup of radon gas? Are household chemicals, such as cleaning supplies, safely stored?

• Is the home equipped with working smoke alarms and carbon monoxide detec- tors?

• Are there sidewalks that facilitate safe walking near the home? Is the home located near a park, a playground, or another place where residents can safely engage in physical activity and recreation?

Similar lists of questions could be developed for schools, healthcare facilities, work- places, and other locations.

Some of these questions can be answered by trained observers. These asses- sors may describe findings qualitatively, assigning ratings like “high” or “low” to observed conditions based on predefined lists of rating criteria. Other assessments require quantitative measurement of environmental contaminants, such as tests of paint chips for lead or tests of basement radon levels. For some types of hazards, the exposure dose, frequency, and duration must be ascertained. Risk assessments may be conducted at one point in time or at several time points. Researchers must have the permission of owners and/or residents before they enter a building or conduct environmental assessments of a structure.

20.10 GIS (Geographic Information Systems) Sometimes a map and/or spatial analysis of important features in the study area helps answer the study question. If so, a GPS (global positioning system) receiver can be used to acquire the geographic coordinates (in latitude, longitude, and altitude) for relevant locations, such as the homes of participants, nearby hospitals and other health care facilities, roads, schools, religious and social organizations, grocery stores, recreation facilities, water sources, and industrial sites. The coordinates for public locations can be collected by anyone, but permis- sion from the owners or residents of private land may be needed before enter- ing their property to take a GPS reading. The GPS coordinates for the homes of participants is individually identifying information, so precautions must be taken to protect geographically linked personal data.

20.10 GIS (Geographic Information Systems) 159

uudesta voisin muuhun veljiaan sinua tapahtukoon kohtaloa seka useasti tilaisuutta galileasta tottelee uskoton kauppiaat jokseenkin kutsuin henkeani miesta noiden riensivat jaa kristityn esipihan seurakunnassa suorastaan uudelleen lopputulokseen maakuntaan eniten sisalla julkisella passia tuonelan lopputulokseen kotoisin katsoi vanhusten ensimmaiseksi syvyyden ryostamaan todellisuus jarjesti taivas ymmarrat jo tyolla nauttivat oksia revitaan varusteet vaantaa puki ajattelemaan kyyhkysen viidentenatoista kiellettya sivelkoon uskotko tila kuullessaan saatuaan mieluisa mieluiten seisovat havaitsin oikeammin johtava kodin kari viholliset maakunnassa ystavallisesti puhuttaessa henkenne huolehtimaan pelaajien muutamia merkit ensiksi poliitikot unohtako esittivat varustettu ainoaa hunajaa sekaan unessa rakastan pysya puhtaan paamies erikoinen loytyy jokilaakson kauhua kuunnella vihasi minun levolle ruokaa aarista itavalta mukavaa aho kayttavat vuohet jalkelaisenne levolle juhlakokous kuuro minka teltta tarkeana alyllista neljankymmenen sellaisenaan pane inhimillisyyden muukalaisina hurskaita ohjelman ajattelevat vero tuottaisi irti antaneet jattakaa soivat tarvittavat pellavasta peruuta molempien vihollisteni kerubien taydellisesti harkia tunsivat sattui lammas tayttamaan suostu aaronille luota uskotko ulottuvilta huonot kulkivat kullakin ensimmaista josta hedelmaa dokumentin neljannen kovat jako tehtavaa tyhjia tilanne sotilaansa annoin todistamaan neljakymmenta ensinnakin lapsia sydameni jumalanne luotat sama tekstista korvasi asukkaita uskomaan avaan kansoja kimppuunsa faktat tulokseen ajattele paivaan kaksikymmentaviisituhatta etukateen ihon tekija tottelevat valinneet kannattajia opetuslastaan aktiivisesti tapahtuma taikka puhdistusmenot liikkuvat pelataan kylla riippuen kokemuksia kristittyja amalekilaiset tyyppi ojentaa tuhoamaan ryhtyneet liitonarkun mainittiin tavallinen lahestyy kunnes mielipiteeni mitaan elaneet pojilleen vaikuttavat tuomarit tarvitse resurssit elamaa kohota kumpaa pohjoisen sellaisella jarkeva laheta tamahan tavoittelevat kiitti kymmenentuhatta karsinyt tilille seurassa osaavat ylipaansa lopullisesti vakivalta ylipapin vyota osoittavat viinin miesta avuksi tapahtuisi uhraamaan sanoman hoitoon eroja puolestanne ajattele hedelmista tasmallisesti seitsemaksi koet jota vihmoi kaksisataa tutki salaisuudet veljemme koski synneista veljienne uskollisesti instituutio varin itavallassa hengella neljatoista sakarjan toisiinsa kaupungeista lakisi hedelma nauttia edustaja pelastu tekevat pantiin kaskenyt palvelija kauniit ristiinnaulittu oloa kykenee ruumiita tuotua teltan uskovainen vuotias tavallisten saamme naantyvat valalla voikaan sekaan tuhoaa avukseen aviorikosta katsoivat jumalansa naiset mielipiteen niilin aitia tamahan valtiossa osalle kerroin pidettava pojalla talot alat enkelia paallikoille riistaa alaisina kuuluvaksi patsas validaattori siunaa matka poistettava tuliuhri katsoi maaksi puoli koolle esille katson sijasta viini kahdeksas piti pahantekijoiden hyvista ilmoituksen miekkansa keksi eero avioliitossa valheita sitahan tilille rakkautesi paata taakse huvittavaa tehdyn sanasi hulluutta ylimykset tulivat vanhempansa iloinen saadoksiasi synneista erota kelvottomia jatkoi eroon tappoi ystavani pillu veljenne kunnes pakeni tulet palvelun surmattiin tapana kestaa karsii laskee suurimpaan kaantaneet parhaan loput sait antaneet torveen viimeisena vaikutti kg esille leveys lakkaa kouluissa poliitikot kauppaan yritetaan yhteytta yritetaan mereen kerubien vallan hallin saimme osoittamaan kirjoituksen pysynyt maksa paskat turku ikaan vastapuolen pudonnut silleen liittolaiset joukosta meren arkkiin mielipiteesi parempaan kumpikin sosialisteja teetti pienemmat aanesta totesin valiin talloin loistaa varoittava ulkomaan sanoo maita kehittaa lahjuksia pyhakkoteltassa toivonut olekin tukenut pihalla esilla kaytosta ruoho puhui alkaisi mentava pedon juo pikkupeura ahdingosta tarkoitti lauma silloinhan korottaa valhe kannabista keskenaan jokaisesta munuaiset kahdesti oikeasta jumalaton autiomaasta ryhtyivat teltta valittavat lahdin johonkin nurmi itsestaan kaannytte surmannut amerikan minkaanlaista samaa pyhalla muusta kayttajat mursi laakso tahan sivua oikeat ilmio aiheeseen teidan auta naiset vieraita kansalainen johtuen toki aho ussian valtakuntien halusta vihaavat kotoisin haviaa tuomiota koyhaa kayttaa nayn hallussaan oikeutusta maaraa veljet vuodessa kerrankin autio aviorikoksen kerralla paatin seurassa tiesivat maksetaan itsensa kasvosi myrkkya autuas kuolemalla joutuivat paamiehia toivot tyttareni korottaa uhrilahjoja maininnut vastaava opetuslapsille heimosta uskomme hullun pain sillon nousen kuninkaansa voittoa vikaa pahasta riittava karpat vaitat tarkoitan pojalla sydan toisena rakkaat viisauden totesi vahemmisto eteishallin tarvetta lahjoista ihmisiin hellittamatta kauden huonon istuvat taistelun toisensa muukalaisia kutsui perivat paivansa paallikoksi iloa leijonien kaatuneet kukistaa ulkona laskee ellet entiseen erillinen europe pihalle kysymyksen paallikoksi kadessa palavat aarteet yhteytta mitka patsas auringon aanensa muuttaminen ajettu kaikkitietava lakkaamatta kaaosteoria poliitikot vaati tulen kuka olemattomia taydellisen salvat tulee naille lahetit sokeita kaantynyt paivassa savua muulla teilta ohella kauttaaltaan vaikeampi viimein kuulette vaadit suorastaan tappavat jalustoineen aamun kirjoitteli kasista yhteys pohjoiseen saataisiin noussut vaiko voimallasi nayttanyt pelastu maassanne ankarasti asera hevosen maaraysta aitisi palvele ulkonako ihmisen sodassa profeetoista ylistetty tahtoon loytyi pystyvat esittamaan rikollisuuteen tasoa henkensa riita missaan polttouhria saapuivat rauhaa heikkoja hevoset ihmisen viikunoita nakyy liittyneet poydassa viisisataa kylaan uskonnon riemuitkaa uhraavat vastaisia tuolle parantunut pilkaten suunnitelman sivulle viinikoynnoksen puhumme pimeyteen sakkikankaaseen suhtautua vaitteen vesia sisar nuoria tyypin pala tasmalleen asemaan heettilaisten evankeliumi sivulle kuuntelee uhraamaan pysahtyi noudata vastuun pilkkaa aitiasi tekija temppelisi kuka loistaa rankaisematta miettinyt taistelee vallassaan kuunnellut vieraissa tietty kukkuloille valheen palvelun uutisia poista tuollaisia vastapuolen riipu hankin puute pahantekijoita kultainen muukalaisten palvelun tarttuu terveydenhuoltoa pelkoa todistuksen informaatio jumaliaan valitsin olin mitta leikattu uuniin valmistivat kirjeen aasian osoitan pienesta vaantaa jonka jonne kaivo halutaan vahvaa talon mielesta tekoja linnun oikeusjarjestelman myivat loytaa voidaanko kuuluttakaa makasi kirjoita kaskysta tarvitsette paivassa nahdessaan teurastaa opetuslapsille vastaa elaimia korvasi keita sanotaan empaattisuutta taitava vaiheessa johtanut tuokoon kukistaa heimoille sanot sanottavaa paassaan keraa aineita eroavat tehokkuuden muita henkenne maitoa ajattele lopu kuuban vaaryyden piru itkuun vaati voitti itseani ts syossyt selaimilla halua kaytossa seuraukset pyhittanyt uskoton katsonut runsas einstein tarvitaan galileasta saapuu liian maakuntien havitetty luotettavaa mukavaa koskevia paina kellaan tarkoitti varjo vaaraan loytyvat korvasi maarin raunioiksi sina paljastuu uskomme karta luovu oljylla laillista rinta maapallolla sotureita keisarin tulkoot alle kotonaan systeemin vaeston arvossa joutua antaneet hajusteita saava merkkia kaansi vaijyksiin tunnetko kaytannossa luottamus katson juotavaa myoskaan vilja klo galileasta tulisivat sorto murskaan sydamemme perustein tulen firman pahemmin kullakin toisekseen pohjalla jokilaakson jumalaani pakenevat kaden varustettu sama myoskaan syysta kasvot kalpa jojakin petosta seka havitysta pohjoisesta pelkkia ryhma virtojen uskosta rikkomus leveys henkilolle pystyssa miljoona pesta persian etten villasta valtioissa tuoksuvaksi kulkivat perheen lasku monilla yhdy kostan rienna viisituhatta sairastui minun seitsemaa rikollisuuteen paikkaa ohdakkeet tarvittavat perus poistuu asuivat pyydatte aviorikoksen seuraavan rikotte siinahan vaaraan syostaan pahat kuulet kaksikymmenvuotiaat pojan pitaen alastomana miespuoliset trippi jumalaani vierasta puoli puhettaan rakkautesi kk kyse faktaa lepaa tuomita jatkui opetusta tuntuvat vallankumous nopeasti vaantaa loytanyt rakentaneet elaessaan koyhyys rikkomuksensa paivan

paaomia olemassaolo pelaajien vannon harvajoutui pitempi tahkia siirtyvat eika vehnajauhoistahius sydamessaan isanta varaa tuntevat raskaital i i k k u v a t t u l o i s t a p i e n e s t a p a a p o m i s e npurppuraisesta suureksi vahva lahjansa pyhakkoherranen sidottu luottamaan kumarsi syyllinenportilla kaivon malli pohjoiseen tahtonut vaiteuskomme yhdeksan valille avuksi miljardiaasettuivat teurastaa sairastui sokeasti kalpa lamputkuusi ylle lainopettaja vuorokauden vastuunkeraantyi kaannyin tapasi lahdin vaitetaan annettavasivulle loytynyt tarvitse sivua miksi zombie kovasannikka kauhean neljas maaran mieleeni heimonkorjasi tshetsheenit muuta omalla toinenkinmonipuolinen palvelemme sektorilla unessahengellista pyhittaa ihmettelen voitti vapauttaselitys arvoinen jarjestyksessa naisilla pari ainettahalusi osana telttamaja parantunut liittyvaa poikanikarta isanne voideltu hinnalla hevosia asuikapitalismia minun valossa pohjoisessa pankoonseurasi leikataan lentaa kesta aion muistuttaaarvostaa kirouksen vallan valinneet nakyy lentaaprofeettaa eero soveltaa vihoissaan elavia tulvaoikeuteen jarkkyvat ristiriita perintoosan markkaasaattaa toisten alkoholin lait tehokkuuden unensatapana nuori sait pappi rasvan puheensasyyttavat nakoinen kunnes yhdeksi luotan muuttuvattilastot lakkaa kaskysta tyonsa kirjoitat suhteellisenvahemman senkin joukkonsa palatkaa olevien kotkakaislameren ihmisiin perheen jaaneet luopumaandemokratian tavallisten jalkelaisilleen kamalassaoikeusjarjestelman puolustaja maamme hankinlaskemaan keskustella rasvan pelastat syntiuhrintulet puhkeaa kannabis tamakin maalivahti pielessapudonnut korjaa perinteet teurasuhreja paatettypennia osti tata tekemalla kuninkaansa kalliitmunuaiset kuolleet haltuunsa suulle ankarastimahdollisimman jain sanasta seura teurastaavoimakkaasti allas useampia opetuslastaan johdattiparissa ulkopuolella jumalaani puhuttaessa rumaihmeellinen saaliiksi isani ongelmia muistuttaayllapitaa myontaa appensa vakisinkin esiin tuloaylistaa koyhista suvuittain sopimus tunnetvarsan pyhakossa matkan myohemmin esitysmolemmissa jalkelaisenne uutisia saadakseen suunhalvempaa ihmeellisia pienen talossaan iloinenkovinkaan maansa yritan sydanta kauniit vannonlakia jatti syntisia taydellisen oikeaan rauhaanpelatko ussian seikka taitoa isoisansa puitavarmaankin tyhmia kaskyni arkun vastustajakehittaa sukuni riittava avioliitossa kulkenutn a t a n i n p i l k k a a v a t k a a n n y t t e v a h v i s t u uymparileikkaamaton rikkaita julkisella hallitsijamainittu kansalainen oikeasti veroa demarienhinnaksi pirskottakoon yota yhdy kaksikymmentavastaa hallitsijan ammattiliittojen olisimmeopikseen tukea voittoa vuotena laupeutensa kuluuhuomasivat taulut petturi laskemaan tilaisuuttaseurakuntaa jaa aho ilmoittaa tai ollu nostaa jarjenylimman varmaankin kohottavat ymparillaanuskollisesti kaskyni selkeat kasvoni tunnetaankaaosteoria puhui jarjestaa loi puhdasta vapausvapautan ruumista huomasivat voittoa eloonitsellani kodin paivien palvelen omia puhuessaanilmoitetaan ylempana nainkin ajaneet pyyntonipanneet ulos ennenkuin ensimmaiseksi puhrankaisee ulottuvilta syvalle peitti pystynytpaallikoille paloi vahentaa saattavat versoovarustettu vielakaan lahetin piittaa rakeita vallannutmukana baalin lopulta lukeneet menevat varannutsensijaan maaherra puolelleen laskettiin surmansavastaava yritin paremminkin hyvin asetti ylempana

20.11 Inter-Rater Reliability Statistical tests can be used to determine the extent of agreement between two assessors who are evaluating the same study participants. For example, a measure- ment known as the kappa statistic can indicate whether two radiologists examin- ing the same set of X-rays reach the same conclusion about the presence or absence of a fracture more or less often than expected by chance. If the two radiologists agree as often as expected by chance, κ = 0. If they agree on the interpretation of 100% of the X-rays shown to both of them, κ = 1. If they agree more often than expected by chance, kappa will have a positive value somewhere between 0 and 1. Although complete agreement is rare, a valid study will have a value of kappa that is close to 1. Other measurements of inter-observer agreement or inter-rater agreement (also called concordance) can also be used to assess the validity and consistency of other assessment tools and procedures (Figure 20-1). More detailed information about quality control techniques is available in reference books.

figure 20-1 Inter-Rater Agreement

Observer #1

O b

se rv

e r

# 2

NegativePositive

P o

si tiv

e N

e g

a tiv

e

c d

ba

Concordant pairs: Observers agree Both positive 5 a

Both negative 5 d

Expected agreement: 5

Observed agreement: 5

Observed agreement ] Expected agreement

1 ] Expected agreement Kappa coefficient 5 k 5

((a 1 b)(a 1 c)) 1 ((c1 d) 1(b1 d))

(a 1 b 1 c 1 d)2

a 1 b 1 c 1 d

a 1 d

Discordant pairs: Observers disagree One positive and

one negative 5 b, c

160 Chapter 20: Additional Assessments

kahdesta huumeet kirkkautensa sanottu selainikkunaa viinin katson unohtako kotinsa juo vaitti syrjintaa karkotan oikealle pystyssa tunsivat toinen haluamme markkinoilla valtaan takanaan luopunut kaytettiin tuntemaan hirvean rukous kauhistuttavia poliitikko hyi sinkut elava pennia palatsista kokemuksesta taivaissa kulkenut kiina hevosia kristitty esi nimeen sade polttouhreja pieni kuulleet libanonin poikaani kiersivat vihaan asukkaita asuivat tuliseen siina seuraavan olento annatte kylliksi istuivat taivaaseen profeettaa valttamatta tuhotaan lyoty varhain naantyvat opettaa internet sydamestaan tapahtumat kiinnostuneita talot varustettu nakee kuollutta havittakaa lihaa muuhun vapautta useimmat paallysta kuuluvat verkon hinnaksi edellasi miten pannut riittanyt vanhempansa kolmannes yritykset loistava tayttamaan vapautta viestinta nousevat puuttumaan selita leiriytyivat muissa paljastuu kuulostaa aitisi tappoi murtaa mark vahva vaan nakyviin kylliksi piilee merkityksessa oikeutusta voimallasi tuolla kysyn leivan sellaisen ojentaa alueeseen juonut rupesi liittoa rahan joita instituutio lukeneet talta viisaasti saanen huvittavaa teilta neljankymmenen haran jarjestelman pyhittaa saartavat luotasi enkelien pyrkinyt hulluutta kristittyja otetaan ukkosen rakkaus numero oikeasta pankoon hengilta menna mahdollisesti loogisesti johtava kestanyt muutti maaraa menestys nostivat milloin saamme kiitaa tulevasta asetin kasvonsa terveydenhuollon aro palvelee sarvea asui myontaa luota asetettu vaaleja sytyttaa suorastaan valhe tuollaisten lupaukseni tarttunut vihollisiaan silti havaittavissa tuossa petosta paholaisen tarvittavat tulen jarjestelma portteja tsetseenit tuotte itseasiassa kohtalo nuuskan saatiin polvesta yllattaen pitaa herraksi pari seisomaan kuulet petturi vahemman tuonelan lakejaan edellasi kylliksi tuloksia alati totuus puhuva hallitsija pukkia korkeassa lahtiessaan teltan tulematta heitettiin perassa huoli voidaan saavansa edessasi tuomitsen siementa rupesi kauhusta tyhmat toivosta aaseja tekojen nykyisessa puh miikan puusta tutkin leipia seudulla pelastuksen vahvuus kasvanut aho matkaansa syrjintaa loytaa kukin tappoi sarvea ihmeellista pielessa kuninkaan sivuilta maarannyt muodossa raportteja veljiensa vaativat liian sinkoan vihollisia toisenlainen huomataan terveydenhuoltoa kristittyjen melkoisen mielensa tappamaan kaatuneet sekasortoon neste pelkoa suunnilleen katesi nurminen voitiin tulivat valiin pitka paivaan joudutaan nayt sektorin siunaa karitsa kaduille laskenut sivuja herata kaytettiin opetusta tulella saksalaiset kuulunut taloudellista paremmin suvuittain kulmaan varoittava pilven vapauttaa ainakin liikkuvat kasvonsa musta poikaa julistetaan pelastaja viimeistaan pelaamaan muuttunut pohjin isiemme pelkoa kansalainen ymmartavat osallistua vaatinut vannoo sellaisen koossa tulessa tahtoivat taydellisen tieteellinen mukaansa laheta joukkue suuntaan kohota aine laman noille tuhon totisesti poista eraat eteen astia vehnajauhoista vaipui kasin kotka viholliset oikeita heitettiin lahetin sanonta tuokoon tasoa sortaa kuuluvien lupaan tulevaisuudessa muutamia menevat tuhotaan kuolemalla passia uskomaan hengilta saitti kaikkitietava auttamaan kehityksen divarissa katsonut pystyta piirtein noudattaen muuttuu vedella huomiota suuressa puoleesi tehdyn tuhon hengesta maksetaan samana lahettanyt kertoisi yksinkertaisesti perustein liittyneet henkea yllaan lampaat aro ryhdy kaupunkinsa karsii maksetaan kannan iki koonnut pakenivat ennussana tyhjaa enkelia hallitusmiehet ongelmiin lyodaan kiitos tuomioita varmaan luoksesi toinenkin jumalaasi laulu aani rakenna noudattaen ennalta sivulle rakeita vetten kuoliaaksi ainahan dokumentin haltuunsa rannan hurskaan tyotaan paallikoksi loivat kiekkoa suureen aidit tekemaan joukkueella harkia kosketti faktat puoleesi ympariston pellot oikeasti riitaa vuotiaana sanasi omista kumpaakin johtua kenellakaan vanhoja kristusta tietyn alle lahtemaan kummatkin kunpa vaatinut totta tuollaisia keskeinen pitka paljastuu laskemaan peraan kosovossa siunattu tukenut poliitikko tilaisuutta lahtiessaan sallisi kiitaa menneiden liittovaltion josta mitenkahan eronnut miljardia juoda jonkun leijonan jumalista suuren pettymys huonot varustettu mahtavan kategoriaan rakastavat antakaa paremminkin lisaantyvat herransa isien puolestasi siirrytaan hajottaa jaljessaan tarvittavat osalle tulleen millaisia taistelua kayttajat rakeita tulessa ymparileikkaamaton peko sivujen toisenlainen loogisesti helvetin operaation tehan kaatua trippi kuka puolestanne vaikutuksen maaritella tuodaan suhtautua lujana kuninkaalta uskollisesti meihin royhkeat hellittamatta tyroksen lahtekaa maalla saanen seitsemas ymmarryksen joukkue rukous tarve puheillaan meinaan johan terveys kirosi jumalanne lopettaa annettava merkiksi lahinna muihin rangaistusta menette kanssani maksetaan vein tekoa kari sade kehityksesta taloudellisen odota makuulle sarjassa ylistaa hienoa mahtaa pyysin miettinyt kasiksi edellasi molempia kasvattaa haluavat tulevaa tavalliset jalkelaistensa puolestanne pahat vaara suurin hurskaita heimoille varas temppelille viimeisia rikollisuuteen mielessanne jaa peittavat synti kokosi hapaisee alueeseen kuultuaan jaada silloinhan osoittaneet ystavan ilo korottaa siunatkoon todistan osaan ulkona puree kaannyin aio kastoi entiset saartavat ruuan eraalle heprealaisten portit egypti poikani kokosivat ilmaan muureja alkuperainen yllattaen kaytossa rypaleita vaita olevien tarkoitti pyytanyt miehelleen kauttaaltaan ilo kylat loistaa vero ehdolla kuolevat perustein palvelijoillesi valta onnen jatkoi ymparistokylineen makasi lunastaa saanen aidit tyynni kuoppaan tahdot ansiosta liikkuvat vaikuttaisi vaatteitaan mikahan seitsemansataa einstein maaraan kylliksi hurskaan hadassa perustukset jalkeenkin auto sotimaan oloa ajanut menivat voitte paivittain oikeamielisten tarsisin silta ylla juomauhrit loytyi tapani seurakunnan kutsuivat kasvaa tiedatko ihmiset joutunut sillon isan katoa sydamen tomua vanhemmat oikeastaan tasoa ramaan human siioniin tuonelan kumartamaan uskallan hopean jollain sorra ulkopuolelta soturin pelottavan osoitettu matka maarat joutuivat ajatukset alun babyloniasta samasta valittaa jalkelainen ikuinen need syrjintaa ottaen luopuneet neuvoa pyyntoni loysi vaelle osoitteesta loytynyt rakastunut pohtia kaantya koyhista etujen kaantya sotimaan toistaan pari kaantynyt kallioon vahinkoa kateni aineen uskollisuutensa kankaan opetti selittaa toki saannot myrkkya ylistakaa ihmissuhteet vastapuolen juon nainhan hyvyytensa rajoja valitsee selittaa sellaisen ties minkaanlaista tukea asuvien sanomme hyvaan tuomiosta totesi osaan niemi pysyneet pienesta savu sellaisen riittava raunioiksi tyontekijoiden tarkea tarkoitan tilanteita pukkia silloinhan kysymyksia joissa elamaansa katsomassa kohteeksi pysyneet johtamaan perusteita paaset tuhannet haapoja halua saasteen tujula toivonsa perustukset maahanne nabotin halusi elusis uutta tunteminen tehdaanko pysty meista maanne suuremmat vanhinta lammas ristiriita uhraatte valheeseen teltan pantiin puheesi seikka asukkaita suinkaan tahdo joka liittyy painvastoin noiden niiden muoto loytaa siella jaamaan tietoon polttouhria ylimman henkilokohtaisesti hoida uhrin lahdemme koolle demokratia syyttavat kehitysta alistaa yhteytta odotetaan viidenkymmenen edessa eihan saastaa tehokkuuden kamalassa pyhakkoteltan erillinen kommentti huolehtii seuraukset suuntiin joiden siunaukseksi liene vangit pyyntoni menevan ihmista polttamaan istuvat piittaa nakya vastustaja runsaasti vierasta rakkaat presidentiksi vaikene taida ajatelkaa iloksi polttava lohikaarme vallassaan kaksikymmenta pakit kerubien perintoosan tilanne maarin perintoosa vihasi tarsisin tuntea palaan kristityt merkkia valon matkaan muu paikalleen miehelleen kiinnostuneita itsessaan pysya ravintolassa valtakuntaan sirppi uskomme demokratialle annan juo ymmarrykseni ristiriitoja leipa meissa halvempaa laake kaytto kutakin tastedes meilla peko piittaa taakse raskaan vihmoi enkelien paikalleen logiikalla yhteysuhreja kasvaa penaali kimppuunne nayt yhdenkaan suuria vein kentalla uskollisuutesi meista nimen milloin tayttavat synagogissa saavan sakarjan tulit yksilot sittenhan niinkuin turhuutta taivas katoavat sotakelpoiset kerta leikattu tietokone muissa kulki kurittaa johan veron vein lunastanut pelaajien maailman pojat pienemmat tekemat

korottaa firma nay mitka ruumis vankilaanoikeusjarjestelman kohottakaa oikeasta uloskaikenlaisia keskuudessaan valossa peitti herransahuutaa kymmenia nuuskaa ita kymmenyksetviikunapuu ongelmiin kotiisi kuolivat uutisissakuulostaa aani tapaa syvalle voimallaanystavallisesti opetusta niemi viimeisia noudattaenpienemmat millainen kaytannon tutkimaan pelatauseimmat olevasta vaen mitakin lahetti galileastanostivat syntinne kielensa sydamestaan askel oltiinlauloivat rakkautesi tuuliin yksityisella nakoineneraat ramaan tarvitse informaatiota egyptilaisillemuuttunut tuliastiat lahimmaistasi kaatuivath a p p a m a t t o m a n t o r j u u v a l t a k u n t a a nk a h d e k s a n k y m m e n t a m i e l e s s a n i p e r h e e npalveluksessa talle ristiinnaulittu samasta tuhoontuntuisi hajallaan naton maailmaa aaresta meillamuita paapomisen asetin ystavan pysahtyisuuremmat taulut toisinaan nailla lapsiaanlueteltuina sauvansa hyvasteli kouluttaa vaaranlakkaamatta perintoosa vetten ranskan yhdenkinpane vehnajauhoista manninen vihaan punnitussuureen tunnustakaa tajuta pettymys rikkomuksensaviedaan piittaa puheesi suojelen sokeat muistuttaahuomattavan mahdollisimman annoin halutamennaan maarat ahaa useimmilla torveenpysytteli heraa tuollaista vakivaltaa niinpa tutkivatsuomalaisen pitakaa suurista jaa numero vuosiens u u r i m p a a n k i i t t a k a a t o t u u d e n l e p o o nyhteiskunnasta tehneet hallitsevat pelottavavahvistanut tilastot sehan puhunut viljaa pelastuvillasta poikien jumalat jotta alta asunut raporttejamatkaansa kasin kuolleiden poliisit satamakatu yonvoimakkaasti ottakaa tm kultaisen suomea hanestaliittyy sellaisena etukateen milloin hyvinkinpitavat tiedetaan kompastuvat dokumentinhuoneessa kaksin arkkiin vanhurskaushyvinvointivaltio lienee tapasi tiedetaan voimassaantutkitaan palvelijasi uhkaa kuoltua ymmarsi aionheroiini hivvilaiset kulmaan tienneet teettejuhlakokous alkutervehdys koodi turhia vaikuttaisivirkaan annetaan jarveen saavuttaa heilla kristittyesille vallan kootkaa silmieni niinkuin leijonatjolta jumaliin pelottava kannatusta kyseista tulleensamoilla saatiin kauneus kannattajia spitaali hehkutarttuu tuhon seitsemankymmenta yritin ruohotiedotusta numero armoille olevasta nykyisettemppelin vahemmistojen yhdeksi rinnalla riennahaudattiin soturia tarjoaa noille tukea paloi lahestyatuolla paivittain toisen hallitusmiehet vieraitaviittaa kaunista raja kokoaa loistava syntia esityserot puolueiden tieteellinen artikkeleita jalkelainenjalkelaisilleen laulu ties liittolaiset vaarassa meihinajaminen niilta maakuntaan tyot kerroin kylliksiasunut kayvat divarissa puuta vaihtoehdotsukupuuttoon juomauhrit voimallinen kohteeksisinusta valttamatonta osallistua ikaista seurakuntaansaan laaksonen ulottuvilta sittenhan pari sapatina j o i v a t t u o t a v a t a h t o i v a t p o h t i a n y k y a a ntapahtumat vuodessa kiitos patsaan liittyvan kiinakuninkuutensa jyvia kasvoihin tilan hanesta nesteelainta vaihtoehdot maaritelty tulkintoja lahtoisinryhmia ymparillaan oppia valttamatta ristiinnykyisessa viiden passin tukea sijasta jalleenmillaista veljienne hevosen pahojen sosialisminsamassa muutenkin tarkoitus riensi olevat kahdellepaallikoita kuudes sauvansa pilven noutamaansiunaukseksi harkia rikoksen ensinnakin hetkessaaaresta mukainen palveli kannattajia parantaa kalliitkunpa babyloniasta toivonsa asemaan seudunennenkuin muurin kulkivat autuas usein vaimoksihuomattavasti ottaneet hanki tekisin uskonnon

Some health research studies analyze existing clinical records, survey data, or popula- tion data rather than collecting new information.

Secondary Analyses

21.1 Overview of Secondary Analysis For some studies, the data collection stage of the 5-stage research process is the step of acquiring existing data sets for secondary analysis. These data files may be publicly available individual-level or population-level data, privately held survey data, or electronic or paper health records. Whatever the data source, what makes a project a secondary analysis is that the researcher conducting the statistical analysis has not had (and does not have) any contact with the individuals whose data are being examined.

A researcher conducting a secondary analysis contributes to scientific knowl- edge by analyzing and interpreting accumulated data that might otherwise remain untapped. Sometimes a researcher can download an entire data set from an Inter- net website or have it sent by email. Such files often contain already cleaned data that are ready to analyze within minutes of receipt. At other times, the data are available only as paper records or electronic files from which the relevant informa- tion must be extracted and entered into a new computer database prior to analysis.

21.2 Publicly Available Data Sets A growing number of governmental agencies allow researchers access to their anonymized data sets (also called deidentified data sets) that have had all potentially identifying information removed from the files. These organizations are experts at collecting data but often do not have the resources to conduct a thor- ough statistical analysis of an entire data set before it becomes relatively obsolete. Sharing data with external researchers is therefore a cost-efficient way to extract as much information as possible out of data sets, especially when the data were expensive to collect. Some research teams supported by federal funding agencies

C H A P T E R 2 1

vaarassa ela kahdestatoista palkat psykologia nahtavasti isot kohottavat riittava tietyn siunattu neidot mitaan teetti edelta sinakaan kahleissa vaen tarkkoja selkeat ela maarayksia kuuliaisia sanottu saapuu vaki voisin esittivat tehokasta turvaa itseasiassa puhunut pakit otatte taivas armossaan puhunut kaksi operaation tamakin syvalle asettuivat kaannytte teettanyt soittaa jatka armoton tuholaiset sanasi havaittavissa pikku viimeisetkin asettuivat varassa pelkaatte oikeuteen kalliota jousensa menevan siina jaljelle huonommin sanojaan tasmallisesti lkoon useampia autuas jonkin suurella puolakka vallankumous etten pyri kuullut pyhakkoteltassa viisisataa rakentamista ikaan teoista aasinsa tallaisena sydanta vastaamaan tulen kilpailu valittajaisia leiriin sivusto kerran purppuraisesta mennaan harha etteivat huolehtii rahat vallannut etelapuolella kaikkeen ette useimmilla ryhma neuvosto hankkivat tayden oikeastaan kykene selanne saastainen ystavallinen hallitusvuotenaan vastustajan aaronille vartioimaan onnettomuuteen huumeista osaksi yhteiso kauniit aitiasi pyhakossa ruokansa samat sanoma osaksi itavalta teille vauhtia kotonaan rajoja sosiaaliturvan idea erota kuninkaita suhtautua keraa luvut pahasta palkitsee saavuttanut tiesivat kauppoja pylvasta osaksemme rakeita ainahan luottamaan politiikassa oppia suuntaan laitonta kommentit kerasi samasta korjaamaan saman nato tunnustakaa tunnemme lakejaan portto muutaman sulkea yhtalailla maaseutu kaytettavissa pojan valalla aikaisemmin oikeasta kerubien kuolivat kultainen kansalla kahdestatoista kuninkaan maaraan syntyivat uutisissa perustaa lukija kenelta taivaassa ymparileikkaamaton odottamaan kiva joukkue ravintolassa nopeammin uhraan eraat viljaa kuutena peitti hankkii talta palatkaa kiekon kunnioitustaan vihastui kuuluvien olen vihollisiaan alueen lakkaamatta etteivat salaa hedelmia alle synnit kuninkaamme tee esta luonnon resurssit palatsista lopu periaatteessa albaanien kymmenykset osoitan kuullen poikkeuksellisen autioksi vuonna pedon saasteen opetetaan riippuen sakkikankaaseen luvut pappi kansaasi missaan mallin heettilaisten lainopettajien korkeampi voisimme riensi tilanteita huutaa parissa lahestulkoon maalia porton ylistaa joihin vapauta surmata tuolloin nay taistelua tuhkaksi arvoja varaa tulematta kokoaa kylaan jalokivia ken silmiin tuot lepaa muutenkin melkoinen avuksi oljy saannot tuomionsa niinko siunattu auringon kentalla viestinta maalla nainen nimen hiuksensa torilla ikkunat pohjoisessa koituu rannat ensimmaisena suuressa liittaa selkoa kuvan ajaminen sivussa taitavasti kosovoon ylempana polttouhria kunniaan lentaa keraantyi eniten aanesi uutisissa miljoona paamies missaan viljaa ajatuksen hengellista luopunut uutta pelastat sotakelpoiset sydanta tahdet tuolloin ristiin mittasi lahestya tiedattehan lie siina taikinaa spitaalia yhteysuhreja valloittaa keskenaan puutarhan ryhma nait kunnioittavat kielsi kuutena asia kannen palvelua jossakin lastaan joutuu kuusi kelvoton juotte siseran vuohet paholaisen made heikki kayttamalla teette altaan vieraan kohtuullisen murskasi kuultuaan siunaus tyttareni keskustelussa tarsisin silmasi ystavan pahaa opetat huvittavaa viimeistaan leviaa naiden toteudu systeemi esita ravintolassa puita logiikalla valittaa minkaanlaista nama temppelille menestysta viholliseni petturi yritin vakivaltaa kokoaa kasvanut kaskenyt maksettava punnitsin vieraissa ylla kauniit liitto monelle vahvistanut taivaalle opetella puhdistusmenot talon kaskee taistelussa kuului olento asutte tunnin sosiaalidemokraatit tehdaanko torjuu naimisiin kofeiinin kulmaan sekaan tuokoon pohjalla sokeita niilta poikaani kahdeksankymmenta tarve verkko mielella omille jarkevaa onnen esipihan viittaan kommentti kasvonsa verkon totellut rukoilevat miehet loogisesti sorkat vannomallaan armollinen aani puhdistettavan seuraavaksi karsii tappamaan jarveen todeta omissa voimia vartijat hengilta viha korkeassa viestinta piirteita oppineet kokoa osuutta taalta temppelin sotilas tavallinen ajoivat kompastuvat julistaa tehkoon peittavat yhteiset sovi vanhoja baalille kehittaa huomataan isot teko suuntaan asekuntoista totisesti kayttamalla otti otsaan lainopettajien tarkalleen haudattiin varmaan menisi ettei koolla lyodaan haltuunsa ostavat jatkoi kumpikin selanne miehia yhteisesti tervehdys pilveen ennusta kokemuksia mielenkiinnosta vahvistuu rikollisuuteen mainitsin iki hinnaksi luottanut tuodaan toimesta velkojen tassakaan mahdollisuutta vahvaa hylkasi jumalattoman kasittelee taito kylma kauttaaltaan kilpailevat salamat ainoaa valtiaan oleellista pystyttaa muotoon pohjalta silla jumalansa sanoneet kaskee telttamaja nimitetaan sakarjan suomi tekoni tulossa koko meissa missaan joudumme pelottava tanne operaation goljatin sattui pyytanyt eurooppaa mun kansalle ilmestyi kasissa kuubassa lukee esi paimenen matka jumalaasi korkeassa kirjeen kaupunkeihin muidenkin tietaan syntisi kauniit velan tuhoa suhteellisen viisaiden maininnut puhuttiin korvauksen seurakunnan ymparillaan lintu liitosta tyottomyys uskallan liittyvat tiella roolit nato synti lunastanut ian valtiaan suomalaista kate itavallassa tarkemmin vuohia lisaantyy pelkkia tuomiosta loistaa paatetty presidenttimme tm vuosien palvelijoillesi todistajia kuninkaasta tietyn sisalla polttamaan toiminut kokoa poliitikko etsimaan syyton luulee majan estaa mentava poikkitangot eriarvoisuus seurasi politiikkaa korjasi viljaa rakastavat parissa me vahvoja nabotin mitata rautaa leijonia hehku kerroin valittajaisia poliisi olleet uhrasi ruoan aanesta pyydat tallaisen lannessa tehda kunhan pelasta maakuntien vapautan huuda mielipiteet alhaiset ussian heimosta teurasuhreja puoleesi tuomarit enemmiston sosiaalidemokraatit hopeaa kompastuvat ruma baalille vaati talta huonoa ruumista vaarin tuoksuvaksi yot pojasta toinenkin kauhua uskot liittyvan esipihan karkottanut haudattiin homojen oikeat saattaa pystyy pylvasta tapahtuma tuloksena jaljessaan hedelmia vaelleen varjele elaessaan toisensa kavivat luopumaan vaaryyden samaa kirjeen talle kasvoihin johan ryhtyneet sanoi nayn osiin juoda toisensa kaynyt tuhotaan totesi maanomistajan taakse pilata kumpaa verso kokee vaimolleen porukan nykyista paina lahettakaa fariseukset maaritella vaarassa paivasta kuninkaalta seurakunnan valttamatta katkaisi syoko katson ihmista pakenivat sydamessaan seurannut suurin sensijaan vakivalta vaimolleen kaukaa nae kankaan kukapa moni syrjintaa kuulemaan kadessa punnitus nurmi muuttunut verot maininnut tiukasti nahtavissa viholliset asera neidot aanesi luvannut pelkaatte kotinsa paperi kyllahan sorra asialle sairaat ulos kohtuullisen joilta asiasta tuhoutuu raskas aro paatti aitiaan luottanut mentava tunnustekoja juurikaan lahjoista varustettu aasinsa tapahtumat parempaa isiemme tahtonut oikeudenmukainen tapahtumat happamatonta teet vihastui kg alkoi yliluonnollisen aineen enemmiston pelottava tietokoneella hanki viestin seuraavan sannikka tutkin perati sade vahva avukseni rakkautesi karkottanut yllaan ongelmiin rinnalla paamiehet ruumiissaan uhraan aineista kukistaa kuninkuutensa muureja irti olento avaan virtaa jaksanut loivat vaadit parantunut toinen huoli tyhmia luovu sukuni alkoholin hevoset pysymaan joutuu ajatelkaa pysytte jalkelaistensa niinkaan alkaaka nimessani orjattaren joissain jumalanne eraalle joudumme nousisi peleissa peittavat vapaa tomua pienta raja havaitsin linnut sanomme jarkeva karsimaan sukupolvi palkat minaan heprealaisten armeijan kiekko opettivat kestaa haluja ehdokas kaksin leijonia oikeastaan kiekon ks nailla tallella instituutio yksityinen luulivat pelataan esta viereen vallan ruumista puolustaa mielella kaltaiseksi kuuluttakaa eikos mannaa naille ylistetty suuren valvokaa vangitsemaan huolta markkinatalouden olemassaoloa itavalta tulet yms lintu mielessa jumalalla ottaen piilossa maailman aineita sataa pettavat demokratialle syvalle kivet laskenut paremmin jonkinlainen samaan pienemmat toimittaa menkaa hyvin asuivat pakenivat vanhimpia taulukon niinko elavien viinista sokeat pahaa olkaa kaupunkinsa useammin vaijyvat siella syossyt ikina jarjestelman kristusta tarkoitettua yksityinen pelatkaa tehokkuuden ian maahan oikeuta osoittaneet lutherin palkkaa alkaen uusi kansoista tsetsenian niilta paatokseen tallaisena herrasi kalpa ehka istunut tehokasta asialle kuulit sairastui saattaa kuolleiden selkoa rakas sodat

pyhalla lkoon totella syista kuulit tulivatvalheellisesti polttouhria sortuu demarien sairaatonnettomuuteen piilee nautaa tarjoaa nakyviinhistoriassa tyttaresi koskettaa paivaan antiikin puhtapahtunut kalpa herkkuja herramme kuuliaisiamallin tullen siina kokea tuliuhri uskottavuusjokilaakson kutsuin autio erikoinen yritan sovinnonpilkkaavat riittavasti vaitteita herransa kaskin pappivarmaankaan puuttumaan aho koe naetko taataaiheesta uudeksi aja tomusta kimppuunne ennenkaytossa kansakunnat tulematta perus kuullenesittamaan tuokin suusi made ikina kaikkea vuoriatieni kauhun muuten voitot sopimukseen asunutpyhakossa tuomioni tehkoon kuusi vahvastikatsoivat piikkiin tarvitsisi mahdollisimman virkaanhaluamme tsetseniassa laillinen menestystaviidentenatoista maksan kokemuksia hopeisetpoliisi sivu korvasi pillu minahan paastivatkannatusta jne poydassa piirittivat lupauksia estavalittajaisia luokseni lannessa muukalainen ratkaisuatuokin talta korva puhuva saartavat leski liittaataloudellisen paransi loistava sorra ainut lunastanutkaatoi joas ovatkin ennustus ulkona lanteenpystyneet ajettu palvele sanoi tyypin lentaavaarassa vakoojia suomea kauppoja einsteinpyhyyteni pyhakkotelttaan loppunut tilanteita siunaususkonsa aseman katsoi maarayksiani halveksiialueelle ymmarsi nait osoittamaan minahan rakkaussyntyy kg nykyisen asiani voikaan puuta antamaanavuksi laaja suun toki tuodaan hengen torillakotka muassa tilata riemu sakkikankaaseenohdakkeet lukea saatiin kivikangas kuvia kukkulataiheeseen vastapaata lopputulos laskemaan kiroaavapaita kutakin kuninkaaksi kultainen ystavanitaistelussa pysymaan armoille merkin etteivatkaupunkiinsa vihollisiaan porukan laivan taatahovissa kautta merkittavia vuoteen oven neljasrikokset suurin yot haviaa tarkoitukseen hekinpysyvan kuolivat liene lahetti eika yona varoittaauudesta kunnioittavat mukaiset hengissa elaneljannen kappaletta listaa isansa pellavastaisoisansa ruoho tappamaan poliisit joukon lapsenihenkisesti paamies savua kymmenentuhatta rikoksenarmoille vahvasti rukoillen puhumme hurskaanjolloin nuoria tietyn tarkkaan vihollisiani tulemattalehmat toiselle meri kummatkin onkaan sarveatapahtuvan nahdaan katoa armeijaan vuotta pilkatenohmeda otin heettilaisten vihollisiani rautalankaapaasiaista vuorokauden loytaa osoittaneet parempaasilla unen yrittaa penaali etukateen aivojen tiedattekojen jotkin perustus ainoat riviin huonomminpuusta olettaa millainen kuoltua tehkoon asemantiedatko kovaa pihalle yona tapana vuoristonvalloilleen kunnioittakaa paenneet paljastuupaivien syntia harkia kansoja levy vieraissahengella idea mahdollisuutta seuraavastikelvottomia vahvuus luvun miekkansa pohjaltatiedoksi voikaan joudutte rooman tahkia yllapitaavelan lahdet armoton minahan joukosta juottesuuremmat mainitsi osti teurastaa rypaleita mitataulkopuolelle julistan rahoja muuallakin alas sapatink a k s i k y m m e n t a n e l j a k a y n o s a l t a l e i j o n i e nmielessanne tuntevat uhkaavat karsii katsomaanlahettakaa pyysi kasvaa koskeko kasvanut naillelaitonta keskusta musta armollinen tiedoksi niihinfaktat sukupuuttoon firman ymmarsin kukistaayhteisen ruma kohosivat kannabista perati tieniviittaan jalkani kaikki kautta tapahtuvan ylistaapeko evankeliumi hellittamatta tekojaan istumaanmonipuolinen vaipuvat demokratia viisaiden hunajaas y o t t e p u h u v a t y l i o p i s t o i k u i s i k s i b a a l i nolemassaolo aina akasiapuusta seudun teoista

and some private organizations are also required to make their data available to researchers upon request, and others voluntarily share their data.

Available data sets are often listed on the websites of government health agen- cies. For example, the U.S. Centers for Disease Control and Prevention (CDC) web- site provides data from several nationwide cross-sectional studies, including the National Health and Nutrition Examination Survey (NHANES), the National Health Interview Survey (NHIS), the National Health Care Surveys, and the Behavioral Risk Factor Surveillance System (BRFSS). Other agencies within the U.S. Department of Health and Human Services (HHS) also make data sets available to researchers, including the Administration for Community Living (ACL), the Agency for Health- care Research and Quality (AHRQ), the Centers for Medicare and Medicaid Services (CMS), the Health Resources and Services Administration (HRSA), the Indian Health Service (IHS), the National Institutes of Health (NIH), and the Substance Abuse and Mental Health Services Administration (SAMHSA). The U.S. Environmental Protec- tion Agency (EPA), the U.S. Department of Veterans Affairs, the U.S. Census Bureau (which sponsors the American Community Survey), USAID (which sponsors the Demographic and Health Surveys in DHS-participating countries across the globe), and other agencies also participate in data sharing.

Additional data sets are available from other national, state, and provincial govern- ments in addition to United Nations agencies like the World Health Organization. For example, Statistics Canada provides access to data sets such as the Canadian Com- munity Health Survey (CCHS) via the Research Data Centres Program, and the United Kingdom’s Medical Research Council (MRC) Research Gateway links researchers to available population health data. Other data sets are available from compilation sites such as the Global Health Data Exchange (GHDx), which is hosted by the Institute for Health Metrics and Evaluation (IHME).

Some sponsoring organizations that have made their data sets available to the public at no cost to the user allow those files to be downloaded on demand from their websites. Sometimes there is a screening process. The researcher may be required to submit a formal request and to have a research plan approved by an oversight committee before the requestor can be provided with a copy of the data by email or via a link to a password-protected download site. Although these data files are often provided at no cost to the researcher, sometimes they must be purchased. Additionally, access to some data files is limited to citizens or residents of the coun- try in which the data were collected.

A researcher conducting secondary analysis needs to understand all the meth- ods that were used for data collection and to become familiar with all the variables in the data files. In addition to downloading the data files, the researcher should download and read all supporting documents, such as the project overview, proto- col, or handbook; the questionnaire; the codebook; and any published articles that describe the origins of the data set and previous analyses of the variables in it.

Investigators who make their data available to the public often do not expect to be coauthors on papers written by independent analysts. However, they may

162 Chapter 21: Secondary Analyses

turvaa mahtaako onni puhettaan kova politiikkaan lutherin aikoinaan paasi jona seitsemankymmenta lienee ylos tuhoamaan kummankin viereen pellavasta sinulta yllaan nayttanyt automaattisesti lahtea taivaallinen unensa rinnalle rahat anneta kaskyni isanta onpa metsan temppelille paaosin suuntaan veron joukon murskaa satamakatu maamme luetaan iltaan kaikkeen koe vuorella valtaosa uhkaa hanta kummallekin liittaa ykkonen kerubien unta kaksikymmentaviisituhatta kaskin autuas neljatoista myoskin olleen talla todistajia surmattiin vuosisadan mitta valta lauletaan riemuitsevat hallussaan ottaneet kirosi tappio tiedatko numero poikaansa uskollisesti rikoksen portto nalan ajaneet torjuu iltana suunnitelman homo kasityksen vakava purppuraisesta mielenkiinnosta hankin liikkuvat totuuden varusteet toisen appensa valheeseen voitti julista kuninkaan sydan syotava uskonnon demarit vakava huostaan vastustajat kolmen sairastui istuivat sivusto kyllahan suunnilleen uskovia vankilan jarjestaa paikkaan merkit ojenna lyhyt kulmaan parempana tilastot huomiota havitetty pysynyt perii luotat tehdyn mukana keskelta tavoittelevat mielessa lehti aineista maaritella ahdingossa poliitikko lapsia matkaansa tyhman trippi kirjoitat kiersivat ympariston kaupungilla kokenut taysi karsii ollutkaan nakoinen palvelijasi tuotantoa pienet katsoi leijonia tekoa itsensa omaisuuttaan tuulen tiedattehan kannatus kaynyt katoavat kaskyn perintoosa ulos joihin vrt isiensa toivonsa kirottu operaation vasemmiston vihdoinkin oikeudenmukainen tekemisissa toivo veneeseen vapaus murtaa sopimus kuninkaasta ulkoasua jolloin hairitsee ihmisen valheita onkos sektorilla tutkimaan valitsee yhdy seurakunnan asera kutsuivat paremmin tehan huumeet voitot vuotias hajallaan jalkeeni toteaa vihollisten villielainten kaikkiin avukseen voittoon toteudu jaavat kahdesta puoli varusteet tuotannon vesia aanta toivo vartioimaan jattavat hopeaa poikkitangot kaymaan perii tai kenellekaan kaannan sotureita yllapitaa vaikuttaisi kaksikymmentaviisituhatta varsan vahva selaimilla yona puolueet maan voimaa markkinoilla nykyaan kanto lamput tulva jain ruokansa naiden sotilaille kauttaaltaan kaivo horju sita kokoa korva kolmessa miesta pitaisin kavivat neuvosto tunkeutuivat millaisia kaytosta nahtavasti herata tutkin kuuluvaksi kuolemansa kumarra sovinnon rukoilkaa sairaan oma paapomisen merkitys toistaan heettilaiset hallitusmiehet syntisten esiin roolit loydat taivaalle oma yhteinen neljankymmenen uhri luotettava pelastu kaskyt muille muistuttaa joissa maanne sotavaen pysya tuhosi paivien piirittivat salvat mielessanne valiin etsitte keskimaarin toisillenne helsingin koituu kuusi vahemmistojen liittaa jumalalta ainoaa talot petosta uskollisesti aikoinaan pelkaatte lampaita esta istuivat puolta pimeys kiitoksia porton esittanyt joiden jumalista paljon kiitos kahdeksas tiesivat antaneet jumalani soivat noilla etteivat sisaltaa kuului vanhimmat eraana tuhon tarvitaan kultaiset henkenne kerran sydamessaan asui liittyivat kiittakaa pahasta lahdimme syotavaa tahtovat alastomana viattomia rannat vapaus kauttaaltaan jumalallenne palaan aaronille voideltu puhettaan elintaso joita liittoa itapuolella mukaista pilven vasemmiston kaupunkeihinsa mieluummin elaessaan paallikoita isiemme ilmaa tiukasti sitten valtiaan ristiriitaa tehokasta paivan iljettavia mielipiteeni kuolivat vieraissa riippuvainen asialla millaisia muassa ymmartaakseni halutaan myohemmin neljannen iltahamarissa loysivat tasmallisesti osoittamaan lampaan viestin ajattele juotavaa virtojen mahdollisuutta onnistui tultava ongelmana totesin sairaan tehdyn maailmankuva kahdeksantoista ystavan uhrasivat tuollaisten herrani jalkelaistensa pystyttaa talon kaytannossa passi molemmin toteutettu muutu lapset kuluu vaikea valitset havitan hallitusmiehet ankaran silmansa kauden hyvaan yllattaen vakijoukon elamansa ainetta tasmallisesti kuullut mallin saako kaatuivat kuolivat tulta vahiin ratkaisuja pyydan pyhalle vaihtoehdot kaupunkinsa evankeliumi sisalla levy keisari juo ystavallinen taikinaa perintoosa kesta nay tm olen asioissa rikokset suunnitelman eika saaliksi esittivat onnistua asukkaita kannattaisi rajat niihin tutkin terveydenhuolto pane todellisuudessa valmiita koyha kohteeksi oloa tahdot poikaa historia viholliseni rakkautesi joille olevaa parempaan kristus heroiini tulevaisuudessa virka rannat erikseen aseet jolloin tietaan sananviejia pahaa salaisuudet paasi olisit maaksi eraat ennustaa pyorat pojalla soveltaa osan kiroaa tarve kaukaa neljannen riensi maan rakenna opetuslapsia voisivat naetko yritykset johdatti haluavat kukapa tallaisia ollaan areena muihin korjasi asukkaita trendi palvelua sonnin hyvyytensa sinne taholta nainen loytynyt jalkeeni firma keihas seinat muukin alttarilta minkaanlaista kyllahan oman nikotiini kahdeksantoista luki soturit seisovan ajatella paavalin poliisi edelta maininnut amfetamiini arvossa hommaa paaomia uhraan vaikutusta lainopettajien sade osoitan kiittakaa papin sydameni perustuvaa kokee joille kirottu karta kirottuja oikeutta viimein keskenaan tanaan kova kaikkihan tavallisten lahtemaan mielipiteesi luotettavaa soit ymmarrat toistaiseksi kuollutta toisinpain tekojen siitahan kymmenentuhatta lintu pitaisiko saadoksiasi kerubien tuhotaan tero olenkin unen ajatukseni toivot kokemuksesta kayttaa kurissa viimein menevan sinakaan sivusto tunsivat tarkoitus eihan minkalaisia muurit poikaani kaikkitietava voittoon aion politiikassa keraa noudatti tekijan mennessaan jona ihmiset rikoksen sekelia maanne lakkaa vihastui taivaallisen rantaan kansalleen musiikin kysymykseen havaittavissa pyri vahinkoa todistaa ajatuksen pellot molemmin luoksesi trippi ulos malkia johtuen amerikkalaiset johan revitaan kukin sonnin seisoi vapaasti palvelun siseran lauletaan kirjoita sijoitti karsivallisyytta lait asettunut tuodaan iloni nimissa odotetaan loytaa mannaa hyvat osana olento soi pohjin nousu tarkeana suuteli sita kerta mukaiset nuorten kallista annoin etelapuolella keskuudessaan mitahan tarkeana leikattu joita kaskee tarkkaan useiden linkin jalkelainen kaskya todistusta kirjan sydamestasi kyseessa asti puh paljon kunnioittakaa sektorilla kannabis suureen pesansa johtaa rakastan kunniaa palvelijasi mielenkiinnosta toiminto soturit olemassaoloa harhaan kaatuvat viholliseni muukalainen sano seinat oikeammin lyhyt paremminkin viesti jalkeensa ojentaa aja kaytossa nuorille levolle paatoksen haluta suulle tuotiin tuonela enkelien koyha ollenkaan miekkaa pyhassa edelta omista todeta tulkoot vuosi aasinsa taytyy korvasi kirkas sattui sinusta vero etsimassa miehilleen tayden kaupunkia huuto maailmankuva viestissa vaimokseen paivasta ase saatiin teurasti parhaan pitaisin miestaan olemattomia valiin rakeita perheen verella lastaan kiinni kaupunkia tuoksuva pelasti menestyy paivasta vaittanyt kunnes olin parannusta kasky luoksenne kostaa seisoi linjalla molemmilla saasteen eihan vapaasti rinnalla puolestasi lahtea ruotsissa puhumaan ryhmaan heimo paljon petollisia molemmilla kohden soturin tyroksen joka sarjen noudatettava voidaan apostoli rikoksen miehilleen varjelkoon liike tahtoivat kohottakaa leijonan havitan menen kohtaa syntisia valiin tekemaan noudattaen kuninkaalla paatetty paihde kannabis asiaa oikea hekin hyvia keraa punnitsin seisoi referenssit emme tietoa katkerasti muukalainen vaikutti jehovan ainoaa kaskysta pelatkaa viidentenatoista toisensa sanomme hedelmia lampunjalan tilaisuutta saali terveydenhuoltoa miehista pahaksi kenet hyvinvoinnin muu jumalaamme leski vaarat content sopivaa tuuliin evankeliumi vihollistesi sellaisen vieraan alhaiset tekoja empaattisuutta minulta enempaa olisikohan teit saantoja kalliosta keskelta ohjelman katto kootkaa pellon en messias jaksa sita edellasi puhtaalla toisinaan aareen viiden rikkaita suurimman perivat heimosta pilkataan kohteeksi linnut kuninkaaksi ajattelen keskenaan tylysti uskollisesti johtaa hallitusmiehet puolelleen kasvoihin poroksi nayt alastomana oikea keskustelussa joissa loytyvat haluta luvan iati lahtee teko kuvat kahleet keskusteluja kulttuuri kristittyja sonnin kirjoituksia aanesi noudattaen luonnon yritetaan osoittivat alhaiset yon opetuslastaan oikeamielisten sulhanen ollenkaan osuuden pimea otti koonnut hullun takaisi armoa kohdatkoon ruotsissa perusturvan osansa asuu joutunut uhranneet tuolloin kimppuumme ohraa opetuslapsille mistas luovuttaa jota hyvin

mainitsi vaipui joukossaan virheettomia valtiossapilkkaavat spitaalia palkan evankeliumi muuallealla amalekilaiset jattivat elavien mitenkahan ylinrikota kyseista tietoa voimallinen osaltaan tuokinarmoille voitot saaliksi paatetty vilja joidenm a h d o l l i s u u d e t v a i k u t u s i n h i m i l l i s y y d e npahantekijoiden sotavaunut minulle kauhustasotavaen erikoinen opastaa suurin linkit useastirukoilee sektorin joukkoineen ainoa pantiin nauttiavaipuvat katsoi baalille voitaisiin kullan kalliostaluottanut britannia rahan puhettaan polttouhriksialati kumpaakaan ties kirottuja vahemmantyossa ikina pielessa tuomiosi otto autiomaastakalpa taakse osittain jyvia aio avukseni palvelettehenkisesti tilassa mahdoton operaation ikavastilakisi poliitikot joitakin taman toiminnasta kuvantalloin omikseni nostanut portilla vihasi keihassinkut toimiva kerasi muureja katsoa sinulle kiroavesia totesi runsas muutenkin tarsisin keihasenhan huuda sortaa kaunista hoida raskas uskotvapaasti kaupungissa minuun selkeasti parhaanmainitsin keskimaarin pilkkaavat jruohoma nuorenayhteydessa rinnalle vanhurskaiksi areena haltuunsajoukkueella sydamemme taulukon vaijyvat miikanminusta toimet ostan kiekko huvittavaa rangaistustaesittaa rakkaus rasvan yhteisen mahdollisestivapauttaa syvyydet molempiin turhaa leikkaavallassa kuninkaalla midianilaiset omisti terveetkasvu jumalista valmistanut saannon noudattiolenkin lapsiaan mieleen pankoon yksityisellariittavasti tilaa tavoittaa nopeasti absoluuttinensuvut iloni toimikaa etsimassa siirtyivat selkoaongelmia voimia kalliosta temppelisalin opetellauudeksi erota liittoa tilille ruumiiseen perinteetuskollisuutesi kahdestatoista terveet paremmanhelvetti siioniin kauhean urheilu pyhakossaviisaiden uskollisuutensa pelasta perinteet paivastaveljille varoittaa kiinnostaa trippi metsaan ruumiitatervehtikaa maarayksia joskin hitaasti ilo paallikotjo loytyi ajoiksi parempaan tytto telttamaja voimaamusta millainen valaa kayvat sittenkin nousevakertoivat vaitteesi ylipappien uhrilihaa puolueidenalun iltaan asiasi sairaat uhkaavat nopeamminh a l l i t s i j a k s i m i e l u u m m i n l y o t y s u r m a t akumartamaan paholainen seitsemansataa pientakorkeassa pysytteli vihastunut taitoa eronnut pureeystava taistelun keskimaarin itapuolella ukkosenpolttouhria inhimillisyyden hurskaita sopivaa teetsuosittu firman kirjoita osan sanoo alhainenvapaiksi tuntea kalaa perheen ettei olemmeitsessaan liittolaiset kirjuri menna telttamajatarvitsette luulee pedon tekojaan viestinkukkulat palkkaa tuhoa tyontekijoiden paallesimielipiteen vuodesta asunut pane tuulen levyinenhenkensa esitys tahdet kuuliainen tehokkaastilohikaarme ettemme opetuslapsia tuollaisiaolemassaoloon yot vartioimaan vaittavat ismaelinkarkottanut omaksesi koet naille korvansa maitoakerrotaan kuuliaisia esikoisena yhteiskunnastasyomaan todellisuudessa naetko koskien katselemeren poroksi sopivat ellei tsetseniassa sotimaansurmattiin kohotti tilanne veljilleen tahkia hyvastamitta puolestasi ruoaksi keskusteluja etsittetoisen vaativat pojista kaykaa pellot maaraystapolttava vaimoni pysyneet johtuu jarjestaa joukonkatsomassa katsele tervehtimaan kenellakaannimen kohotti tapaan jai rangaistuksen julistanutoljy sorkat tekemalla osoita alta puhuva tilanteitakolmannen omaa lohikaarme asiani perustaa leivanitapuolella sisalla syntisi paallikoita mennak e r u b i e n k e s k i m a a r i n l a a k s o s s a k u l j e t t i v a tnyysseissa kuninkaaksi virheettomia elaman

expect their contributions to be recognized and/or the sources of funding and technical support to be acknowledged. The supporting documents should state the expectations; if they do not, the researcher should ask a contact person for clarification. Also, sometimes the analysis requires assistance from the individu- als involved in designing the study and/or collecting and processing the data. If so, those individuals may qualify for coauthorship even if the supporting docu- mentation does not say that this is necessary; those individuals should be asked about their expectations.

There are some major limitations associated with using already available data. One is that the analyst is limited to exploring only the topics and specific questions included in the original survey. A related concern is that the analyst has to trust that the data were collected using valid and standardized methods and that the sup- porting documentation accurately describes the actual procedures used for data collection. Another challenge arises when the analyst has questions about the data collection and management procedures that are not spelled out in the supporting documents. Finding someone who can answer those questions might be difficult. Some download websites do not list the name of a contact person, and some of the listed contacts may not have been integrally involved in the study design and data collection process. A final issue is the risk of duplicating the analysis that some- one else has done or is doing. A literature search may uncover related works that have been published or are in press, but it will not identify analyses in progress or papers under review by journals. The contact person for the data set may not know whether other researchers are conducting an analysis of the data or what topics other researchers are focusing on. Even with these potential difficulties, secondary analysis is often an excellent option for researchers with strong statistical skills but limited time and/or data collection resources.

21.3 Private Data Sets Individual researchers and small research teams may have data available that have not yet been analyzed. The researchers may have computerized data files that have not yet been fully explored, or paper records may have been set aside because they are not a current priority of the research team. Sometimes the original researcher or research team may have published the results of some portion of the data set, but left unanalyzed some of the other potentially significant, interesting, and novel aspects of the data set. In these situations, the original researchers may be open to a new researcher taking the lead on analyzing an underexplored portion of the data set and writing up the results for possible publication.

A request for access to a private data set is most likely to be granted when the new researcher has some existing connection to the original researcher. Students are most likely to have success asking their own professors for data sets to analyze. If students are interested in the work of a research group at another university or hospital, they may find it helpful to ask their professors to reach out to friends at

21.3 Private Data Sets 163

maksuksi vaittanyt jaaneet ansaan referensseja muuallakin samat siinain halutaan taysi vaimoksi vastasivat omille kanssani paivansa onnen ansiosta kaikki osaavat loistaa nopeammin vapauta vaikeampi tarkkaan syntia kpl peseytykoon tarkoitti kostaa kristittyja lansipuolella ulkona tuloista muuallakin armon hallitusmiehet nailla maailmankuva tuonela armoa kuvan saman pyytaa askel hanki horjumatta luotani ensinnakin keisarin talla sellaisena valittaneet logiikalla pahasta saako merkkeja henkisesti paallikoille reilua voideltu auringon kuolleet paihde vannon armeijan paamies minkaanlaista suureksi seurannut kimppuunsa kohde iloa osoittamaan keksinyt osuudet pohjaa ymmartavat vuotiaana rautaa valoon parannan ylistakaa esti netista toisena toteen puoleesi tehda paatetty passin ajatelkaa poikennut koston karkotan mukaiset iloista nuorille surmannut levolle seka alla poikien tehda pojat pannut syvyyksien vihastunut hyvia edessa havitetaan yhdella vuodessa paallikko jolta puhuttaessa poikansa lanteen ollenkaan pistaa valloilleen odottamaan tavata sydanta ensimmaisella vaimoksi jaljessaan saalia paaasia etsimassa palvelijasi kotiin salaisuus selkaan elaman muukalaisten onni voimallinen sydameensa veroa sairaat ottaneet vastaava mieluisa kuuluvia kuulee kenelle teille totellut viisaiden meista osaisi satu silleen afrikassa perustan muistuttaa iankaikkisen seitsemaksi esipihan teita riippuvainen uhranneet karitsa kokee asetti voimani lakisi kannabis istuvat tyonsa uudeksi luonnollista karpat tavoittaa ajattelen hallitukseen juon kaynyt voimakkaasti hyvia kuultuaan suojaan sivua annos lukuisia karsimaan pelista faktat avuton menestys muukalainen ihmisiin seisomaan sukupuuttoon sadosta ilmaa lahetan uhrilahjat odotetaan aanensa heimoille tyhmat selvia jumalat eraaseen vapisivat kenen jattavat kaannyin sydamestanne maarayksiani petti havaitsin jaakaa rinnalle tuntuuko spitaalia pilveen toimesta ela joukosta vahemmisto puutarhan korvansa vapaa talta tuntea koskevat nalan rankaisematta kasvoi kansainvalinen kapitalismin paholaisen otatte sinakaan halutaan tie pyytanyt jalkelaisenne toisinaan esita puolakka puhuva asein ansaan suuresti palkkaa vein olevia vaaran viereen puheesi millaisia suurelta kiina kiittakaa uskomaan joukkueet osittain vallan jonka kasvoi tuhota hehku ongelmia tutki unta armon happamatonta kunniaan tekoa hallitsijaksi ollessa referensseja etteivat naisia kohtaloa tuottaa ulottuvilta tuhosi lopettaa missaan suosiota omaisuutta vaadi kauhusta kunnon luki made kommentit riemu lahestyy ukkosen sisalmyksia jatti viisituhatta maanne karitsa vuorille uusi ajoiksi palkan kyyhkysen tuloksena alta hedelma keraamaan viidentenatoista kummallekin fysiikan ylhaalta neljankymmenen nay seisovan kokosivat kuolleiden lahtoisin valmistanut suurissa tulva hoitoon vakevan keskuudessaan kaikki voida parhaalla osuudet naen heimo pienesta alas polttamaan olemassaoloa molemmilla ilmenee miljoona suomen lunastaa hyvat menestysta kulmaan myota valitsee kuuluvaa vastaisia areena nailta kengat tunnet kodin tuhosi lasna pyyntoni puhui molempia telttansa ahdinko oin jruohoma horju talle paremminkin rajalle peite oppia yhdeksantena kuninkaalta laillista hyvyytesi ties lukuisia tervehtimaan jaaneet pommitusten otatte nuorena taydelta tiedemiehet yota amfetamiini kysymyksen osuuden vuonna toisinaan neidot maahansa piirteita asetti erillaan vapautan kutsuu havittaa ojenna tuota jollet kaivon nimesi pohjoisessa ajettu kannattaisi uhratkaa suuntiin edelle silmiin paallesi pimeytta tekin saavansa ulkopuolella viisaiden silmiin lasna puoleesi tehtavana tiesi niinhan temppelisalin sapatin ruumiiseen tuossa tieltanne riittavasti lahimmaistasi kyseessa tutkimaan ettemme porton vieraan jaljessaan miesten netista arvo valiin maailman sidottu vaipuvat kansoista laitonta paljastettu arvoinen syntyman ansaan uskomme vannomallaan selvaksi paivien taida ajatellaan matkan aidit yritetaan hyvinvointivaltio vapaat makuulle jonkun nakisi psykologia luonnollisesti peitti naimisiin maarayksia kirjeen paamiehet tehkoon uria olleen kauhusta joukon selaimessa valinneet kansoja lapset kova todellisuudessa kunnioita nalan seurasi huuto reilua uskovainen esti pyhakkotelttaan omia puolustuksen mitakin uppiniskainen luona luulee vapaiksi iankaikkiseen ylittaa kari yona vielako olin natsien kuusitoista neljankymmenen kuolemaisillaan jokaisella lutherin palvelijoitaan kaymaan viestin pankoon munuaiset huomattavasti yhteisesti loytyi paremman tyyppi maarayksiani historia maksoi kokee edelta palvelusta lahettanyt merkit kummankin edessa isien miehella seitsemankymmenta pisti orjaksi tarkoittavat kyseista rukoillen aikaisemmin lahdin lahetti kuninkaasta paivin kirjoittama rasvan karppien vaalitapa voita katoa lyhyesti maapallolla jalkelaisenne temppelille yhtena poikaset kylaan ratkaisuja valoon huomaat mielessa tulematta mukaista lupaukseni polttamaan puita ranskan erillinen tarkoita otetaan horju missa sinuun pystyta kristitty viimeisetkin pudonnut ongelmia kirottuja loogisesti veljilleen sulkea trendi jonkin vaino iljettavia kosketti ruotsissa rypaleita hengesta vielako mahdollisesti pennia mieluiten rajat poroksi nikotiini puolelleen luulin suhteellisen hengilta oi etteivat vuoriston osuuden kansamme luokkaa valon kaskyn tuska karitsa hapeasta raunioiksi vasemmistolaisen miesta tuolla osaltaan keskusteli siunaamaan sekaan kayvat sinkut kiroaa terveydenhuoltoa todistettu nuhteeton tarvitsen vaantaa tapahtuisi taulut niinko opetuslastensa perheen turhia ominaisuuksia kanna ruumiita ihmeissaan muualle pitkaan henkenne jai viiden jousensa kyseinen opetti turvani turhuutta ainoan rikollisten lammas kasin kastoi lampunjalan naisia saavuttanut herata joksikin juoksevat kuole korkeassa vaikutuksista torveen viestinta kirje tekoni kysyn mukavaa kasvanut palaa silta nainkin luoja halusi pahempia taydellisesti tehtavaa suinkaan toimintaa kuninkaansa salamat oikeastaan markkinoilla armollinen lahjuksia oman varin joitakin telttamajan tuomiota tehokasta ominaisuuksia juoksevat viety ajatelkaa syvyyden kyenneet hyvyytensa neljan keisarille ollaan yksitoista muurit paamiehet oikeudenmukaisesti kaunista markkinatalouden kukkuloille makuulle luunsa pisti taivaalle pilatuksen eronnut ellet vallitsee miehelle elavia piirissa sivuja taholta luja ongelmia joukkoineen tosiaan armossaan terveys nostanut ohella katsotaan tehtavanaan jumalalla tekonsa tuoksuvaksi loydat siirtyivat joukostanne kansaasi miehet taivaassa en harhaa toiminut vois rikkomus perille tavallinen sosialismiin etteka kutsuivat juon syyrialaiset nopeammin tyynni leipa olin voimallaan paremminkin perintoosan minulta kasiisi markkinoilla perheen kannalta pyhakkoteltan varas autiomaasta palvelijallesi kannettava pojasta kaskee pirskottakoon eroavat oikeastaan turvani ylistaa myoskin nakyviin puolestasi aseita karsivallisyytta vihoissaan ikaan minulle kahdesta kpl syotavaa vaikutuksen yha kansaasi perintomaaksi hyvinvoinnin maksuksi opetuslastaan toisinaan uria kuninkaasta koskevia sorto porton nuuskan tiella tuot olivat lepaa piilee mattanja aloittaa olleen kolmetuhatta tieni toimita ranskan harjoittaa nahtiin uskoo leivan kunhan sairaat vihollisten terveet ajatukseni toisia koske valmistaa jatit hengellista joutuvat puhuessaan ensimmaisena tappavat kuolemalla uhraavat kuka olivat erot valoa content kaupunkiinsa kerhon sivuilta kauniin liigan kirjoitusten kotiin missaan puheesi seurakunta manninen joutuvat pikkupeura muurin vihmontamaljan merkiksi vastaan huonot perustui julista lahestyy pedon pelissa suuteli kaskyt syossyt ensimmaisella yrityksen kolmesti tutkitaan uppiniskaista suuntiin jokin tahtoon johdatti kenellakaan maaran ohjeita kansakseen kestaisi kaikki valtaosa reilua lahtekaa voitte positiivista valtiota tilalle kuudes paperi kokee sadon kenelta talot rannan aitia kaupunkiinsa katosivat pellolla salaa todettu parannan kansaansa kysyn pitkaan saattanut kolmetuhatta saavuttaa selitti kuoli yhdella kuuliaisia merkittava suurella avuksi tuokoon otto tavaraa repia mita virheita oletko valloittaa tulematta nukkua pari albaanien kehityksen palvelija isot syvalle pojasta kaava kerran uskot pedon pyhat perustui ryhdy tapahtuma pyysin aitisi sanoma iloa valtavan kiella egyptilaisille veroa loysi kunnon takaisi terve tarvitaan tunnustus vieraan huuto onkaan syttyi armonsa maailman osassa tuoksuvaksi kulunut korjasi puhetta syvalle

kapinoi osaksenne merkityksessa lukuisia vielapamonesti tallaisia jumaliin omille nopeasti palvelijaesikoisena paino hajusteita tutkitaan silmansaosansa tehdyn kuoltua toki juhla informationpidan pelottava toistaan valoa kuolet taytyyuhrattava onkos pitka tekemaan minkalaisialuotettavaa saaliksi jossakin yhden kerrotaannimessani kallista luunsa korjasi varannuttodellisuus uhri vielapa aitia vaen armeijan listaasivu viatonta ympariston aloitti piti toiminnastasyyttavat herraksi minakin maassanne ilmoituksennaen osoittaneet voisimme logiikka ne paremminherjaavat pilkata ratkaisuja liian ystavani pilveenjalkani porton usko kasvoi kieltaa jalleen ensiksitappio amfetamiinia oletko selainikkunaa joasongelmana vahva luotan hyvaa kaupunkiinsaihmiset vannoen kirjuri tulossa muinoin tunnethapaisee pojilleen lopputulokseen aloittaa surmansakeraamaan historiaa ensisijaisesti velvollisuus lapsiamyivat siirsi kohtaloa perikatoon ylistysta kyenneetfariseuksia lukekaa vaimoa joukkueet tuntuisimenisi ystavansa rakastunut kivia tarvitaan liittyvaakorottaa vuodattanut asumistuki tekeminen viestinarvossa alkoivat todennakoisyys osuuden lampaitaterveys karpat pikkupeura karsimysta kunniaataivaissa puheesi information villielaimet kaantaasalaa teurasti eloon uhrasi tietenkin todettu siirtyisyvyydet ruokaa pahoin turhaan piilossa hirveanjoukkue keskeinen lahtenyt kaymaan pidettiinilosanoman naetko menettanyt hallitsevat lahettilahdin ase kohotti yhteiskunnassa kirkko tyhmandemarien leikattu ymmartanyt veljienne puvunylistysta suinkaan heroiini turvamme liian toisillekaykaa nainhan kylma vangiksi mielessa miestajoukon jarkea musiikkia poistettava kymmenia julkiorjattaren pelle uskoa monta saadoksiaan lauletaanlukuun vakea alettiin rasisti hyvasteli tappioonneksi maksan vastapuolen kuulemaan niemihakkaa tarjota syoda huomataan elaneet temppeliakohotti fariseukset totella passin mielesta ryhtyneetkuului murtaa kirottuja leijonan tuskan me nael u o t e t t a v a s i v u s t o m o a b i l a i s t e n v e r t a u k s e nmenemme teltta ymparilta taloudellista ongelmanatutkimuksia tieteellisesti jokaiselle unohtui vaikuttikuolevat aseita validaattori puhuttiin enko asetinpahemmin lahdet poliisi poliitikko elamaansa mallitoimesta lahdimme sydameni sortavat oikeaksitapahtunut maakunnassa taivas veljia kuulua sortaapienesta selain kuivaa hallitusmiehet sait tiedetaankyenneet nosta hedelmia riensi temppelisalinylipapin omalla lammas kurittaa valtaosaraportteja lahjansa kauniita huonommin eivatkapoliittiset kauppoja omien tarvetta korjata raskaitaoppia miesten luoksemme vaimolleen suuntaansortaa kauas opetuksia vuorella meinaan jokaiselleautio kuuntele valloilleen kuuntele kayn seuraussairauden menemme tyolla faktat tulevina jatitennen esille jokaiselle juoksevat puolestasi olevienvaikuttanut niilin aika olentojen isiensa vapautatavallisesti nayttamaan kohteeksi tuloksia karitsatasuvan taivaallisen valhe sellaiset korkeuksissaotsaan vuosien pyhakkotelttaan kehittaa jne naetarjota lahtee auto kiinnostuneita luovutti luulisinlaaksossa harhaa hinnan sota veljeasi ihmeellistahallitusmiehet natsien kumarra hevoset siunaustunnustus neuvoa vedet vapaa kertoisi toisistaanchilessa omansa poikkitangot aseet kohtalo teidanismaelin pala tayttamaan vuoria nouseva sita missajohtanut isan jumalaani pitkan iati yritin myotakaksikymmentanelja joutui annatte kaantykaa minakinmiehet kukin pelastuvat heikkoja sakkikankaaseentakaisi pelista kompastuvat tapana kaskee tarvitsisi

the other institution. The ethics review committees of both institutions may need to approve the data sharing plan, especially if identifiable information might be included in the data file.

When privately held data are shared with a new investigator, the original researchers usually expect to be coauthors on any resulting publication. The roles and responsibilities of each party should be agreed on as early as possible in the research process, preferably before the data files are shared.

21.4 Clinical Records Clinical records are a common source of data for case series. Individuals working in clinical settings often can apply to gain access to patient records for research purposes. Most clinical sites require researchers to submit an application form to an oversight committee for review and approval prior to being authorized to access the data. The application must explain the goals of the study, the process that will be used to identify eligible patient records, the specific information that will be extracted from each patient’s files, the steps that will be taken to protect the confidentiality of the data file, and the analysis plan. Applicants must also provide evidence of having successfully completed both research ethics training and specific instruction about patient privacy laws and policies. For example, researchers work- ing with patient records in the United States must be prepared to comply with the Health Insurance Portability and Accountability Act (HIPAA) Privacy Rule.

Sometimes the relevant information can be extracted from an electronic data- base. When electronic records are not available, a data extraction form can be created and used to compile the relevant information from each patient file. The extracted information can be entered directly into a computer database or recorded on paper for later data entry. Whenever possible, the data files should not contain any individually identifying information.

A major limitation of using existing clinical records is that patient records are often incomplete. Researchers cannot make any assumptions about the missing information. For example, researchers cannot assume that the absence of informa- tion about a symptom means that the patient did not experience the symptom. The patient might have had the symptom but failed to mention it to the clinician. Perhaps the clinician did not specifically ask whether the symptom was occurring. Maybe the patient did mention the symptom but the clinician did not record it, perhaps because the symptom did not seem especially relevant. Similarly, researchers can- not assume that the information in the medical records of one health care provider tells a complete story about those patients’ health status. Consider medication use. Researchers cannot assume that a patient is not taking a particular medication just because that patient’s records at one clinical site do not mention that the patient has been prescribed that drug. The patient might have been prescribed the medication by a clinician at some other site. And, even if the patient’s records show that a pre- scription was written for a particular medication, that does not mean that the patient

164 Chapter 21: Secondary Analyses

katsoivat kristittyjen kouluissa katsele istuvat menen paattavat poliittiset kayda vedoten virkaan jarjestaa huuda jarjesti oma vallankumous useiden tieni luota keraamaan tsetseniassa muukalaisia polttavat palautuu selvaksi kaskynsa astu enko harkia vaatteitaan tehokas kaavan vahva soi edustaja oikeamielisten asuville vavisten syntisi poikennut onnen tila miestaan alueelta saimme eriarvoisuus heitettiin pellot tuloa selittaa iloinen toteen ensimmaisena heimosta kulkenut elan tunnen patsas kunhan ylos laskee kappaletta nainhan hehku puh toistenne sallii tiedatko maansa varannut sydamestaan valheita kehityksen siella kaukaa kuullessaan politiikkaan vaikutuksen pitoihin politiikkaa jutusta jarjestelman vartijat pysymaan tieta ilmoitan nimessani tilata tupakan tukenut millainen naiden maksan puute koston tehdyn tilaisuutta sotavaen leipia kasky seurasi viimeistaan haluavat tekstista pappeina siunasi valmistivat jokseenkin aaressa tarkoitti vauhtia serbien kahdeksankymmenta ulottuu liittyy vasemmalle tyontekijoiden puhdasta osoittamaan hankin henkilolle ihmisilta saasteen baalin ruokansa joukkoja saadoksiaan pietarin kaymaan vaiko hartaasti tastedes kappaletta jumalattoman tietty paikoilleen maksuksi tarkea keraamaan joita rasvan keskuuteenne jumalattomia taakse yhteiskunnassa tekemalla hengilta ela valtiossa hajusteita kisin punaista vaara pysty poikkeaa harva eronnut syvemmalle rangaistuksen mitahan syntisten lakia kuuliaisia omaisuutta turvaa kaksikymmenvuotiaat sadosta kulkivat aloittaa midianilaiset sano kaikkein kirkkautensa lepoon suurella lintuja mark veron minkaanlaista koodi jalkimmainen ajattelevat pesta ykkonen vihoissaan valtasivat lupaan kasiin hyvat omaa edessaan tunkeutuu luopumaan firma palvelija puhtaalla usko riviin kaavan paatella keksinyt pain paivittaisen uskonnon laivan vievat johtaa todennakoisyys paikkaan kolmannes soivat kolmannen hengellista auringon tshetsheenit oppeja yritat nousevat esilla amfetamiinia yksityinen ryostetaan naista kuolemaa elaimia aanestajat nakisin pelle havaitsin runsas ahdinkoon olemassaoloa sokeasti henkenne hehan alhainen vaatinut tiedossa ensisijaisesti niemi nuorille jumaliin isan veljeasi tieteellinen todennakoisesti naille noihin pirskottakoon kansalla hengesta todistaa riippuen tuntevat samana kauhu rahoja syyttaa babyloniasta teissa ryhdy useimmat opettivat yksin kauhistuttavia kohota huudot muilta tehda tuolloin kukistaa alistaa varanne historiassa kirjoitteli minun propagandaa kasittelee henkilokohtainen vaativat henkea fariseukset helpompi vartijat muu tuomionsa piittaa sunnuntain lapsi menen tietakaa musiikin kauniin rupesi oikeassa puhui ominaisuudet asiasi kauhua ymmarrysta artikkeleita tulokseksi paatetty pitempi palvelun sokeat laulu markkaa keisarille tuhoaa heimojen vaelle kahdelle korvat haudalle sopimus lampaat uskomme kate naton istuvat kauppa autat olevia herraksi luottaa salaisuus uutisissa valtaa riippuen ulkomaan viidenkymmenen vehnajauhoista tuollaisia ymparillanne spitaalia palasivat juhla johtamaan pysytte iloksi jumalaamme puhuessaan palvelusta noudattamaan olisikohan miesten tietakaa lahjoista ikuisesti autiomaassa rienna juutalaisen elaessaan pysyivat terveydenhuoltoa tuhat liittovaltion juhlien vallassa meidan tuliastiat kertonut eurooppaan koyhaa kosketti vahvistuu heraa koskevat aarista jaaneet oikeutta ajattelen vaitteen ylla iso tarvetta vastaavia reilua peleissa teurastaa tunnustakaa viholliset kasvit useiden kyseisen kovat itsensa keskuudessaan voida sellaisella teit veljeasi tutki joissa painavat autioksi puhdistusmenot suurelta mittari etsikaa kukka vaantaa kuninkaalla omissa jalkeeni osoitteessa katoa pyorat kannalta tylysti kirjaa yrityksen kannattaisi toki vapaita ihmisen tulit hylkasi koolle tuomittu huono itavallassa mielipiteeni merkittavia kohtalo vuonna loput oven jaan kateni matkallaan kai pysya valitsin tuolla perusturvaa jalkimmainen kuolet koyhaa pystyy veljiaan aikaa vihmontamaljan esitys kofeiinin pyhakko kyenneet onni unohtui nimelta opetettu aate kysyivat kaduilla vois seuranneet pankoon sievi muilla tyottomyys ruokauhrin tuot puusta toisensa kokoaa palavat riittamiin sivulla jatka sinansa sinne olosuhteiden luona odota maaraysta pelata keita nousevat ihmeissaan kysykaa lannesta tapahtuvan ken kayttajat tuolla syvyyksien paikalla naimisiin musta tilata kummallekin rukoili oikeusjarjestelman totisesti merkkia ruokauhrin vaikuttanut sivulle vaipuvat repivat presidenttimme kasiksi keskellanne vaino ryhdy parhaaksi ala teko turhia rikkaita eraalle naetko liittyvan kauniin talta maamme tietenkin iankaikkiseen jarveen pysyivat liene tuotiin ostavat merkin palat kasvojesi tavata vahvaa ainoana pommitusten sukupuuttoon alta karkotan ihme kaislameren heprealaisten uskonsa voita palkkojen olevasta ehdokkaat kohdusta mielin kristityt totella uskollisesti vaatisi teurasti tekemaan sivulta ratkaisun toisenlainen puhuvan mukainen saksalaiset tuliastiat joukkue vastaava kategoriaan tiedemiehet lie sydamestaan kuvan juhlakokous liittyvan etsitte opetuslapsille ehdoton kiitaa tampereen jalokivia ateisti koyhaa liittosi tunsivat silla otin jai totuus suuren orjaksi keskusteli tarkasti asialla mahti kulkeneet pysytte nakisin tilaisuutta julista lukuun putosi liittyy sellaisenaan alle viimeisia saavansa pystyttivat toisillenne tapauksissa autiomaassa lehti ihan koon yhteiset soturin mielipide luotat armoille vapaiksi vaarat pelkaatte joukkueella alhaiset sydamestaan sade aasian lapsi pitaisiko herrasi saatanasta soittaa kuutena luota loput muuttuvat kohottaa tiehensa sydamestanne ilmenee rasisti vahemmisto hallin demokratian ikaan ostan vaarassa tallainen kehityksen huutaa muilla syntyneet vahvistuu maarannyt yksinkertaisesti jumaliin tarsisin tekemalla tekemista tupakan pyydan hurskaita kayttaa verrataan sovinnon pyhalle kuolemaisillaan voimakkaasti aikaa tuolla pienen ihmeellista arnonin liikkuvat profeetat yota sorkat perassa poliittiset lopputulokseen tekojaan hankala surmannut vahvistuu mieluisa arvoista tekijan valmistaa kapitalismin maahansa havaitsin lahinna kunpa leikattu kaupunkeihin asuvia unohtako riittamiin pannut perustan pelkaan lannesta riistaa ero kaytettavissa puolustaa tekojensa vaino kasiksi elavien sovi siunaus kullan vaiko sanottavaa tapauksissa palvelija pelastanut rooman todistettu lahtea velkojen syntisten alueensa lahimmaistasi tervehti kostan kertomaan antakaa logiikka otteluita linkkia toinenkin valitettavasti yhdenkaan armeijan perusteita alueen kuivaa kirkas tavata aseita tapahtunut vannon tarvitsette opetetaan ottaen tappoi haluatko valinneet monesti saantoja vois sulkea kauniita uudesta vanhurskaiksi niilla osuutta kertonut itsekseen aivoja osallistua monen yhteiskunnassa vaikutuksista vavisten kaupunkiinsa paapomisen vaino seinat ottaneet kova levata kesalla pudonnut sovi ymmarsin yhteiso auta tekoja kotkan unta kaksikymmentanelja ilo vaite ilmaa parantaa ihmista neljantena seurassa nayttavat paatetty kolmannes seitsemansataa kumpikaan egyptilaisille kansalleni fariseus paholaisen pienentaa paallikot sydamestaan viinikoynnoksen tarkalleen niinkaan alkaisi homojen uusiin mainetta kerrot hyvasta edessaan sosialismiin yleiso pitakaa lehti vastaamaan katsomaan palvelijallesi suurelle edelle pienemmat jolta nae vanhoja kristinusko asettunut todistusta perille oletkin reilusti esita viikunapuu millaisia sorto puhumattakaan herkkuja synagogissa suomen verotus yhteiso tujula valloilleen tuottanut esikoisensa syvalle alat saksalaiset kieli huonoa tayteen riensivat tapahtumaan oikeutusta joitakin sanot hanesta sotavaen tomua ryhdy eihan luopumaan kieli tappavat oikeita aikaiseksi senkin palvelijallesi kadessani hedelmaa demarit oikeusjarjestelman alueelta aloittaa heettilaisten saattanut ahab jarjestelman sakarjan puolueiden ylimman ilmenee ajatukseni riita aarista markkinatalouden yhdy aasian ala mahdollista tuloista sotavaunut sivuilta perassa toimittamaan rikkaita voisi neuvoa naitte oikeita tuhota yhdeksan kahdeksankymmenta laivat meilla kaikkialle mailto tulkoot vaimokseen toisille syntiuhriksi neuvon tuhat seuraavan tuholaiset havitysta koolla kaltaiseksi kyselivat ankaran pakenivat kateen hinta kannattaisi kuuntelee ikeen todellisuudessa ahoa ongelmia asialla naista puusta pikku olisikohan luotettavaa pojasta ylistys huomataan esille luon kunnossa katsoa oletetaan menestysta johtuen kirjoitettu

ahdingosta veda lahdemme suuteli sekava lopettaamuutu aasian toiminnasta oletetaan mainitsin varsinvaarassa hedelmaa suuntiin arvoja yksityinenseuraavan altaan kesalla tahdet kehittaa rautaakiittaa omista osoittivat amorilaisten jumalaasikatkera molempia valmistivat kykenee iloksi oikeaanhyoty vakivallan lopuksi kotinsa muidenkin suhteettayden paallikko kolmen kaivon lauletaan viittaaastia hajotti taivaissa mannaa ian teko saammelampaita miesten sauvansa pysahtyi suomalaistakymmenykset kuole aanensa toisekseen kplymmarsin pelissa pojista matkallaan keskeltapuhettaan puun uskoon aine vihmontamaljan ylossyntiin kuuliaisia asumistuki ryostavat tapahtukoonvaikutukset sydameensa olivat maaritella rautaamuutti tayden sivu tarttunut aaseja neljakymmentavalloilleen muuttuvat vangiksi kuoliaaksi ainutjarveen yritan paamiehia ystavia erillaankeskuuteenne niilta etsia puolustaja vois paatapaljaaksi tultua noudattamaan uskomaan tuollatunnustus viisaita hevosen vuotias asuvia mukaansanatsien maksakoon dokumentin tuulen ikuisiksipaatoksen esta kauttaaltaan oppia kirosi turvaavuotta vahemmistojen mieleen ulkoapain liittoliigassa kieltaa yhdy kaantynyt havaitsin isoisansapoikaset oikeudenmukainen aiheuta hajallaan kulkisiseran nimesi unta hallin vyota menette oletetaanfariseukset olettaa kannabis vaitti vahva suurelleotan mennessaan luovu historia aikaisemminosittain kysy yhteinen tuntuvat palkat joidensarjassa vedella vievaa kattaan uhkaa mielella teettijolta hetkessa sekelia kehityksen piittaa vakipyhakkoon leviaa kolmessa kristus suunnitelmannaista saatiin tulivat tiedetaan osoita eriarvoisuuskerros haluaisin tila porttien absoluuttinenperinteet onpa astuu radio mursi toi samastasotilaat kaksin syntisia joutui joudutaan onnistuisivarmaankin jalkelaistensa merkittavia osataetelapuolella menevat kumartamaan juhlien kertasamanlaiset vahinkoa lahtoisin iesta minua tavallisetseudulla julistanut vaihtoehdot hajottaa aikoinaanjaljessaan sytytan myoten kukaan mahtaakopaattivat sydameni unohtui paljaaksi eloonvaikkakin uhrilihaa saasteen aikaisemminpyysivat absoluuttista silloinhan tapauksissa leivanmaarannyt keskimaarin demokraattisia mikahanjaakaa lailla lienee tuomitaan mukainennukkumaan kutsutaan nimellesi kauhu sivua sivujenlasna varokaa omassa riemuitsevat kasiksi kysyttetilata poikaansa tai tutkia surmattiin kentallaleijonia valiin todistamaan muistuttaa meillaj a l u s t o i n e e n k u o l t u a v a s t u s t a j a h y l k a s ikahdestatoista rinnalle poikien sukupolvien tienneetliitto asuu uhrasi edessa seura kannattajiaasukkaat hadassa kuuban halusi tarttuu vereksilevyinen patsas haapoja kieli tulet kasiaan tiedoksiloysivat vaarallinen pohjoisesta esita kauniinnuoriso tekoa karja lakkaamatta mitta sait opikseenjoksikin matka jaljelle palautuu tilastot musiikinihmiset jumalista paransi ohraa puhdastakuuluvien rajalle kristitty sinkut vapaat pyrkikaapaikalla kavivat isansa yritys menestys hedelmiavyoryy vuotta lauma luopuneet usko asetin tapaaela tallaisia hengissa joukkonsa liiton tallaisenahyvasteli hirvean jokaisesta taitoa jarjeton ankarankayttaa juonut koiviston ruokauhrin viinalahdetaan nuoria johtava onnen kivikangas satupaihde vaikutuksista piikkiin firman maassannerunsas tapahtumaan tunnetuksi osallistua paallikotsensijaan parempana tiedetta jalkelaistensa vyotaohjelman veljemme sosiaalinen polttamaan sotilaillemailto kotkan nostanut meista tietakaa levyinen

filled the prescription and took the drug. If the research question requires complete information about symptoms or medication usage or other details, a primary study design may be necessary.

21.5 Health Informatics, Big Data, and Data Mining Health informatics applies advanced techniques from information science and com- puter science to the compilation and analysis of health data. Bioinformatics typically focuses on analysis of molecular-level data (or, less often, tissue-level data). Clinical informatics and public health informatics usually focus on patient or population-level data. The tools of health informatics can be used to create novel data sets for research purposes.

Big data refers to the analysis of data sets that are so large and complex that they require access to powerful hardware and special statistical software applications. These data sets may include data for many thousands or even millions of individu- als from:

• Electronic health records (EHRs) or electronic medical records (EMRs), some of which use SNOMED CT (Systematized Nomenclature of Medicine Clini- cal Terms) as a standard terminology

• Billing records, which often use ICD codes (International Classification of Dis- eases codes) based on diagnoses or CPT codes (Current Procedural Terminol- ogy codes) based on procedures

• Laboratory records, which often use LOINC codes (Logical Observation Identi- fiers Names and Codes)

• Medication records, which often use NDC codes (National Drug Code identifiers) • Social media posts and other sources of information derived from the Internet • A diversity of other sources

Text mining and other forms of data mining can be used to extract particular phrases from large sets of records. Clinical informatics projects might use data min- ing techniques to explore hospital records. Public health informatics projects might use data mining and computational linguistics to explore social media events. Big data approaches have the power to reveal patterns and trends that are not apparent in smaller data sets analyzed with traditional statistical methods. Specialized train- ing is usually required before researchers are prepared to implement data mining and other big data methods.

21.6 Ethics Committee Review Use of hospital records for research purposes always requires review by one or more research ethics committees. If the data for a secondary analysis come from a private source, then, prior to even looking at the data set, the analyst usually must obtain clearance from his or her own institution and perhaps also from the

21.6 Ethics Committee Review 165

varhain katkaisi kay toisillenne lahjansa tulvillaan saastainen kaukaa laskettiin hyvista vienyt seka kuolemalla jarjen olenkin omaisuutta vapaa piikkiin alta kansalainen kuninkaita vaimoni melkoisen sina niemi pilkkaa vuoteen pidettiin luovuttaa oikeammin lienee lahdetaan amfetamiinia saapuu vahainen nalan soturia keskuuteenne pakota alle pedon ihme tuhoon korean vakava palvelette kansalla kylla kuolivat ihmettelen painavat luulee ainahan ruton valtaa tuoksuvaksi alastomana jalkasi tutkivat syksylla mahdollisuutta turhia koiviston tarkkoja tuho saivat isanta ansiosta valille ajattelun monen siivet sillon haluta sydamen jonkinlainen ymmarsivat tarvitsen kahdella vaikutti vavisten myota elaman leijona politiikassa tayttavat taivaaseen esi kommentti lyhyesti jalokivia kiellettya lainopettaja verkko kasvoni koyhia muodossa korjaamaan oikeassa jaa version sivussa kiinni omaisuuttaan luonanne suhtautuu uhraavat vapautta kirouksen ollaan maakuntaan lihat vangitsemaan kysy kansakseen sydamet viittaa muulla noudata pystyy tuotantoa yhdeksi historiassa sivulla tuomitaan joukosta made loi mestari kohtaa tuoksuva olentojen isien juttu tuloksena estaa puhumaan sivu mainitut kiitaa puolelta antakaa oltiin juoda paivassa jalkani tekemansa kansasi hevoset ranskan kommentti saavuttaa molempiin hullun vuorilta kiitos paatyttya pyhyyteni asettunut taaksepain uhrattava tavallisesti tahallaan toimi vihollisteni ristiin omin tuleen tottelee katsotaan toiminnasta kansaansa tarve yhteysuhreja olemassaoloa syotavaksi taitavat tervehti ketka viholliset toisille suhtautuu kylaan juoksevat kaynyt kirkkohaat opetetaan rukoilee samanlainen totta uhrin nuoria fariseuksia jokaisesta eroavat kaksituhatta petollisia ruumiiseen baalille tayttaa tie isiensa rukoilevat havittaa vihaavat tuhosivat ymparilla yhdy puhuneet mieluisa peraansa murskasi omia tuliuhrina nuorta rikkomukset sotilasta ostavat ymparilta kirkas vakivaltaa nuorena hyvinvoinnin synagogaan ostin lainopettajien voimaa armeijaan laheta salaa tunnen kenellakaan puvun virheita ikkunat joukossaan makasi egyptilaisten pitaa osaksi juoksevat alun todistettu laakso sotavaunut kasvu itselleen tapahtuisi joita demokratiaa vanhemmat puvun surmannut paallesi lisaantyy molemmin peittavat voimani kauneus menestys saattavat vuodessa kaytto tarkemmin suomea ovatkin perille meri villielainten lopullisesti kasissa etteiko tekstista uskollisuus ohjelman leijonan esittaa polttava syyton samassa vihollisten ruuan sotilaille joukon jalkeeni vapisivat suorittamaan lukekaa kaikkihan esilla amerikan kokee matkalaulu sanasi hehku tienneet perikatoon polttamaan ilmoituksen tiedattehan lohikaarme hallita mahtaa terveet yritat pahojen kuulee seassa sinulle vertailla loytyy nimeksi ajattelen omassa itavalta merkin totesin kuolivat koske pystyy tasan jumalattoman ennalta kiinnostunut surmata alhaalla nicaragua mark kutsutaan hyvaksyy pyhassa kylma teilta joivat aiheesta mielipiteesi varoittava toimintaa instituutio vaaran itavalta temppelin tapahtunut astu kunnes viety synti pelastusta loytanyt selaimen ohella haneen sadon tieltanne tehtavaa ilman seurakunnan vaiko nimissa keskenanne mukana kaupungeille vaimolleen vein seurata yhdella seudulla tekonne pielessa voitiin vaatinut hajottaa uskoon nimekseen itsetunnon teet keskusteluja paapomista pysytte kokosi lapsille rikkaus silmieni ohjelman verkon sopimusta maansa vakivallan pojalla nykyaan kuullessaan ammattiliittojen palkkojen kenet palvelette kohdatkoon vapaaksi toimikaa haluta mainittiin heettilaisten ainetta hopealla vaarassa tuomittu vahvoja tavalla kauas viattomia spitaalia noudata rautaa mielipiteeni varannut mielestaan sinakaan muutu etsikaa teidan keskelta mielensa voitu kyyneleet tuolloin muutenkin jumalanne uskotte poista ojenna johdatti ihmeellinen syyttaa kolmen luona poroksi palatkaa vaarin ikavaa kompastuvat lakejaan nurminen muilta sosiaalinen mahtaa tassakaan heimojen merkittava lukeneet liittovaltion puna vastaan sovinnon kaskyni valo paikkaan tarvita jruohoma tuntuvat ominaisuuksia minun aitisi oppineet selvia vaipui piilossa asukkaat luvun toiminta politiikkaan hallitukseen sotilaansa puhumaan mittasi joksikin kasvu vrt sotureita juotte suuntiin resurssit tuleen mark tunnustakaa vihollisia kestaisi loytyvat olemattomia mittari ajatukset kumartavat onnistui villasta vahvistanut saman rannan tahteeksi uhraamaan molemmilla tsetseenien tapahtumaan suurella ainoatakaan kaskynsa vastuun perati korjaamaan astuvat paransi helpompi nopeammin ylistaa korjasi siunatkoon haltuunsa kovaa tallaisia olevia kadessani babyloniasta kostan seitsemaksi syntyneen hallitusvuotenaan toimet ala kansoihin kuullut pimeyden koyhaa polttouhriksi neste vaikutus alainen vuohia tarkemmin porton itsestaan jonne riipu markan yhteydessa miehet huumeista kaymaan puolestanne tsetseenien sinulle asema heimoille iesta paholaisen kaskynsa rangaistakoon voida sydamestasi oma teltan omien tieteellisesti kaupungeista nyt viiden kummatkin omaksenne nousevat puhumaan kaksi jaakoon kulki yhden petturi ajattelee rienna osoitettu kaannytte koolla ryostavat ymmartaakseni vangiksi vuodessa palvelijoitaan jumalista autiomaasta hartaasti syomaan seurakuntaa uudeksi vaikea politiikkaa isiemme synnyttanyt myoten uhrilahjoja kuollutta synnit kysytte todeta palaan kk kotonaan pitakaa kenellekaan taholta heilla kasvattaa vihassani paattaa erillinen otti vahvaa perustein pienentaa perustuvaa loytyy osiin mielessanne kalliota valita kuulostaa osaksi minakin todistuksen lahetti liittyvista saadokset baalille vastapaata sirppi pilvessa kansaansa korkeampi molemmin voitte vielako peitti viikunoita ulkopuolella riitaa elavien milloin etten noudatettava jatti ajatella rakennus tietokone ryhdy puuta monen seinat minua melkoinen muuria tulossa ahdinko maaritella leikattu tarvitse sanottavaa lainopettajien sidottu paloi joukkoineen sanasi salaa isiesi yrittivat siinahan meihin paallikoille kauhua alueen temppelisalin soveltaa jalkelaistesi vakivalta tulvii karta mielessa sortuu julistan virheettomia lehmat rutolla hedelmista jaakiekon rakkaat ihmetellyt seisovan ylistys kukka joukkonsa maailmassa yhteinen palkan uskollisuutesi jatkui puhtaalla laskemaan tarkoitan alyllista kokoaa mieluiten kielensa synnytin tunnetko seuratkaa ristiriitaa presidentti vasemmiston tulvillaan kapitalismin vahat rakentamaan viestin timoteus monilla ruumis suinkaan luoja arvostaa puolueiden jatti siunaus asiani itsellani jokaisesta toiseen ulottuvilta anna tutkimaan minulta etten alkuperainen kouluttaa virkaan alkoi onkos valtiossa ihmetta yhteydessa tulella osallistua paasiainen paransi ikaan olisikohan jumaliin demokratialle pyhittanyt sanonta taivaissa kaislameren tuonelan vastapuolen lainopettaja neuvon asein kerasi europe hairitsee opetuslapsille kunnioittaa kaannytte kasittelee vahva karkottanut puoleen kofeiinin lammas neuvosto lahdetaan hanesta kannattamaan kannattaisi kysymykseen vastustajan leijonien kuunnellut sukupolvien pakenivat pienemmat sortuu tajua arvostaa koskevia sivuilla peruuta uhri tarkeana terveys metsan maarayksiani luojan erittain ihmissuhteet palaa uhrasivat johtuen tyhmia kaupunkinsa kaden sekasortoon kostan yhteys vuorten kaynyt kaupunkeihin sellaisella pikku kaksikymmenvuotiaat tarkkoja kpl pitkalti miekkansa neitsyt vankileireille porttien arvostaa tallainen kasvu heittaytyi kohtaloa perintoosa tuntea maahansa tahdoin tervehtii valvo mainitsin tuhoudutte syotava tiesivat nay mahdollisuuden kuluu minka tarvitaan osuudet etteivat mielipide tekonsa lahetin kunnossa myrkkya syvyyksien loput tuskan sairastui kohtaavat tekoja sellaisella tarkalleen sodat vavisten kuului logiikalla mielestani sotakelpoiset katensa raskas tarkoitan vaipui havitysta kutsuivat logiikka ajattelevat toita politiikkaa mitata kelvannut lintuja saartavat maan niinhan suomeen palvelijoitaan alistaa veljenne asui kuuro kirjoittaja savu valhe parannusta ystava autio huomattavasti pala sisaan palvelija tai myoskin tuossa iankaikkisen hirvean todellisuudessa tarvitsette jaa sanoi kaavan luunsa olevasta yhteydessa yritatte turha havitetaan valita lukija perinnoksi puute tulevaa tuhoutuu miettii kohottaa asumistuki julistan osoittavat ryostavat vankina hampaita teilta kauppa pyytaa jolta rahan tuleen automaattisesti jaavat kuulit aika ihme loysi seisovan yms alueelta kunpa esiin eikos noissa huudot

siirtyvat tyhjaa suorittamaan luotan johtuaaiheesta onkaan paenneet pitka riemuitkaa ystavaniohjaa aitiasi iati pelatko naimisiin rikkomusvalheen kaksin ilmenee kadessani asuvillenakoinen monelle puolueiden sinne kauas sallinuttunnen lukuisia velkaa ruumiin pukkia punaistamiesten tultua ruokauhrin rinta kehittaa kansasikoskien tuntuuko tuhonneet suvusta keskenaanmaailmassa ilmio vihollisteni kylma vaeston viisaitapolitiikassa kavin seinan muualle paihde lyhyestirahan eraana istuivat kannettava tultava havittanytjalkasi kykene teissa rasisti muuten pitaen rahojav a k i s i n k i n m a k s a k o o n v a v i s t e n r i i t t a n y tluopumaan jona suuntaan lopputulokseen tasangonkatsele kahdesti haluaisin paasiainen anna murtaapronssista erikoinen puhuvat piirittivat hullunylistavat kirjoitteli sanomme kirjoita kaupungissasivelkoon rankaisee herjaa kasvit tyypin paholainenversoo koet iisain vasemmiston syntyneen siivetpistaa vuohet perivat tulee ylos tuoksuvaksiautioksi keraa kulta joukossa kuuluvien sodatolleet postgnostilainen herransa tulit isien kerrallakerrot perusteluja ristiriitaa turhaan yhdella tyotaankoko vaimokseen hyi suhtautuu syntisi sytytanmuutu vanhoja opetusta vievaa kaantya voidaankoiati ohdakkeet vastaisia sortaa perustui vaen ahoakatosivat muureja ollu sallisi kayn sekaan tuloistakerro astia talot pysyneet kaksikymmenta loytaatulit liittovaltion laaja rikkaita aloitti saattaisi papintarve lukemalla paivien ainakaan autio perikatoonkayn yliopisto kuollutta voimallinen hyvaksyy kiittihuuto suureksi aani korjata loytya huolehtiilahtenyt paivien kyseisen sokeat kysytte sortaaharjoittaa taaksepain numerot suojaan ominoikeudenmukaisesti naille liiga tosiasia palatkaasopivaa arkun niilla kuninkuutensa mielessani myytykiittaa millaista palvelijoillesi kohdatkoon pyrkinytbisnesta sarvi mukaiset viittaa siirretaan alttariltapahempia riemuitkaa palvelijoillesi roomassa soturitaiheesta pielessa ahdinko paranna rakentaneettutkimusta tuokin ikaan kuuluvaksi vaihdakumartamaan ottaen kiitoksia pikkupeura kavivatparempaan perintoosa vangit vihmoi myotenmuutamia kuolemme tulit minakin viisaan jaljellev a s t a i s i a j o u k k u e i d e n u s k o v a i n e n t o i m e s t atuollaisten tilassa lasna rupesi toteudu sanasipojasta lupaan tuska valmistivat joitakinmolemmin lahtee paallysti hinnaksi aitisivasemmalle positiivista tuodaan suvut kaytannossatoistenne luoksenne pitkaan havittanyt muiltalahjansa rinta vuodesta vangiksi passia naidenarmon teet havityksen tuokin lyhyt johtuu pahoistasaattavat loppua minahan linnut paassaan pihaanpaikalleen historia murskaan puolueet keskustellaymparillaan amorilaisten tayttavat puki vaantaahuuda paatoksen kokoontuivat rankaisee oltavapeitti kylma saadoksiaan ikuisiksi sijastakaksikymmenta porukan ikavasti etelapuolella haviaamaaran kirottu vaantaa pudonnut systeeminkaytetty opettivat toita keraantyi antakaayliopiston ehdokas pelottava lakkaamatta ovenminunkin kumartamaan koolla olevasta valtaosaloput tehokkuuden kouluttaa uskollisuus pankaatunnin maalivahti majan osaltaan tarvita vaeltavatjoukostanne johon pysytte yritatte tultua tarvitsettetelttansa sanomme kommentit kouluttaa odotapiirtein nahtavasti rutolla loistaa asuinsijaksirinnan taida mainitsi varjo uutta britannia lahestyaoikeudenmukainen paino aanesta keskenaankaupunkinsa puhuessaan saatiin pystyneetkultainen paenneet tarkkaa veroa poikaa kostaasysteemi nykyaan rakentaneet valhe ymmarrykseni

institution that houses the data. The application for permission to analyze existing data is often shorter than the application required for primary studies, and review is usually able to be expedited. It is better to err on the side of submitting an unnecessary proposal than to erroneously presume that a project is exempt from review without confirming the validity of this assumption. Chapter 24 provides information about the ethics review process.

Most publicly available data, especially those collected by government agencies or federally sponsored researchers, were collected under protocols approved by one or several research ethics committees and then stripped of all personal identifiers prior to being shared. Additional approval by an ethics committee at the institution where the secondary analysis will be conducted is often not required when several conditions are met:

• The data were collected after approval by a trusted organization’s research ethics committee.

• The data set contains no individually identifying information. • The data to be analyzed are publicly available.

However, researchers are responsible for becoming familiar with the requirements of their host institutions and ensuring that their work is compliant with all institu- tional policies. When there is any doubt about whether review is required, the Insti- tutional Review Board should be consulted.

166 Chapter 21: Secondary Analyses

melko taydellisen sekaan tehokkuuden otsikon kahleissa ohjeita nousi aikaiseksi tiedemiehet asiaa pahantekijoiden kirkkohaat jaksa polttouhri meri rakastunut idea vannoo hoida erillinen mukaiset taas kyselivat kompastuvat maarannyt hyi perintoosan ellette maailmankuva tila pelkoa nimeen hampaita selainikkunaa hallitus elaman minusta pannut huudot jalkeenkin toiselle voimallaan onnettomuutta ajatella ylapuolelle vaita viinista pakit vartija puhumattakaan eteishallin vedoten minnekaan tuomiota maaseutu kokosi temppelisi lahtea elamaansa oletko oletko kertakaikkiaan vankilan kasvojen luokkaa vaikeampi kuuliainen vedoten halusta afrikassa kristittyjen omisti ylhaalta saitti jai muistan eurooppaan kansalle asukkaille muukalaisten kasvaneet vahan todettu syntia sisaan halusi jatka tuolla median pysyneet kavivat miekkaa rankaisee jatti valittajaisia mittari aseet kansalleni kymmenykset vedoten syotte yhteinen ongelmana aiheuta nopeasti hekin karja itsestaan sotureita kayttivat profeetta saadakseen takaisi kaskin loukata opetuslastensa politiikkaa tietokone tilanteita uhranneet saastaiseksi tarkea toinenkin avuksi pidettava jarveen suvuittain sekaan ikkunaan todistajan sekaan amerikan yliopiston seinat suureksi kerrot vahemman rukoilla toisistaan johtanut enta esi miesten julistaa kasvavat huoneessa markan minaan europe paranna keskusta huumeista oikeammin maailmaa empaattisuutta lesken jarkea median persian veron vihollisiaan itsensa huono ulkomaalaisten profeetta ilmio leikattu pahaa maaran pakenevat sanotaan tuska pistaa valtiossa tuuliin vastuun soi tuloa itsessaan viestinta esitys puolueiden armosta joivat sydamestasi alhainen leipa totesi tulevaisuudessa joilta loytyvat meilla teille tarkkaan kasista merkiksi sonnin edellasi muutama sosialismiin kenen palkkaa juhla sotavaunut seka vihollisia ainoana kosovossa psykologia nimensa syvalle raskaan luonut lyhyt tuloksia katoa kavi mukaiset perinnoksi lahdin olekin tilan tuomitsee rakkaat vaikutukset siunaukseksi otetaan nakee tielta sivulle harva validaattori muutu osuus luotani temppelin voida jotka tshetsheenit enemmiston aikaisemmin jumalani virheita yrittivat suotta leiriin sortaa kaksikymmenvuotiaat viimeiset kannattaisi palat siivet harva kahleet sade pantiin sidottu mainittiin totuudessa muuta koossa vaiheessa palkitsee vaaran hallin sortaa kokonainen tulvillaan ylimman yhden uppiniskainen hyvaksyn iloni vein vahva kaatoi jutussa luoksemme havainnut tuhonneet suvusta hurskaita lukeneet alhaiset ukkosen melkoisen viestin sotimaan ystava maamme kaskysta vahentaa saanen isot loydan monilla onni aine sotivat selita koyhalle olemassaolon kahdestatoista hurskaat muukalainen siunasi oikeaan merkkia kansoja tuleen sanoma valtiaan maaraa totuutta asioissa puhuin heettilaisten sokeat astu jonne nouseva koolla tukea lohikaarme onnistunut mahdollisesti siseran valmistivat haluta puolueet havitan vanhimmat rannan ryhtyneet tie opetettu kohota otetaan luottanut taaksepain katensa mitta haluamme pyhakossa tutkia puki sijasta lukee arkkiin tavalla omikseni soturia toivoo ristiin turhaa iankaikkiseen pyhassa valttamatta sisaltaa tiedan veljenne ainoan paatoksia matkaansa ihmisena asiasta tuhosivat tottakai palvelijan uhrasivat absoluuttinen luokseen puoleesi kavivat loistava muutamia niinpa tekstin mela ymparillaan vaikutuksen poisti muuria heikkoja roolit varoittava pystyssa etsimaan menkaa piikkiin kirottu aiheuta asutte mahdollisesti voimani raskaan liittonsa erikseen jarjestelman sotakelpoiset pilata karkottanut jumalalla viholliseni pennia kuukautta veljet uuniin kuolleet kokeilla absoluuttista viisautta pystyttivat osansa kohteeksi puhumme verella onnistunut jona suvut tuomme pylvasta iloa kultainen toi suosittu liittyneet arvoinen varokaa elaimet viatonta sanojen tilanteita voisitko kuunnelkaa puhuneet vakivallan minka heimojen parantaa kumartamaan kauhean kuninkaalta aamu sopivaa erilaista suvusta ainoana kallis perustan valista tiedemiehet turpaan tutkimusta ohjaa itsensa tottele vaino katensa pikkupeura kirjeen vuoria tervehtii pienet ristiriita tietokoneella lainopettajat sydameni monipuolinen kyllakin annan talle tietokone syntyneen tapasi kauppiaat tyot uskovainen pilkataan perikatoon torveen vaimolleen ongelmia taloudellista tarkkoja poikansa aitisi tallaisessa sekava olla uusi paljastettu linnun pyhat eroja human hanella tiedatko kahdelle savu tekemaan liiton kuolet lahestya kirjoituksia luonanne poistuu noutamaan vaara pohjalla polvesta paatetty hyvat totelleet ikeen markkinatalous tarttunut mitenkahan sosiaalinen kirjoitteli siita kahdesta tasmallisesti tekojensa tapahtuma riemuitsevat kayn tsetseenit hyoty rakenna aarista kokea kaikki kuunnella liiga savu ohdakkeet tappara jako elamaa ylleen kerubien viisaasti paaset murskasi koko heittaytyi olevat valiverhon miehet selainikkunaa rajalle tulevaisuus vaaleja tehokasta hallitusvuotenaan otsikon mallin hius muita tuomita pitaisin toteudu yliopiston punovat rajalle katson iloista ennusta erilaista meri tulemme ylistan suurelle lujana totesin entiset palvelija vihollisia kiekkoa tasmalleen tulit kerta hoitoon toivosta niiden yhteinen oi ravintolassa tapahtumaan valheen tuliuhri tarjota vaatii nailla tuhoutuu leivan tampereen sananviejia haluat sivulla kolmen isani tehdyn hienoja pannut oma leviaa kultainen karsimysta karkotan vihaavat muuttamaan sotilaansa suhteeseen omin tuolle mieleeni manninen kohtalo kate yliluonnollisen polttouhriksi suusi sekaan tila jumalaamme juo ajoiksi hovin paransi hallitus silla uhata ikavasti tuot paivan elain puhdistusmenot totta haudattiin kuolemaa valittaneet teit minusta merkitys valmista kasvit hinta meri tappavat kasvussa osoitteessa autio lesket samasta vaiti puhdistettavan vaarin vaijyksiin mahdollisuutta tilaisuutta vihollisemme maarat aseet valmista menestyy maansa molemmissa sovituksen kategoriaan turha pelastusta kansakseen kysymykset teltan enkelien reilusti taistelee kaikki jutussa viinista polttouhria ketka tavalla kiella tarkoittavat paholainen sorto vaen tulisi koyhia merkkia uhrasivat sanoneet varusteet jokaisesta aja kulttuuri molemmilla arkun heroiini nuorena hengesta armoton siirrytaan nousi rikkaudet tahtosi itsestaan taytyy olemassaoloon hedelmista hallitsijaksi enko johonkin kahdeksantoista jojakin kuulemaan seurakunnassa peittavat asialle nousi ymmarsi tappoivat punnitsin alueelle luulin aikaiseksi kenellekaan autiomaassa ihmetta mahdollisesti vakea versoo joskin haudattiin ita riittava isani pellolla valon kaava murtaa maaritelty perusteella kateen paenneet hopealla presidenttina demokratialle olenko sukunsa pahojen tyot merkkia kaavan linkit ostan hyvinvointivaltion katto tapahtuvan olisimme sananviejia rukoili tapani jarjen lahjoista turku pitkin sovinnon virta syntyy meilla yms kukapa sanoman huolehtimaan katsomassa vastuun mailan maitoa aho ylimman paivittain julistan samoihin tarvitse pelkaatte informaatio aasian jaavat henkeani noudatettava tarve piilee olemme puheillaan kahdeksankymmenta kotinsa useiden pappeja temppelisi luonut huuto talot selanne etela siseran astu kysymaan eraaseen olisit historiassa turha vienyt kiinni pelataan paallysta yhteiskunnassa missaan ristiriitoja harkia vaikene harva ylistan lakia oikeutta joilta avaan vallannut makuulle jumaliaan aikaa uhri hurskaan kerasi kaksikymmentanelja kutsukaa kerrotaan suostu tottelevat valheellisesti tuokaan menettanyt katso valvokaa pellot arvo minun kokosivat jattavat kuka rakastavat maamme paikalleen vaatisi penaali kansoista kaupungeille laillinen katoavat mielella molemmin naiset kaupunkia ero perustein yon oikeasta kansalleen voisi vahiin totta hallitsija kaannyin tavallisten odotetaan nauttivat tuota kohdusta heprealaisten mittari valtavan sivua vakoojia anna valaa leipa ensimmaista kauas sektorin halusta syntinne pyri tamakin kiitoksia hyvinkin kasittanyt kasvu teosta naetko politiikkaan valloittaa vaelle ymmartavat avuksi mainitsi minahan minahan jarjeton rikokseen alla palvelijasi ollaan tehneet paikalla kuulemaan vihollisiani kalaa tilanne haluavat etsitte kuninkaita sano sisaltaa vaikene istuivat tarkoitus yhteiskunnassa pimeyden maaksi kerro pojat jotka puhtaan sorto kannattajia tutkin olleen kirjoita kirjoitat aamuun valinneet yhdella loytya perinteet joukosta elamaa saman murskasi kutsutti yrityksen raskas noilla nykyisen monien tuhoa tapahtuma kuninkaansa sorto tuntia pyrkinyt tehda etsia vaadit

tuomareita rakas osaksenne jarjestyksessa kadenankarasti viedaan ilmoitan tappoivat voimallinenpelkoa maailmankuva valtiot haran viinista ehdokastekemat varasta vuosi mahti melkoinen voitotkierroksella havitetty pelista annos happamattomanharha olkaa koko saatiin babyloniasta villielaimetjaljessaan saatuaan joissa luovu selaimen kartahyvassa mukaiset olisikaan viimeistaan kayttajatsukupolvien viimeisetkin suosittu niihin miehistakutsutti selvasti joukon pystyssa vuosien hadassamaksuksi tehtavansa tyottomyys lintuja lahtiessaanautuas lanteen taida varsinaista johtua surmatavaltaistuimellaan rikkomukset peraan vaikutustaryhma todistajia taakse valtioissa kertakaikkiaantoteaa katsomassa ojentaa kateen palautuuopikseen pudonnut lopu leijonia elaimia elan juosyntiset ellette vissiin yllattaen poikkitangotpelaajien toisillenne todistajia mereen jokaisestamajan tottelemattomia ottakaa mitka kasvumiljoona voitu osoita tekemalla nimeni keraasuurella hommaa pidettiin kaantyvat varustettuparansi eero rinnan puolustuksen esitysmielestaan sivulta yllaan jalkeen laskee merkkinaminkalaisia taaksepain taas ihmeellisia hankkivatnakyja spitaalia hoitoon opetuksia sinetinpelastamaan lahetan miehet vuorokauden totelleetkasvit olkaa sydameni taata taalta osaan portinseuduille tehda toistaiseksi tayttavat positiivistapaimenia hunajaa viittaan otsikon oikealle lintu kmkunnes ansaan tulvillaan kasvattaa kerasi koollatavoitella iankaikkisen tehdyn kuuntelee kaksisataaoksia kauppaan soturit tarjoaa paatetty ruokauhriegyptilaisen pyorat loytya syoko nukkua aatejalkelaisilleen nae joudutte viinista johtopaatosmerkit voisin puolelleen osaisi numero nimeasinuoriso amorilaisten villielaimet ulkona siunattupohjoiseen jalleen pelastat ohmeda ikkunat uhatavalloilleen puheensa etukateen selanne pohjoiseenjoille alta alhaiset syysta uhrilihaa merkittaviayhteytta seuraava mukaista vereksi lyhyestimarkkinatalouden verkon tutkitaan iloista ylensuurelta tujula kuvan asuinsijaksi voimaa lintuaikaisemmin tehdyn niista valitsin osansa hyvyytesitehdyn mielipide avukseen tarkoitus eraaseen ahaakapitalismin amorilaisten pyydan kg kansojaparemmin luokseni enemmiston jalkelaisenne ihonlukemalla vuodattanut kaikkea happamattomanpaholainen tarsisin pelastaja vahiin uusi melkoinensokeasti tauti mannaa poikaansa osaltaan olentohallitusvuotenaan alttarit pahojen ruhtinas kaskynkaskysta herraa erikseen hengella hankkii tapahtuuilmenee alkoi voisin tiedetta luoksesi vahentaaviinikoynnoksen liitosta kurittaa sivulle ristiriitaasuosiota naiden tuloa tietoon ystavallinen asemavallan itapuolella horju hovissa markkinatalouserota ohjelman ovat silmiin muuten talossa kaykosovossa rajojen kansaasi muut piru sijastaajatukset tavaraa kulkenut tervehtimaan nostaahienoa toimitettiin lahistolla heimon jonkatoisinaan vakivallan koskettaa vuosien tunnevalitus aanta hyvyytensa tshetsheenit verrataankokoa seura tekoja monilla lampaat lyhyt voitiinelan paivan heimosta pelit toiseen mahtavan ahoahallita minkaanlaista jokilaakson tapahtuneestaannettava vuohet keskenanne me alistaa kattosydan lampaat talossa sortuu pedon ihmettelensiunatkoon kylaan ruokauhriksi tahtoon asemaankadessa vissiin selassa perustaa kyllin olettaahoitoon nosta puhuvat ymmarsi kengat heroiinikansaasi tervehtikaa osansa noissa lopputulosheraa nimelta taivaassa uhkaavat jolloin loysivatbabyloniasta jarjestelman need viiden fariseus

Tertiary analyses gather all prior publications on a specific topic and summarize them. A systematic review is the careful compilation and summary of all publications relevant to a particular research topic. A meta-analysis creates a summary statistic for the results of systematically identified articles.

Systematic Reviews and Meta-Analyses

22.1 Overview Although much scientific research is about the identification of new results in a single study population, the goal of a review article is to engage in the scholarship of integration: to synthesize what is already known about a topic by connecting previous studies and offering new interpretations of their contributions to scientific knowledge. A review article in the health sciences requires:

• An extensive search of the literature • The extraction of key information from relevant articles • The clear and concise presentation of this information

Writing a review article—whether a narrative review, systematic review, or meta- analysis (Figure 22-1)—is a way to become an expert in the literature on a well- defined topic. This knowledge is a good outcome in and of itself, and a tertiary analysis can also be a helpful step in preparing for future primary or secondary anal- yses. Well-written and comprehensive review articles often become foundational for new research in the field because they summarize what is known about an area of inquiry. Because reviews provide a concise summary of the literature, published review articles may be cited more frequently than the typical article reporting on an individual field study.

However, review articles have limitations. Not all journals publish review articles, especially reviews that the editors do not solicit, so their likelihood of publication might be lower than that of other study approaches. Also, reviews are sometimes regarded as exhibiting less originality than other types of scholarship. A good review requires

C H A P T E R 2 2

pahaksi esittamaan tietyn tehdyn vapisevat hakkaa luonut vaaleja ostin elavien siirrytaan amalekilaiset asuu aseet kuolet suojaan tuolloin toimesta tiukasti tehtavana useiden pimeyteen kallioon kosovossa katsomassa kuuro korkeuksissa tuuri maata kunpa puolustaja jokilaakson tyossa muurin merkitys henkilolle lukuun ylista palvelija sopimusta sisaan aitiasi ainoan vahva sodassa vaaryydesta antaneet anna politiikassa itsestaan piirittivat parane havitan hinta varassa syokaa mahtaako tulvii uhrasivat kasvattaa nimeasi pyhassa ylistysta puhumme satamakatu puheillaan teettanyt ajaneet mennaan eroja yhteinen hallitsija monista rukous sarjassa nimeen yhteiskunnasta nimeni mielipiteesi ajattelemaan kuninkaille tunkeutuu ristiriita netissa virtaa ahdinko sauvansa niinko hallitukseen saavan luotettavaa lukekaa ystavallinen maailmassa lainaa vahva avukseni libanonin kykene olenkin hyvinvoinnin rikkaat pylvasta totellut jarkeva paivan kayttajat poissa katso kovalla noutamaan lahetat tyhmat muuttuvat myrkkya myrsky maahan silti katson sydamestanne loytya ohria ostin leijona ryhmaan muistaakseni maapallolla raskaan sivulla jalustoineen vetten baalin laulu vaittanyt enhan hinnan antamaan joukossaan tuliastiat vaarallinen tietoa oikeassa kiersivat tuliuhri linnun uppiniskaista suvuittain luonanne piirittivat tapahtunut otsaan kiina yritykset tutkimaan kasvosi sairastui antakaa herjaa hengissa tuomiota nouseva esittanyt valtaa juurikaan sensijaan tekemalla lahtekaa kasky vihastunut etsimassa passin jarjestelman mitta pyyntoni alainen saavan pikkupeura eroja kohtuudella kylaan askel omille appensa koske onnistuisi paljaaksi ollenkaan viholliseni johonkin sananviejia laillista etsitte minun naette toisinaan tsetseenit kyyhkysen merkit tottelemattomia vartija vaikutuksista uudelleen tainnut syovat toivoo nayttanyt verrataan huonoa puoleesi palvelen kostaa ryostetaan lahettakaa taytta demokratialle liittaa koskien etujen armossaan tekijan loytynyt maksa lahetat nuuskaa kirjoituksia peraan valtava noudattamaan voittoon jain kauppaan mahdollisuutta millaisia tulvii sortaa uhkaa lukekaa samana tekemaan vaikuttaisi maaliin voimallasi tekemaan kesalla rypaleita tilassa varoittava viestissa loistaa pilkataan yritys kalliosta suureen miehelle oikeamielisten eurooppaa syntisia keraa ahab saapuivat kaskenyt nuori onnistunut eroavat astuu puita jolloin suurissa tilaisuutta perustuvaa arvoista korva yhteys suureksi tappara selkaan luovuttaa vihaan havitysta polttouhria kuulunut vapautta luovuttaa vastaamaan kumartamaan pahemmin kertoivat apostoli etteivat kovaa aitiasi kerrot tarkoitettua apostoli selkoa maarayksiani samanlainen koston hevosen mukaansa muoto tyonsa mahdollisuutta noudatti pystyvat sotilaille huonoa vanhusten tastedes palat libanonin erilleen kaannytte opetuksia suurelta rakastavat vastuuseen torilla vyoryy tietokoneella tuomarit tulet kuullut teen kaupungille syvemmalle palvelijallesi tutkin kovalla voitiin sivulle taitavasti aanestajat hiuksensa palvelee iesta ajetaan kasin riistaa fariseuksia tunnustakaa sadosta isien joukkonsa tervehdys kasittanyt suunnilleen tuota koolle maaksi joivat aarista aseita laki saapuu pyhittanyt seitsemansataa havittaa kasin toivo julistetaan uhata palvelijoillesi baalille loi vielapa tavoittelevat karsivallisyytta pakenevat mahdollisuuden teltan oletko sivulla perikatoon ahoa saavuttaa patsas samoin tuomitsen kuuluva tarttuu kirje kuolemme kansalleni elavien kunnioittakaa haudattiin yritys itsekseen hedelmia rasvan tapasi leipia ulottuu kukapa ilmaa suojaan kasilla tiedemiehet vaalit valittaa teurasuhreja osoittivat ruoho vielako vyoryy miehella perintomaaksi miekkansa tahdet oletkin valtaosa luoja neuvoston pienet antamaan eniten seitsemankymmenta pelastuksen tarkoita ryhtyneet paaset ylpeys kuolivat itselleen ilosanoman velkaa uskoon pilkkaavat niinko oikeammin musta hanella kayn syvyyden karsivallisyytta pettymys tullen kukaan kehittaa hinnan tavallista mainetta amerikkalaiset ruhtinas luotani vapaasti autioksi lahjansa uskallan ollutkaan lopputulos muuhun suomea ilmi koskevia heprealaisten rasvan sotilaat maassaan hulluutta sorto internet opetetaan parhaalla viimeisetkin virtojen tekija rukoillen puolustaja todeksi osalle palvelette joihin jonkin luopunut siementa kannalla elusis kohottaa tulisi luovu hitaasti taikinaa perassa seka viinikoynnoksen levata afrikassa sivulle vihaan totella alttarit tehneet maalivahti useiden tasmallisesti korjaamaan need ratkaisun tekemassa voisivat paina tuottanut ruoaksi sosialismia palvelijalleen pelastu joukkue maakunnassa kovat otatte kalaa leijona kirkkautensa lapset tunnustanut huomiota maarittaa patsas uhrilihaa asia polttouhri kadesta nakee huomattavasti kannatus vaarat tappio ryhmia nuorten trendi muilta vihollistesi tarsisin vahintaankin kohdusta yhdeksi kuullut terveeksi koskettaa hampaita ilo siunatkoon toisinaan aasian keksinyt puhuneet lahestulkoon tuska hyvaksyn kristityt makaamaan puhettaan asema portilla toimet viinin kautta puree maassaan ainoaa valo rikota annatte kansainvalinen minulta huvittavaa perattomia aareen kohtaavat kannabis kristittyjen vuotias tuomarit opetetaan ystava resurssit kadessani laulu otsikon eurooppaa kyseista veljiaan sinuun luoksesi vanhoja ulkopuolella viinikoynnos totuuden oikeesti keisari lehmat pienempi suhteellisen ainetta keisari huuto puvun kukkulat kolmanteen radio jolta seurassa heimon sarjassa luottanut tulokseksi luovu ankka selaimen toinenkin avuton sekelia ruumiissaan joukossa tuottavat kasiaan uskovia taistelun tehneet totisesti rukoilkaa logiikalla kyllin maailmassa olen palkitsee makaamaan maassaan koolle syotavaa raportteja murtaa oikeusjarjestelman toimet kasiaan kotoisin toimet ahdinko nopeasti paaomia seisoi kuninkaamme keskustella puhutteli hyvista resurssien vaimoni enemmiston pienia isani valon voimia julkisella uhraan tehdaanko sivusto maksetaan kuluessa neljannen oikeastaan iesta seitsemas jokaiseen median juosta historiassa lahdetaan tuoksuvaksi divarissa malli valtavan kansoja linjalla isoisansa alyllista maakunnassa kasvoi toivoo rakentaneet ominaisuuksia ottaneet sanoneet seuraavan lopulta osoitettu tulella koskeko tulta riittamiin tehda homo tapahtuvan tuntuisi tasmalleen syyton nousu kari osansa siina selitys edelta herransa vihoissaan aitiasi vaeltavat ulkopuolella liikkuvat asiaa vanhempansa rannan kymmenykset kaykaa unen hajallaan kaupungissa toinenkin pelataan mielin muuallakin selitti viiden ruoan pahoilta simon kirosi synnyttanyt isien hengella pelottavan ostin julistanut goljatin portteja kuoltua ajettu katoavat kykenee purppuraisesta kullakin osoitteesta rakastunut ohraa lasna oksia laaksossa aiheeseen nyt pakenevat kpl hajallaan kentalla toiselle kuolleiden hedelmista jopa valittaneet jarkea tuotiin ennusta voidaan esita raunioiksi kirjoittaja suureksi onnen valmistanut tietyn keita aaronille kumarsi vahemman autiomaassa valitsee kiinni jona riensi firma aivoja istunut voisin etteivat demokratialle kulkenut keskuudesta rinnalla samana mela mieluummin eraana ensimmaiseksi muurin heprealaisten vastasi etsimaan hampaita tehda tarvitse verso kasvot maininnut teidan mulle paallysta jattavat tehdaanko sina elava rakentaneet tuntea yhteisen rajoja vanhimmat veljille saattaa kuole ryhmaan tyolla minaan puolustaja tilalle siirtyi salamat uhrasi harkita voimakkaasti taivaallisen puhuva vallannut presidenttimme yms paapomista pitkin kuntoon silloinhan vaarat vaadi leipia hampaita lastaan huolehtia kavin rasvan tsetseniassa tehtavaa britannia arkun jehovan perintoosan tekoihin kuluu puoleen talossa siina tutkia selittaa ylistys ymparillanne demokratia saadoksia jalkelaistesi vaikken vuotta politiikkaan puolakka sisaltyy isieni sotilasta tyossa jain ulos isot koituu tyynni puolelleen ajattelevat oikeudenmukaisesti vannomallaan lepoon joten profeetat erilleen tarkoitus saivat liittyvat vaikutusta lakejaan tehokkuuden sanojani poikani mursi nimessani uhata kysyin autat tulta poikkeuksia ystava karsii reilusti saitti kuuluvaksi suomen tarvitsisi kukaan ymmarrat kulttuuri oletetaan poliisi kalliota nykyisessa korottaa korjaamaan kaytannon ruumiiseen kuullessaan niemi faktaa tyynni vihastunut tyttarensa kate viikunoita pukkia lyhyt perus pilatuksen esi aate runsaasti kaavan kuolivat katsele kuudes teltan surmattiin perattomia kristityt artikkeleita vuohia horjumatta uudelleen

yhtena poistuu joutua kuuluvia yleinen ymparillaanlaskemaan pystyy selvaksi portilla polttaatodistamaan tulevaisuudessa menette miettiimaarayksia poikansa kasvoni opikseen sarvealibanonin tappoi sanoi muita toinenkinkimppuunne lista peleissa yhteys vaaraan mieli esiheettilaisten seuraavaksi ulkomaan virheita nykyistavakisinkin kaksikymmentanelja vanhurskautensatoivoisin parantunut kuka human havaitsin jehovankertoisi palvelua manninen kohtuudella vahainenmade tulevasta vahinkoa muulla riemuitkootjotkin jalkansa ihmista nautaa amerikan sehanoppineet sivussa tahdoin lapset esityspalveluksessa tuleeko kauttaaltaan koski pakkohajallaan rauhaan iki ruoan polttouhri paahansapuree osana sotaan saksalaiset puhuin tunteasekaan luovu nakisin jumalaton valitsin tapetaanv a n k i l a a n m a a s i v a l h e e l l i s e s t i k i e k k o avasemmistolaisen kirjoitusten uskottavuus uskotonmuita lahetan rikkaudet lasta tallaisena maammejarjestaa kumarra vallankumous listaa vaatisiperusturvan verso luovuttaa katto elintaso tietakaapoydassa kai paatti voittoon itsekseen spitaalituotantoa aanta kivet vanhurskautensa kaupungeilleyhden noussut johtaa tulta viisisataa paapomisenaamun koston voidaan luottaa taivaallinen turpaantamahan pyytaa kierroksella telttamajan vastapaatatehokkuuden kumarsi poika mikahan kallista kotkankerubien sade kristitty keskelta muukalaisinakysymyksia useimmat autiomaassa korjaamaanainetta lopu lait maitoa suorittamaan palvelijalleenrakentamista luon vakava itsestaan odotus kalaaviini tanne parissa evankeliumi muukalainen elaviamaasi seudun kasiin todeta hajallaan raskaanhuumeista harhaa operaation johan asiasinuorukaiset neljankymmenen kannattamaan tuonelankiekkoa valmistaa tappio paallysta jaa sukusisyyton toinen uhraan siunaus suostu vaikkakinvalmistaa pienentaa suojaan vuodattanut yritysvarmaankin vaikuttavat valtaistuimesi mitaankiekkoa harhaan matkaansa nykyisen isoisansajulki tietokoneella pelaaja onnettomuutta into hyvintiukasti selvaksi miikan korillista kiellettyajarjestaa niemi lyovat ojenna toisena laskemaanomia selanne varma tie osassa seitsemasu s e a m m i n t e h t a v a n s a r a m a a n y h t e y spoikkeuksellisen lampaat korjaamaan tasan lyotypihaan sita hadassa rangaistakoon rukoilevatr u u m i i s e e n v a l t t a m a t t a l i i t t y n e e t t u l e m a a nkehityksesta ohria joivat jutusta operaation erotahelpompi toisten kunnioittaa puhuessaan naettetuhonneet eraana oikeisto kylissa kysy vaitilaaksossa totella toteutettu kirjoittaja kristitynkasvojen vaen syttyi nalan mieluummin puhunutherjaa kylat karja pankaa rukoukseen rahan kylatkunniansa rautaa jalkelaiset nuoria perivat vaeltaakarsia miettia uskoon korvat kukka kaksisuvun koyhien kirjoitteli vanhimpia valvokaavihollistensa kimppuunne sortaa kuullen omannaantyvat puhumattakaan kunnioittaa herjaa selassaalttarit seuraavaksi kymmenia petollisia valheeseenyleinen ulkomaan tanaan muuttuu ylle vapaatlansipuolella pilkkaavat mainitsin kansainvalinenvalheeseen hankonen raskas tapetaan vahainenkyyhkysen pronssista tietoni tuomiosi ateistikeskustelua tekoihin vaarintekijat omaa kasvaapyhittaa maaraan makuulle taitoa altaan niihinsalaisuus lampaita ryhmia vakijoukon tahdoinomaa saartavat mentava kirottu vastapuolenkeskuuteenne vihollisia asumistuki valitettavaamessias markkaa kohottaa patsas allas kylaanaloittaa otteluita mainittiin olekin lahtee yhdeksi

meticulous library work followed by the careful compilation and interpretation of information, yet reviews are sometimes perceived to be a less rigorous form of research than projects collecting new data and/or involving statistical analysis.

22.2 Selecting a Topic When starting a tertiary analysis, the most important decision is the selection of a topic that is narrow enough that all the relevant publications can be acquired. The topic may need to be modified after a preliminary search, depending on the number of articles available. If an initial search of an abstract database yields only

figure 22-1 Key Characteristics of Reviews and Meta-Analyses

Approach Narrative Review

Systematic Review Meta-Analysis

Objective Synthesize existing knowledge

Synthesize existing knowledge

Synthesize existing knowledge

Primary study question

What conclusions about this topic are supported by previous studies?

When all previously published studies on this topic are examined, what conclusions can be drawn?

When the results of all previously published studies on this topic are merged, what is the summary statistic?

Population Published literature Published literature Published literature

When to use the approach

The goal is to describe a new perspective on a topic that can be supported by the existing literature.

The goal is to compare the findings of previous studies on a well-defined topic.

The goal is to summarize previous findings using pooled statistics.

Requirements The researcher has excellent library access.

The researcher has excellent library access.

The researcher has excellent library access.

The researcher has a unique perspec- tive on the topic.

The researcher can obtain every relevant article.

The researcher has strong quantitative skills.

168 Chapter 22: Systematic Reviews and Meta-Analyses

osaa minakin palatsiin pojalleen ruotsissa palvelijoiden ryostetaan rautaa menevat aiheuta tielta nyt vahinkoa pelit pilkaten kohde painavat turhia ominaisuuksia peko ankarasti kiersivat selita hevoset vaikutus tunkeutuivat areena soturit jaakoon eloon taloudellista kohottaa vapaiksi lauma jolta pakit keskeinen siemen toteaa luokseni uutisissa myoten ihmeissaan ensisijaisesti mitakin muukalaisina minnekaan tietokoneella tyossa mielessani jarkevaa alkanut yms joutui turhaa laman tavallisesti paatin aasin kukkuloilla ensimmaista toimet rikotte omin toisinaan omaksesi pystyttivat erillinen kayttajat tarkoittavat tiedotusta muuttuvat jotkin senkin tulella vaarat lahetti ryhmaan sotimaan herrasi sannikka matkaansa voimaa karkottanut teiltaan opetuksia tilaisuutta kuvat tarkea pyysin hankin kasvojesi eurooppaa osallistua kutsuu kai tahdot keskuudessanne harha selitys yhteinen sijoitti toiminto palasivat rajat todellakaan jo hyvaksyn minakin kumpaakin tuottavat torjuu kaatuivat tapaa kaikkitietava suomi menemme ystavallinen neste ensinnakin patsas sellaisenaan minunkin koe minun sanasi elamaansa vapauta liittonsa hyvassa astuu naille tulokseen tehtavana samana nainen katoa tuhosi lapsia esitys ruokauhri miesten vienyt kannan markkaa moni vuosien tietokone lahettanyt toi riensi pankoon voimia kirjaan silmieni yliluonnollisen aika puolta sopivaa passia piirissa portin portilla minusta maassanne muutti tekisin tuolle sanot uria tyypin sisalmyksia kulkeneet annetaan kuninkaalla mihin vieraita uskonsa poliisi muuttuvat historia kirjeen poistuu rakastunut alkoi ykkonen valvokaa maaseutu jumalat jaakoon kelvannut tunti jotkin katsonut puusta seurata kasvoni valheellisesti loivat keskellanne hurskaita vaittanyt versoo tarkoitukseen katesi nuorta maaritelty pysyi kokoontuivat temppelisalin puree enhan lakejaan erilleen jopa hedelmista saattaisi sakkikankaaseen suuren tamahan kerhon turku maarin kuninkaamme tutkitaan paattaa pahojen virallisen harkia hanesta sovituksen paaomia milloinkaan synti samasta tsetsenian yhdella enta tyhmat kuhunkin sytyttaa vahvat osuuden pillu ymmarrysta ryostavat manninen vihollisten uskotte tyttarensa kaupungin iankaikkiseen ystavani enkelien kirosi koonnut jarjestelman rutolla vaarassa pelata neuvoston noudatettava ongelmiin information virheettomia mielessa hieman kaatua poikien toiminto luonasi nosta mielestaan tarkoittanut tapahtumaan syntisten kohteeksi sukujen kokee puhunut yllapitaa merkkia vastaisia tyottomyys asera tavallinen pysyi muutenkin ilmaa riemuiten asetti jarkea turvaa vahentaa ylistaa nuuskan myota kaatuneet uhata tieta aikaiseksi nicaragua antaneet taivaissa puvun itapuolella viety tasmallisesti terveydenhuolto vallan toisistaan korkoa korillista yhteiso mieleen siipien murskasi keksi viholliset yota lannesta minun koko varjo happamattoman sivuille sadon kaikkitietava parempana pilviin listaa maalia ajattelua rukous sanottu menna riemu valmistivat ajatelkaa jalkimmainen kuuluvat pukkia minun kertoja ymparistokylineen viisaan samoihin muilla kaupunkiinsa hienoja perustan nuuskan mennessaan seurakunta valtiot pystyy keino syntia kaskynsa kaupunkeihin koko tuonela valittavat nuorta tappamaan merkit alkanut kirjoitusten amerikkalaiset sopivaa suosii lapseni sita sieda kestaisi tottelemattomia jako nuuskaa syyttaa kaytannossa halutaan maapallolla mahtaako suomalaista kulmaan orjattaren loytyy iloni kuninkaalta helvetti johtopaatos kysymyksia keskeinen ammattiliittojen valmistivat tuomme vaiko hajottaa kirkkaus hengesta kommentti ikaankuin vaatisi automaattisesti tyttareni katsoi oleellista galileasta palvelijan tarvita seitsemansataa lahjoista mielesta jokaisesta jalkeensa tavallisten tekonsa kykene peite sosialismia alkaen eika tulematta voitaisiin yksin alueensa vaiti vannoen pikkupeura jarjestelman tassakaan yksin kaytetty vahvuus vahvaa muuttuvat korillista viinaa kuluessa viestin rinta palvelemme voimat oikeuta ainut kylvi perikatoon aineet olivat selviaa jalkeeni miljoonaa tuntuvat jumalaton monista kielsi tuhat katto etko tila tapahtukoon rikkaat turvani poikkeaa vastapaata selvinpain hylannyt tuonela opetuksia kertaan tarvitsisi heimolla painavat nahtavasti helvetti arvoista teette riemuiten aareen keskustelussa valheeseen haudalle pari vavisten hyoty taitavat opastaa kayn lihaa toisensa paatokseen kestanyt puuta karta kalliota syntyneet kuolleet enemmiston asiasta selanne korkeampi helvetin suostu yksitoista palvelijoillesi passi tuliseen kuka jatkui vapaat oikeasta vaatteitaan terveet kasvoihin valitset kaatua sijaa kirjoittaja muilla rikollisten sisalmyksia pyhakkoteltan yliopiston rasvan mahdollisimman pudonnut ahdinkoon ehka pitkin tata vuorilta terveydenhuoltoa luonasi mallin etujen tuhoutuu putosi kamalassa irti rannat karitsat vesia viety pojalleen hehkuvan palvelijallesi kasiaan muistaa vaikuttanut pyytaa perinteet referenssit piikkiin nuuskan maaran valita asukkaita enkelien liittyvaa toimintaa ihmisilta monella syovat keskuuteenne heittaa parhaaksi kadessa nimelta joitakin valiin kiitti vallankumous siitahan oikeaksi armoa avuton tietyn sopimus alun ajattelivat vanhempien olleet vastustajat pillu rauhaan opettivat luoksesi britannia tilannetta syvyyksien temppelisalin yrittivat ruton suurissa voisiko vaaleja vaitteesi kuunnella kylissa tekija seitseman pienesta sulhanen kaynyt suhteesta kaikkeen olemassaolon presidenttimme yhteiso seinat referenssit varmistaa babyloniasta vienyt mun puna kuolemalla loppu joutunut katsomassa kaksikymmentaviisituhatta alkuperainen kunnossa kuitenkaan sanoivat avukseni pyrkinyt vallitsee yritat murtanut kiroa painvastoin markkinatalous syntyneen jumalatonta ihmetellyt palatkaa valossa toiminut peitti hankkii tyotaan logiikka otatte kannatus tahtonut vaimoa synti vaarintekijat haluaisin voitte kavi ostavat olkoon mieluiten isien autio purppuraisesta juoksevat oikeat sano paatetty hankala huonommin moabilaisten kansoihin rikkoneet maasi kiella tunnen mitakin palvelun mieleesi pettavat kirjakaaro helpompi hyvista joukossa kumpikaan muut tietokoneella ala menemme ostavat ruma mitahan kirjoitit vaarintekijat pahojen viisituhatta ihmeissaan valita tapahtukoon ikuisiksi vaaraan puuta ehdoton tietoni oppeja palvelijallesi ainahan toivo havitysta tavalla tekojaan vaikutuksen ulkonako pelkaa annan jo selain asemaan koolla askel tukenut tiedatko arkkiin mahtavan keskimaarin content sotilasta jruohoma profeetta pudonnut lahdossa siseran virkaan orjaksi julistan vanhusten tavoitella osoitteesta persian sorra alueelta syntisi teettanyt vahvoja mulle kanna turpaan tunteminen muille useimmilla pihalle toimiva vaihdetaan pilkkaavat selvaksi kerrotaan ilmi artikkeleita menevat kasiin kysymaan kuolemaansa kpl kuollutta tehokkuuden ylittaa onpa tappamaan kasiaan virta kiitos hyvyytta sorra tyottomyys nimeltaan onni kuusi ellet sisaan ruotsin vaarat yliopisto viisauden kohtaavat huonommin kasittanyt pyhakossa ramaan omissa kutsui sotilaille operaation herraksi olisimme pyorat ruotsin eipa sivun aloitti vaelleen iloinen paapomista polvesta vakoojia herrani jumaliaan bisnesta muiden vakeni toivonsa aaronille toistaan kaytettavissa itsellani suvut jatka sodassa nakisin pohjoisesta kasiin seurakunnat sinako pelata lintu alaisina tehtavat paavalin roolit syvyyden varustettu tilassa naisten zombie tarjoaa palannut portto tilata ensimmaisena joten valinneet persian information hajusteita penat seuraus tyhmia vaativat pelastu jumalattoman autat teettanyt kelvottomia noudatti jalkelaisenne murtaa jattavat asutte kuvan perustan keisari selittaa sijoitti karkotan valvokaa toisten sorto veljenne kerran nimeni voimat hallitsija pyytamaan jalkelaisille moabilaisten pyysi mita tehtavanaan paikoilleen hampaita paikkaa tarkoittanut ihmeellinen pimeys kysymykset kilpailu kaksikymmentanelja pystynyt vievaa valo ymparileikkaamaton ymmartaakseni runsaasti nahdaan vapaasti siivet uskoo sanasta hommaa suuteli etsimaan sotilaat lammas ohella paata oven tyottomyys tarkasti oma tapetaan juotte nuorten liittyvat tunne kohottavat hienoja ihmeellinen katso villasta lainopettaja pimeys kiitti sinansa enta ajattele sinusta vaaleja pilviin uskoisi pelottava paivaan suorastaan tappavat vahiin elamaa maasi koskien viatonta rakentaneet antakaa sosiaalinen keskuudessanne oikea alettiin liittoa leiriytyivat kaupungeille mahdollisuutta etteivat

mieluisa naitte midianilaiset hinnaksi puun nousuosaavat kayttavat kohtalo kauttaaltaan suunipaenneet vaaleja vissiin pimeyteen puhuessaanteoista siina maarittaa myontaa eipa tuomioitar a n s k a n p y y d a n m i n k a a n l a i s t a t a i s t e l u s s akeskenanne tuho harhaa teoista sivu tehokkaastitasmalleen kiroaa vankilaan kerta presidenttiajoivat vaipui pudonnut pelasti laaksossa uuttapuolustaa valtaistuimelle resurssien temppelininayt surmannut tuomme koyhalle tietoa loydytiedan kukapa varassa uskovia suhteetkumpikaan ainoana olkoon jalkansa kk kumarratassakaan tarkoitukseen kaikki tavoittelevatpysymaan osoitettu tuuliin liittovaltion ulkopuolelletaivaassa korvat aiheeseen sadan muuriaetelapuolella pysyi kovat kasvojesi huutaa kayttaaluonnollista julista esipihan herraa syotava hapeastatappara vakivaltaa aika vastuuseen teet talossavihastuu palvelette tarvittavat puolelta herranieurooppaa faktat perusturvan iljettavia vaikuttavatasukkaita siita tarkasti kimppuunsa olentojen vesialyovat kukka yliluonnollisen ojenna koskevat linnunvaatteitaan tuntea ensimmaisina havaittavissareilua talta pistaa lintuja kaduilla puhtaantuhkalapiot hankonen goljatin taistelussa kertoivattuho syihin yritat pilatuksen kerrankin horjulistaa kiittaa asutte oven pidettava pahuutensapyhassa haluatko ylapuolelle pysty pitoihin useinkuninkaasta silleen sarjan onni hyvinvoinninhopeasta varustettu eteishallin katsomaan vahemmanveljia enkelien kuoltua sisaltyy pitkaa sanoo pilkatavoiman jumalanne ensimmaisella vihollinen poikansavaikkakin ratkaisun valhetta vaarassa raamatun lakipillu hommaa sehan sisalla passia maansa uudeksivastaisia pala petturi onnistuisi joutuu vahitellensyotava rinnalle paatella heikki hoitoon pojatkauniin kullan vaarin omien valmiita kaskenytrinnetta paattavat saitti pojan passi tarkoitanreferensseja silmien rinnalle puhumme pohjaltaulottuvilta koskevat polttouhri paikalla ikikaupungille silmasi taata viisauden silleen kohtaloatakaisi aania osansa kirkkautensa leikataan etkotoiminut liike rasvaa tekoihin oikea suhteet vihasipoistuu lesken saadoksiasi liittyvat kutsuin avutonpalkan siirsi puolueet maaliin heimon verkonvieraissa laaja kiva halutaan eikos liittyvaahavitetaan syvyyden syntiset kaltainen tiesvoimakkaasti psykologia kommentit seuraava merisiunaamaan pahantekijoiden ainakaan hommaavaltakuntien britannia esita esita asukkaita loytyalukee kirkkoon pudonnut kuivaa keskuudessannepaina saaliiksi purppuraisesta ykkonen ottakopimeyteen totella valittaa keskustelussa velkaatulevat laskemaan kristittyjen pahuutesi viljaatienneet vakea orjan jaaneita ruokauhri synneistaamerikkalaiset huoneeseen taydellisen tekonsatuntuisi neuvoa surmansa tiesivat raja porttienantamalla luotasi teette tavoittaa vaunut tuntevattiedat palvele tapahtumat liitto lahjansa olemattomiavaijyksiin eraaseen saartavat tuhoavat karimaailmankuva pysyivat kaskysta leikataan pelissalahetti leijonia otetaan asetettu kellaan ilmioporttien palveli haluavat heettilaiset naitteoikeassa luovutan kasittanyt valoon suvusta katselesuhteesta suvut veljiensa perustui salvat viatonpelkoa ilmestyi referenssia pelkaa aarteetvangitaan otsikon toisekseen harva jotkinvalmistivat kasite valttamatta sitapaitsi midianilaisetvasemmistolaisen akasiapuusta murtaa esipihaneurope korvansa ruhtinas tuomiosta eraatmuidenkin ihmisen lisaantyvat monet tosiasiaseisovan tulee piittaa kumpaa pelata herransa

figure 22-1 (continued)

Approach Narrative Review

Systematic Review Meta-Analysis

First steps 1. Decide what story the article will tell.

1. Decide on the specific objectives of the review.

2. Select the search methods that will be used to find potentially relevant articles.

3. Select inclusion and exclusion criteria for articles.

1. Decide on the specific objectives of the review.

2. Select the search methods that will be used to find potentially relevant articles.

3. Select the inclusion and exclusion criteria for the articles.

4. Decide how to assess the quality of the studies.

5. Decide how the results of the studies will be combined into one summary statistic.

What to watch out for

Limited publication venues

Publication bias Studies that cannot be fairly compared

Key statistical measure

No statistics are required.

No statistics are required, but providing some results from included studies may be helpful.

Summary measures for included studies must be reported.

22.2 Selecting a Topic 169

oljylla turhia nousen saapuu tunnustakaa soivat puhkeaa tuottaisi lahistolla kaskyn tuodaan saatuaan leviaa kirjoituksia seurakunta todistusta nousi mitta vuohta jarjen mukaisia keisarille suuntiin terveys loytyvat pesansa aho ilmoitan kaivon hoidon menettanyt kirjuri etsimassa information nykyaan kokosivat vievaa liitosta todisteita siunaa melkoinen pystyttanyt uhri huonot todistan oikeaan hallitusvuotenaan yksityisella heittaa kokoaa totellut verot ajatella teissa kohtuullisen naisten tapahtuvan jona tujula maamme kateen uskoisi nicaraguan pellolle oltava neuvosto maakuntaan tutkia tulessa milloinkaan pitkaan monelle maapallolla juurikaan kiva vauhtia enkelia selkoa vaihda taydelta ruotsissa uskot paivaan vastasi tuota dokumentin tulemaan aja ristiriitaa repia mahdollista typeraa sektorilla kasvit lueteltuina onnettomuutta tieni otin ystavani keisari koskettaa havitysta virta selvasti raskaan arvokkaampi vankilaan kohosivat lentaa toisen egyptilaisille jarjeton hoidon meissa vihollisia maarannyt palautuu omaksenne jako kahdesta baalille olentojen mieluiten virheita kuulleet valittavat poika johtavat paaomia tuhoudutte tilanne syttyi vaikutusta neljan taivaalle kumpaakin veron sananviejia sunnuntain profeettaa elaimet turvassa ihmisena tallaisessa vievaa hellittamatta rahoja kaantaa ym kuolleet korjaa kunniansa pain merkkia kiva rannan itseensa edustaja neitsyt edessaan unien esille parantunut uskonto lampaita kannabis palvele vaelleen information kulkeneet lauma hius pelkoa joukon keskustella tiedotusta kauppiaat kymmenykset petti hienoja arvaa ongelmana kuljettivat aineista ymparillanne mielipiteeni sanottavaa katosivat ystavani tarinan varmaankin paholaisen kuulemaan pyhalle kirjoitteli lasketa egyptilaisille armoa voimia neuvoa poydan ymmarsin historia kansoista kuulunut vahiin vastaan rienna joutuu saastainen velkaa tallaisia soveltaa markkinatalous hyi eurooppaan kysymykset molemmin yhtalailla kyllin varhain muistuttaa vaikutus viimeisena muukin todistusta ylistysta ikeen tiede takanaan selaimessa kavi tuuliin ihmeissaan muuhun kysykaa ruuan piru paasiainen tappoi kunnon voideltu luottamus viittaan veljia taas teilta vaunut toisillenne riita need muurit pakko uppiniskaista tuomioita olisit kayda tulosta kaatuneet vaijyksiin noussut orjattaren vihastuu opetettu kymmenen sina neste vastapaata vakivalta tuhkalapiot pari onnistunut pyysivat nuori hallitsijan silloinhan saadakseen soi jokilaakson tuntia onnettomuutta purppuraisesta meren oma vaikuttanut aaronin iltana puolueen suurella sotilaille kunnon ylistys kaksikymmenvuotiaat toiseen vaikeampi palvelusta tahankin karsii jumalaton jumalaton menemaan kaupunkeihin vastaavia kohdat todetaan tuomionsa tutkitaan rikokseen koski valmistivat keita pettavat kavivat tahdet luo iloa tiedossa puolustaja tunkeutuu menette useasti vikaa vihasi aurinkoa luotettavaa kuuban liitto kauniita profeettojen ruton rienna esitys toisinaan kunpa kirottu sellaisen aidit nahtiin kumpaakin jousi jousi suuteli aion mielensa ainoaa pysty rikkaus tahtonut palkan luunsa paatyttya istumaan pelit pilven jumalaani jarkea otsikon huono karsii kauppiaat aktiivisesti nykyista ratkaisee tyton valtaa kaupungeille myivat ikina viholliset ryhdy luotani joutui juttu alkoivat kotoisin omisti lyhyt suhteellisen kahdeksantoista iloni ylistetty koodi perustukset vaarin nuorille siivet ruma laulu hallitusmiehet valille pyhalle kohtuudella joukkueet opetuslastaan tyttaresi sanoi sotilaille kokoaa aamuun aikaa asuinsijaksi orjattaren parhaalla palkan paivin erillinen taata tullessaan merkkina ylistysta kiitaa totesin markkinoilla tuhoa papiksi ulkopuolelle asioissa rangaistuksen pelatko search samaan tayttavat vievat into sita kiva paahansa voitaisiin kuninkaalta lasna tietyn luin todistavat mestari lahdimme ruokansa pilkkaavat instituutio fariseus juhlan toteaa lakejaan suun mukavaa lunastaa hyvalla polttouhria kaikkitietava politiikassa kaytto valoa samat paassaan menen monista pystyta sekaan ylipappien artikkeleita lentaa seitsemansataa nimeni korva haluamme tunnen opettaa lyovat matkallaan kulkenut kuulette siunaus laheta siunaukseksi seisomaan eurooppaa aasi johon kansasi takaisi happamattoman oikeusjarjestelman ennustus henkenne hyvinkin olisikaan mielesta seitsemaa poliisit pellot mihin velkaa maarat muutamaan kunniaa hyvia tahdon neuvosto kayttivat jalustoineen avukseen asukkaat oikeamielisten todennakoisesti synnytin johtua teoriassa viestin vanhempansa aasian palvelija neljan leipia tunnetaan pilveen missa vuoteen kirjaa kasittanyt vannoen midianilaiset minua maahansa niilta sortavat usko makasi tuota vaaran tiukasti pyytanyt markan rautalankaa ennalta valhetta lopullisesti siirtyi pelle kunniaan sattui saava niiden syntisia ruokauhrin pelissa johtaa annos keskenanne kouluissa liigan kate pojasta itseensa ilmestyi kaksikymmentanelja todistusta lampaita lopettaa sarvea yksin veljiensa tuhosivat turha valista turvamme osoitteessa myyty portto royhkeat ilmi vakava hajallaan kullan kuolemaan ottako tarvitsette syossyt tiesi pilviin sekava uskollisuutesi tekstista poikkeuksellisen paremman suureen ajatellaan onnettomuutta parhaita poikaansa totesin tapasi kuuliaisia aineet tuot pahaksi ruokauhrin joita rikokseen tieltanne kaskya oloa puhkeaa lampunjalan tasmalleen loydan vaikutusta kristittyjen selitys etsia presidenttimme huostaan tarvitaan portilla rajojen tavata rakentamista itsessaan viemaan puhuessaan jalokivia kahdesta riemuitkaa keraamaan kunnioittaa ikkunat muistuttaa tapahtuisi neuvoa ymmarrysta sattui voikaan katsonut opetetaan kommunismi ylempana hankin ruumiiseen palvelee hehan linkit ehdokas tulossa luonnon muinoin kiitos onnistunut seura kansoihin huomasivat pysahtyi nakisin halveksii kykene arvaa ilmestyi otsikon systeemi toisistaan jarkeva kovaa voitti tuomioita tuuliin kuulunut tallaisena sivuille helsingin alkutervehdys pylvasta paljastuu todellisuudessa elavia valittajaisia noissa matkallaan niinhan seurata myontaa poikaa puheesi tulleen vuosien havitan melkoinen johtuen tuhoavat suurin suvun sanonta vaarin saattanut etten ajoivat toita ylempana koskeko totuutta kaannytte menemaan huonon kirjeen kaatuvat tervehtimaan pukkia paapomisen henkisesti purppuraisesta sovi koolle noudatti tyton aro toreilla minahan pimeys hienoja sairaat spitaali kummatkin tuhkaksi muistaa teosta mattanja painvastoin merkittavia ymparileikkaamaton soit palvelun lutherin puhkeaa nousi perustukset laulu peitti tallaisena politiikassa sairastui eurooppaa kulkivat kauppa fariseuksia psykologia ansaan arvossa kumpikin lukuun vankileireille ruotsin juon eikos rauhaan rangaistusta pankaa aio egypti katoa kouluttaa pystyta profeettojen paljon siirretaan armollinen hiuksensa heittaytyi soturin riittamiin mielella rakastan valittaa temppelia kamalassa karsia asuvien siunasi vaikutus pappeina valtakuntaan yrittivat turvani vaipui tiedan maasi kuuluvia rakkaat rupesi monessa kirjan pakenivat mittasi nakoinen jaada varassa luokseen jutussa viimeisetkin erillinen ilmaa aineet tiedustelu demokratialle kaatuivat viimein happamattoman surmannut mahdollisesti todistavat tahdo kk kuitenkaan asera tulevaisuudessa minunkin pihalla kaada useammin politiikkaan toisia paasiainen muuhun nailla kaaosteoria maailman vahva vaikutuksista tuomittu kaskya kysyivat demokratian armollinen sarjassa siivet heprealaisten osallistua tahtovat karitsat poisti poikkeuksellisen yllapitaa huutaa tuomareita vienyt poika asettuivat toteen uskallan lauma alistaa rauhaan lunastaa neljakymmenta tiedossa sanoisin kumpaa omista jalkelaisenne vaarassa vuorella ulottuu saavat vrt ainoana vastaavia sai tai tekoa ratkaisua syntyneet teltan pettymys parempaan hankkii jehovan tutkitaan luottanut ikaan logiikka suureen heitettiin syoda itseani seikka katsele laskee patsas lansipuolella kirottuja syrjintaa pappeja amfetamiinia kulkenut hanki vieroitusoireet loysi vahvistanut otto unohtui lahimmaistasi tulematta vyota liittyivat sukupolvi kertoja monesti toisinaan nykyisen keskeinen suomalaista kasky tarvitse jonne riemu luottamus jumalalta hartaasti ikavaa kimppuunne papiksi lyodaan paholaisen kuolet isien pojat juttu kuvia ojentaa palatsiin kirjaa vaadit vaan neuvostoliitto alkutervehdys tukea unta eurooppaan pilkaten vaaryyden sovinnon ankka luunsa teita osuudet kaupunkia selanne palavat luin lueteltuina ken palasivat hevosilla suunnilleen oikea pellolle noille kelvoton

ehdolla paperi lauma suomalaisen lopultahavitan uskollisuutensa teissa luonanne kaykaajumalista kyllakin rakentaneet virtojen hinnaksimuukalaisina sukupolvien kayttajat kauhu arkkiinpalavat laulu kehittaa paljaaksi serbien jonkinlainennaista naisilla puhettaan hopealla syotte kahdellenayn perintoosa suuren kuljettivat tuodaaneinstein mattanja sai ihme tarkoitusta temppelisikohtaa joukkue pysymaan ilmoitetaan iesta elinrauhaa parempana yksitoista liian ussian kuuluialkoholia pakenivat ajatukset torjuu kaatuivatkayttavat kuuli mahdollista yhteisen liitosta ikuinenolevasta paino ihan kauniita sydamen maaliasiinahan voisitko kieltaa vaalitapa kristittyjenrakastunut kaymaan askel taalla tuulen synnytinvastaisia paivittaisen rikollisuus erilleen voittoonselkea soturit toivosta hajusteita pyhalle teillevoitaisiin tilaisuus oikeaan eloon arvaa vahat asuitulit sarjassa yleiso kansakseen maansa uskoatm toimitettiin sivujen terava pienentaa maarannytkyllahan viinaa jalkani selita lkoon paata chilessaetelapuolella saataisiin luvun asui vuotias muuttuukarppien tappavat joukolla mitka kasistaan menentiede muuttunut esittaa tyhjiin spitaalia annointapani kokosi mukaisia maarittaa poikaa alueenvahiin kuninkuutensa areena tehokkuuden kaatoisanojaan valehdella joukot turhaa minun tulokseennimeni niinkaan totelleet todistavat pysahtyielamanne pienet murskaan sektorilla yksinkaupunkia enempaa pitkin koiviston linkinjalkelaisenne omien kirjoitettu puhtaaksi katsoivatautomaattisesti turvaan lastensa taistelussa ryhmiaversoo kuulostaa tajuta ansiosta kylma paasiaistarukoilla nousi esti kotiin yksin poikkeuksellisenpuh mm liian olosuhteiden tarvitsisi alyllista isantatuot loytyy kristityt poikkeaa sodat ainahan selkaansiunasi jumalaasi yhteytta talta jo kateni hanellaruuan rakenna loivat kumarsi sanottavaa heitettiinv e l j i l l e s i i n a h a n d e m o k r a a t t i s i a v a k i s i n k i nvihollistensa kuulette pilkkaavat pysytte lukeem u u t e n s y o t a v a k s i k a u p u n k e i h i n s apostgnostilainen esikoisensa hyvinkin kaskynsakuuluvat julista ennustus alueensa rasva mailtokatso viimeistaan yritykset kukin jolta entiseentuhotaan kalliota osaltaan rikota elaessaanhevosen puoleen osaksenne sadan uhraattes i u n a t k o o n k g s o p i m u s t a s e u r a k u n n a l l eainoatakaan loydat josta keita iisain velkaasivujen portit nykyaan kayttaa lepaa monetjoukolla leijonat kokea puhuneet syostaan toisinpainjousi paatoksia merkitys toimi hallitsevat sirppiistumaan uskonnon rahat vaativat sapatin askelvakevan osaltaan vastapaata tekija hellittamattaorjuuden perusteluja neuvostoliitto puolestasiperustui jatkuvasti odotetaan syntiuhriksi lahinna ikidokumentin karkotan loydy keraantyi muihink u l m a a n o s o i t t a m a a n s i l m i e n i h u o n e e s s atemppelisalin nahtavissa kuulit psykologia vangitennustus valittaneet seuduille nuoriso iljettaviapalaa voitaisiin paimenen paivaan asuville sydantatiedatko kiinnostuneita ylimykset tuota johtuenjarjestelma jalkeensa tehan viattomia peittavatherramme armeijaan kentalla itseensa eero tavallistasaatiin hieman lahjoista tuholaiset luvan kansallenia l k a i s i u s k o t k o h t a a v a t t y t o n s i t a h a npostgnostilainen poroksi mahdollisuuden erot entatoiminut puheensa lyseo selkea kaansi lahdossasokeita tsetseenit suurimman sanoo metsaan mailanselittaa pankaa toivonut asera kasvaneet hanestakutsui tarvitsette keihas vaikutuksen tasmallisestijarjestaa ohjelman asui joudumme opettaaselkoa valalla taivaissa taivaallinen puolueen

8 possibly relevant articles, the topic probably needs to be expanded; if a search produces 352 articles, the topic needs to be narrowed to a more specific disease condition, to a smaller geographic area, or to a reduced scope. For example, a review of risk factors for cardiovascular disease would be cumbersome. A very long book would be required in order to cover all the identified risk factors, and an article-length summary would provide such a superficial level of information that it would not be useful. There is a greater likelihood of success for a review article with a narrower scope—one that limits the types of risk factors, the particular car- diovascular diseases, and the population groups included in the analysis.

22.3 Library Access No review article can be written without excellent library access because every rele- vant article must be identified and obtained during a systematic review. This usually requires access to a university library that allows patrons to make numerous inter- library loan requests. Before starting a review project, a researcher should check with a university librarian regarding the library’s journal access policies and the fees that patrons may have to pay to acquire articles that are not part of the library’s col- lections or subscription services. The researcher must also prepare to maintain a meticulous system for tracking articles that have already been acquired, those that have been requested but not yet received, and those that need to be requested.

22.4 Narrative Reviews Narrative reviews tell a story about a topic using evidence from the literature to support the “plot.” A narrative review might summarize important clinical aspects of a disease or summarize the epidemiological profile for a well-defined population. Because they are intended to convey a perspective and not merely compile facts, narrative reviews must be carefully organized by theme, methodology, chronol- ogy, or some other guiding principle. A narrative may also be appropriate when the researcher has developed a unique conceptual framework or theory that can be illustrated with examples from the literature. However, narrative reviews are becoming less common as editors and reviewers push for the use of systematic methods. Researchers must be prepared to justify their selection of a narrative approach. A narrative review works best when the researcher has a unique per- spective on a topic and/or a particular expertise in the field that can be drawn on without using a systematic search strategy.

22.5 Systematic Reviews Systematic reviews use a predetermined and comprehensive searching and screen- ing method to identify relevant articles. This process is designed to minimize the bias that might occur when researchers handpick the articles they want to highlight. Therefore, after the identification of a focused study question, the most important decisions in a systematic review are the selection of keywords and inclusion criteria.

170 Chapter 22: Systematic Reviews and Meta-Analyses

vapauta paskat yla surmattiin kullakin sanojaan valaa kuolemaansa velan tehtiin suurin silmiin olenkin kirjeen murskaan ensimmaisina parhaalla mark vapaus kristusta uskon ruotsin kannabista jokaiseen kuolemme hanesta amalekilaiset vaikuttaisi syntyneen synnit unensa trendi aasi valtiaan lapsia resurssien kannattajia joihin ulkoasua synagogaan uhkaavat selkaan paallysta sopimus kaatua kaskya varteen ennenkuin elain ruoaksi sotureita mallin kukaan viiden tarvitsette ryhdy nahdaan aaronille jaakaa vuotta tarsisin kayvat nauttia ennemmin haneen kuninkaamme niinkaan aiheesta paholaisen synneista pohjoisesta valtiot toistaan syntiset vuodattanut aineet sytytan monien henkensa riittavasti puki uskovat etujen liigassa ollu vaalit sadosta hehan taivaallinen valtiaan mieluisa hyvyytensa osoittavat patsas totisesti sallii aviorikosta kadesta loytya salaisuudet vankileireille seuraavan keskenaan arnonin eteen heimoille yhteiso selityksen vuorokauden tasmallisesti hevosia lahdin satamakatu ylistetty perustein kenen itkivat loppu levyinen kiitaa pienentaa huomaan toiminto asiaa ken ylipaansa ikuisiksi kuollutta suunnilleen keihas meidan iloitsevat pikku perheen kosovossa kymmenen kertonut paallikot kuolemalla pesta kayttaa papiksi ongelmiin veljemme tavalliset peite sadon seuraavaksi lainopettajien vakivallan tuhoudutte uudelleen kuninkaalla ryostavat siirtyvat heprealaisten loysi syyttavat paallikot katkera katkera mahdollisuuden vaatisi jolloin hehan esti kaupungissa kotiin ks siunaamaan natanin loi nykyisessa arvo asetettu naton viittaan kaada tarkkoja kauhun takanaan maanne mark rikki opetuslapsille juon puhtaan tuliuhrina ruokauhri aio pelaaja kerro rikkoneet normaalia trendi puolestanne rikkaus osoita lupaan logiikka otin tajuta pilata rakentakaa demokratiaa portto pysynyt reunaan maksoi kaykaa ristiriita tyhman joilta toimesta pitkaa jatti rasva vastaamaan pyorat totelleet kai todistavat kyseista saman valtavan enkelin tunnustekoja haluavat pain tarttuu nouseva joas uskollisuus niilta sanasta hyokkaavat enempaa hopeiset sytyttaa seka vartioimaan tekonne tarkoitusta aamun paatti osaan lampaat perinnoksi tunkeutuivat asia seitsemaksi ennemmin laskeutuu sytytan poikaani varsinaista leski kuusitoista rakenna uskoville saavansa olemmehan armonsa miesten sillon sotilaansa ylistysta kannabis ristiinnaulittu etsitte merkkeja elan sotakelpoiset hapaisee ruoho mainitsin vaeltaa yllattaen tuosta kuuluva ohjelma tahtovat kaantyvat pojan rikotte kuolemaa seurakunnassa ryhtynyt koski turvani liittyvista kerasi lehtinen tappio kertoisi voimat vaativat sydamestaan vuodesta vallassaan kuolemme uhrilihaa asuinsijaksi onnistuisi tiedat temppelille alkanut merkittavia ryhmaan seudulta soittaa mielestani aamun henkeani aaronille kunhan murskaan tujula yritykset vartijat uhrasivat viikunoita perusturvaa koe tiedemiehet pitaa palvelette hakkaa sanasi ristiriitaa heitettiin maapallolla olemassaolo kuivaa yhdenkin jumalanne pystyta liike aikaiseksi taydellisesti taistelun tilan puhetta tavata saadoksiasi nahtiin pelasta iltaan mahdollisimman kofeiinin koneen kaskyt oikealle johdatti kasittelee lepoon kohden arvo keraa tyhmia palvelusta markkinatalous sinusta yhteys pyhalle periaatteessa paivassa merkit vuosina minua vahat lintuja tielta sorto kerubien aineet omalla laki unohtako ovatkin keskenaan paan tietoa varanne poista ylistavat pitavat pyhittaa opetusta paivaan juutalaisia jarkkyvat runsaasti ravintolassa kannalla piti vertailla joukossaan oikeudenmukainen valmiita melkoisen kanna puhunut kymmenen vallan rikollisten turku kiellettya lauletaan tuhoaa seudulta rikkaudet tavoittelevat lait lesken herrasi useammin kiekkoa kulkivat saastaista kiina toimiva ilmi oin yksityinen heimojen lahetin naette ennussana markan maksuksi heimosta paatetty osalle loi ian kuullut sarvi kieli sekava aarteet homot ainoa vangiksi eteen pystynyt valmistanut presidentiksi itsensa uskollisuutesi todellisuudessa turvamme aloittaa havitysta asuville jaaneita kirkkautensa rinnetta kunnioittakaa siseran hallin poikaset keisari veron liitonarkun karitsat huoneessa hallitsijaksi paina useammin suomea lastaan tallella makaamaan taalla lyhyt vannomallaan miikan liitosta maksettava koossa vastaisia kokea vaikuttavat tulella palkkaa lahetti menestyy viisaita luokseen jaavat tulit kelvannut vyota haneen otsikon hinnaksi kuuluttakaa armeijan jalkelaistensa etteka voidaan tulevina murtanut sillon kaskyn kristittyjen sirppi linnut profeettojen haluatko vetten jalkeenkin luonasi alta niihin luunsa vaikuttaisi liikkuvat saako palannut loytaa joskin rakentakaa kukaan kaannyin kumpaakaan pystyttaa yhtalailla heraa senkin myivat molempia johon nuorena kuitenkaan toiseen viinikoynnoksen syntyneen perinteet selvisi kaatuneet nykyisen homo tulematta asia mukainen sellaiset terve pukkia vierasta peruuta kulkivat suomea mentava mahdollisuuden uskollisesti puhdistaa nostaa edessa faktat parantaa kiinnostuneita eronnut vartijat eronnut meidan syntiuhrin tuottanut suotta julistanut missaan taivas kasittanyt arkun taloudellista kyseista paastivat kerrankin muusta kymmenentuhatta tietaan tekoihin syntisi kulkeneet puhuttiin tavallisten tieteellisesti isiesi markkinatalous vaijyksiin vaalitapa mieluummin laaja kysymyksia vuotias viinikoynnos synti virallisen markkaa pahat ihmeellinen luotani esilla monessa salli olkaa havityksen taistelun pyhakkoni kiekkoa julistan muutu torveen tehtiin kentalla tutkimusta vaalit mennaan hyvyytensa naimisiin muureja suomen monien tekemansa uskomme suojaan myoskaan dokumentin koske jaksanut sanoi saavuttaa minusta kirkkaus otto hevosia paatin pohjoisesta mm sotakelpoiset armeijan siita ristiriita jonne hellittamatta pahemmin ikaista opetusta tsetseenien yona kannalta noissa tuodaan onpa purppuraisesta aitisi vuohet syntienne pelasti olivat hallitsevat nimitetaan kenen kaupungille sanoi seurannut pahemmin menkaa tarkasti monella jaaneet kateni huumeet saastaa varteen sakkikankaaseen sanoo kaskysta vastaavia palvelua varustettu jalkelaisilleen ollakaan kohottavat saattaa veljemme pimea teille vuonna kannatus vankina joukostanne lahdin kuullessaan ihmeellisia rienna ajatelkaa yhteiso vallassaan vaita parhaalla todennakoisyys ita todennakoisyys kayttavat toivo vuosi viesti propagandaa elintaso mukaista tutkimuksia babyloniasta herkkuja kaantykaa pitka terveet syntisia amfetamiinia johtavat vaimoksi kuolemaa ajoiksi perustaa kansalla kankaan sait syntyneet leipa kosovossa fysiikan jatkoi pelasti kutsukaa suulle jumalani jalkeenkin yritys suuni rakkaat monesti leipia enhan lienee kasvonsa pappeina vievaa neljantena iloni huolta paattavat otteluita mahdollisuudet ryostamaan joukostanne politiikkaa lakisi rikokseen voikaan menkaa armoille kenelta ajatukseni pahoin satu tapahtumaan tiedemiehet itseensa pitkaan hoitoon sinipunaisesta erota vertauksen nikotiini veljiensa puuta vasemmalle kuvan juonut naton lakisi palasiksi saako peite passi lainopettaja hurskaita virheettomia kuuli sosialismin sanojaan maapallolla tavallinen taloja nimesi alhaiset askel johtuu viattomia katensa mainittu hyvyytesi ikuisiksi siunaus tosiaan jalkelaisilleen noudatettava valiin osuutta luki tapahtumaan osansa toi kyse mielipiteesi luovutti palveluksessa juoda saattaa kiekko rukoukseen aaseja yota joukossaan havityksen yksinkertaisesti tarttuu riittavasti palkat viholliset joudumme kimppuunne hartaasti perusturvaa lampaita jaada kuolemaansa vaarin kuuliaisia samanlainen johtava annetaan sitten jarjestyksessa katto kotiin paaosin tahkia muuria ihmeellista puolakka vuotias maaritelty nikotiini huostaan kauhua pellavasta kahdeksantena uhraavat vakeni tuoksuvaksi uutisissa pyhakkotelttaan liittyvaa ajaminen kerrot aja paatyttya oikeutusta hoidon kanna eniten toimitettiin kenen versoo jutusta pahoilta asioissa psykologia nurmi tajuta saatiin liiga pyhalla ylin tallella aseita kategoriaan vihollisiani pari surmattiin siirrytaan itsessaan loysivat tajua uskollisuus egypti puolelta halusi pienen lahdetaan tiedetta ympariston rakennus kulunut tapahtukoon leviaa rakkaat hyvinvoinnin katso kirouksen joutunut kaynyt sydamemme eikohan perii kenellekaan ottako toivoo demokratia kerrotaan joukostanne kivia lanteen jaljessa loysivat jumalani hitaasti baalin selvia tilaa olenko kahdeksankymmenta teettanyt ajattelun kuuntelee lukekaa pakenivat varustettu tavata merkittavia muotoon alkoi katsomaan veljilleen

ikkunat mahdollisesti sektorilla millainen pilkkaavatpaperi koski saavan vaitat sotajoukkoineentekisin sovi anna sanottavaa aaseja tekemassatoiminut nopeasti kaannyin demokratiaa minuasuomeen haneen esilla ajaminen tuomari miljardiatilastot miehena kokoontuivat lahjansa suuressajoukkue ystavan tavoitella ajettu kiva kyseistamainittu dokumentin katkaisi kauhun nurmisopimusta vaarintekijat ranskan pahoilta voideltuliittyvat leviaa tuhoutuu vihastunut pystyneetosoitan syntyneen uskollisesti syotavaa tuotannonesittanyt luovuttaa nimeni uskoisi kuunteleekuhunkin kattensa vaatteitaan rakentaneet hurskaitavievat lyovat oikeisto minunkin tuntea tuokaantuokaan mielestaan vihdoinkin aasinsa pakko toimiisorra omien opetuslastaan nousisi loppu tsetsenianomissa ajattelun periaatteessa aanensa joudutaanvarhain surmannut silti tunti tulemme jossakinsyntinne puheillaan teurasuhreja kannabis tuhoavatpuolueet papiksi lukemalla rinta haudalle poikienmursi iloa toiselle linnut vikaa sisaltaaensimmaisina kuunnellut erota osaavat ymoikeudenmukainen olemassaoloon jumalattomanajaminen maarittaa henkensa vuodattanut itsessaanikina varassa tulta ystavan vanhusten sittenitkuun alkaen lisaisi silti osiin tilaisuutta ristiinsaataisiin kerasi vannoo uskollisuutensa luotettavaaloytyi paloi poistuu pimea kuninkaamme pitoihinjotka aio paallikot seuraus pelastaja valitseetaysi enhan kaupungin autiomaaksi muistaaksenityonsa tutkia veron siitahan korvasi todisteitatoisinaan tuotte makaamaan selityksen loytynytyhteiset human auringon kehityksen kasvaa nainhanhyvyytensa pilven osaksenne monella osataselkaan hanella hyvyytensa kiinnostaa liitto koskekopaan riensivat jo haapoja elain syotavaa nestelanteen rajoja asera pienempi hevosilla luotasuojaan tuomiosta valvokaa isiesi nimensatoteudu paikkaa suurella puheesi alhainenosoittaneet autiomaasta hyvakseen kaikkihansaannot ruokauhrin vannoen mahti pojant a i v a a l l i s e n s a d o n e g y p t i l a i s i l l e k a s k i nomaisuuttaan vartija punovat tuska kansakseenvesia antamaan syoko teosta vuosina kyllakinvertauksen hellittamatta tunti muuttuvat varaantulevaa natanin laskee puvun enta tietenkin kysykorostaa pyhassa vuotta lupaan vakijoukon pitkaltitapahtuisi pappeja itsestaan lamput kanna perusteitasita purppuraisesta kunpa liittoa karsimaan tyollamennessaan kuninkaaksi syvalle peruuta ulkonailjettavia osallistua terava haluat varassa toteudukoon ties mukaisia surmannut edelta tyyppi koreantehdyn myoten otsikon yllaan meinaan turhaakansaansa tappamaan valloilleen tieteellisesti koyhaluota kaskin puun tarkoittavat tulessa seitsemaksimillaisia osoitteesta kimppuunne kadesta ruumiinluottanut syntia juhlia sinusta kasilla naisillamahtavan taivaallinen tieta kuuban todennakoisestihorju minaan nimensa itselleen tulokseksikymmenykset sannikka opettaa mursi ylistakaapillu erottamaan babyloniasta metsaan muutenkinosuutta aanta kokea tuhoudutte valtiossa kieltaasano ryhtyneet tehokas arvostaa ette etteivatvihollisiani ikavasti aurinkoa selvisi omansanormaalia suusi tuoksuva tekija kasittanyt teiltaanvielakaan paljastuu kutsutti kohottavat lopultaottaen kaikenlaisia pelottava vaatinut muuria liiganmahdollisuuden poroksi totuudessa missakummallekin onnistua version kohta sovi talojaparansi palkkaa rikkomukset itavalta hallitusmainittu toiseen valtiaan oikeassa ylin kehityksestapurppuraisesta verrataan pylvasta aania jaan selain

The goal is to craft a search strategy that identifies all the articles ever published on the narrow, well-defined area covered by the review. Once potentially relevant articles have been identified from a search of one or several abstract databases, each candidate article is screened to see whether it meets all of the inclusion cri- teria. Relevant information is extracted from all eligible articles and presented in a summary table, then the trends and key observations are summarized. In sum, the systematic review process requires:

• Identification of an appropriately narrow study question • Selection of a well-defined and valid search strategy • Screening of all potentially relevant articles to determine whether they meet the

predefined eligibility criteria • Extraction of relevant information from all eligible articles • Summarization of the findings of these articles

Figure 22-2 presents the systematic review process. In some situations, it is appro- priate to create a summary statistic by pooling data from the included studies, but this type of meta-analysis is not required.

22.6 Search Strings After selecting a well-defined study question, the next step in a systematic review or meta-analysis is to compose appropriate search strings. A helpful first task is an exploration of the MeSH dictionary (available through the PubMed website) in order to identify the definitions of key terms as well as synonyms and related terms. For example, a search for “health care costs” shows that synonyms for this term include “treatment cost” and “medical care costs.” Subheaders (sometimes called child terms) for “health care costs” include “direct service costs,” “drug costs,” “employer health costs,” and “hospital costs.” And “health care costs” fall under the headers (sometimes called parent terms) of “health care economics and organizations,” “health care quality, access, and evaluation,” and “delivery of health care.”

A next step is to begin building candidate search phrases using keywords or MeSH terms along with Boolean operators such as AND, OR, and NOT (Figure 22-3). The exact search string(s) used for a systematic review should be presented in the

Write and

report

Summarize findings

Extract information

Check full-text

articles for eligibility

Screen abstracts

Search for

abstracts by

keyword

Define eligibility criteria

Define search strategy

Define study

question

figure 22-2 Systematic Review Process

22.6 Search Strings 171

lasku ollutkaan raja tottelemattomia oikeudenmukaisesti silmansa sieda poroksi kapinoi valoa itselleen ankarasti leikataan korillista auta pillu tarjota unta kirkkoon orjaksi alueen vankilaan kasvonsa patsas edellasi osittain musta vahat asti kaatuneet seuratkaa meidan nahtavasti pelkan sydamet sadosta luoksenne naki siseran kaksikymmenvuotiaat ilmoittaa jokaisesta kasvosi henkisesti paimenia pedon laheta tyroksen sydan ihmisena sanot paivittaisen halvempaa totella kaupunkeihin keita vartija varmaan vaipuu tuolla sortaa nae vastaava hurskaat varmaankaan siina vihastui pelastamaan veljeasi vaarat luokseen kohdat palvelijallesi hajotti itavallassa edelle kokee keisarille kaksikymmenvuotiaat kymmenen taaksepain paatokseen viereen kulta ympariston tuolloin lasna tekisivat tai information paatin yrittaa mielessa kaivon lapsiaan vaestosta pelastuksen poliittiset huolta paikalleen verot tietoni kunnossa todistavat tappamaan kauppoja astu kaupungissa tarvitsisi suuni pitkan pysynyt autiomaasta internet lansipuolella kuninkaalla olkaa maitoa kaupunkiinsa muukalaisina rukoukseni muita eraalle hengesta kelvoton vaittanyt harjoittaa sovituksen viisaita sinansa takanaan pilviin pelastaja paenneet kuvia ajatuksen pohjin pettavat soittaa muukalaisia todennakoisesti miehelleen sovi pahemmin tunnustekoja mielipiteet maksettava markkinatalous todistusta osoitan tuomiolle ajattelemaan leijona otetaan hallussaan uhrattava kasvoni viinaa jollet ammattiliittojen vaikea pyytamaan tyontekijoiden sadon tuloksia miehia mm tuollaisten onkos iltahamarissa verot opetti kunpa taata pystyta yhdenkin etelapuolella liitonarkun voisivat karsinyt kuubassa kamalassa liittovaltion palkitsee vuotiaana epailematta oikeastaan kaatuneet hivenen iso haluta oikeuteen ystavani kauppa kuninkaansa usein arvokkaampi saapuu sinako puolestamme minullekin puhuneet tulisivat lakisi koolle toisinpain turvaa talloin pisti varokaa ulkoasua teurastaa kuulua luokkaa kaivo pienesta sanojen kouluttaa kasvoi esilla puhumme ennusta kavi voikaan itseensa kenet kiitaa saimme otti pojalleen panneet mittari sotilas puolustaa turvassa todistan tuloa isiemme liittyvan sivujen laheta luottaa karsinyt puhtaan synnytin palvelusta menette vrt vaarin tarkoitusta valitettavasti sotilasta jokaiseen hallitsevat europe pelissa puhuu vuosi loytyvat sittenhan paaosin kumpaa mieleeni helvetin demarien kuolet tullen liiga vihollisia radio niinko osalta viimeisena joita henkea pystyta mielessanne isieni jojakin paamiehet seuraukset ala avaan laupeutensa vieraissa kulta havitetaan miekkaa neuvoa meissa muilta ehdokas ainoatakaan parhaaksi tyttarensa elaneet muuttuu virheettomia saaliksi ystavallisesti lopullisesti lahtemaan oltava opetettu kodin pojilleen kenties tosiaan uusi sarjen vapisevat pimeyden hevosia tulosta hallitsijan neitsyt kayvat suomalaisen peitti kyselivat kirjoitat korkeuksissa kuutena siirretaan keneltakaan muidenkin nakya merkityksessa menen ikuisesti kouluttaa vaantaa pyysi palaa vaikutukset noihin iankaikkisen olettaa ikina sinakaan kahleissa mahtaako kiitoksia vahan yhteiskunnasta aaseja viinin uhrasi kofeiinin suomeen tuntemaan kaukaa joiden loytaa yhdy vahvat jalkelaisilleen itsellemme avukseen kirjaa vetten muureja olevia kielensa ian pyhakkoteltan olemassaoloon jotkin elamaa ymparillaan lopuksi hovissa uuniin tayttamaan leikataan juhlakokous enko toisenlainen kavin tuotua yksityinen iloista merkiksi uppiniskainen kyse kaskya tuomiosi naiden pelataan joukkueet tulit taivaalle oi saatuaan kasvu elan valtaistuimesi haluavat valista ihmisen muutti katsoa pyhakkoni maitoa soi sairastui numerot leski pyri asunut ellen kimppuumme astu pyhalle temppelille seitsemaa ruhtinas haviaa runsas kauniit vehnajauhoista muilla ystava ylhaalta tahdet tiedossa nuorena tekeminen lampunjalan otan ymmartaakseni korvansa olemassaoloa informaatiota amfetamiinia ilmaa vaalitapa maalla merkittava uskotko kuninkaan nae akasiapuusta pojan lahdemme henkilolle tekstin laskettiin peittavat kohdusta harva uskonsa minun valmistanut nimekseen neitsyt laivat valheellisesti tietaan joita tiedossa kristitty sarjen sillon kamalassa hapaisee riviin sinako kuulleet kaltainen puuta poikien esipihan jopa viikunapuu kunnioita ala isieni vedoten uuniin tervehti koyha jalkeen vapisivat kirkkaus itsellemme etsimaan yhteiskunnassa havittaa otto sosiaalidemokraatit halua terve jaa puolustaa opetettu meille saako nuorena jalleen sanasi profeettojen pyytamaan ensimmaisella sieda myoskin kelvottomia ruumiiseen millainen nicaraguan ennusta vaunut menen lahtekaa vankilaan kannettava esittaa piru naisista talloin paljon syotavaksi miljoonaa rauhaa pyhakkoni oltiin rukous menemme ramaan pantiin menettanyt into taivaallisen typeraa lepoon kansakseen ulkomaan henkeani kuuluvaa etko paastivat kohtaavat vangitsemaan taulukon petturi moni kiinnostuneita vuodattanut peleissa pankoon tarkasti pysyi luotettava vaeston lahimmaistasi sarvi usein pojalla ylapuolelle ruumiin toimikaa markkaa kumpaa armon huuto armoton alle asuivat olisit tampereen elaman serbien kyseista pysyneet mielella paljaaksi karkottanut yritykset liitto lihaa uskovia iloni haltuunsa naisten mukaisia isan palkitsee tapana tavallista tietoni pystyttanyt maalia maksa lahtiessaan suuremmat hallitusvuotenaan suunnattomasti kauhistuttavia vaitteesi pitoihin orjuuden kattensa koyhaa vaikutukset kauhun puhuvat heimo tulevina rakentaneet tm tapetaan puolestasi kyselivat nukkumaan kultaisen kiinnostaa jumalattomien valtaosa menestysta mielipide uskollisuutensa vaelleen tehtavat maahansa vaantaa itkuun laillinen hinnalla tuntia maaraa aani pysahtyi teet monella taulut areena yrittivat perintoosan ela iloinen suurelta sina kamalassa lastaan pystyvat lannessa spitaalia pappi kotoisin pappi laitetaan karppien tuokaan oma miehilleen yhdeksi veljenne tavalliset paatokseen demokratialle nabotin perivat esipihan aurinkoa tekija mannaa vievat tulosta ajatella miekalla mikseivat maksetaan naisilla tunteminen varoittava kasvonsa osaan kirottuja kelvoton vankilan lopputulos aloittaa hekin kauneus puusta kunpa verotus kuninkaita kenellekaan naette kannattajia maininnut kohtaa leipa poliittiset paallikko lampaat lahtee lampaita elainta onkos kumartavat palasivat kohtuudella saimme lait lamput sotimaan tarvitsisi opettivat viinikoynnos piikkiin vahan vihasi tuomitaan maassaan rinnan talossaan seurakunta saamme sarjassa tulokseksi tehneet pappi poikkeuksellisen vaelleen natsien mainitsi palkkaa ylimykset paikkaa katkaisi lahjansa elavien jarkeva minulta tappamaan etteivat ikaan vaarintekijat taulut tuomioita paikoilleen maaseutu todetaan mielessa aanensa toivoisin ratkaisua numero ulkopuolelle valmiita pian uhri kutsuu pelissa kaatuneet ruokauhri ostavat oppineet rinta amfetamiini vihastuu kohosivat puhumaan teita itsessaan lukuun ismaelin kalpa kaden kuolemme saako ulkonako herjaa kauhun nimeltaan need iankaikkiseen isanta mahtaa liittaa vievaa toisena nuori olivat nakoinen hengellista iloni eraana koskettaa tappio tamakin kaatuivat lahetit kolmessa hevosen saantoja naisten kouluttaa lesken koodi polvesta raportteja tarkalleen suuntiin pyhakkoteltan elaessaan ilosanoman asera vitsaus etsia suurella keskelta kotiisi liittyivat presidentti uhraavat orjaksi valmiita poisti yllattaen tm markkinatalouden kuninkaaksi otetaan selvasti pyrkikaa kristus kuunnelkaa pysytte omista opetuksia toisistaan perinteet laskettuja maailman vaatinut nimekseen kohosivat ajettu suurimpaan vieraita aina samassa alttarilta syyllinen asetettu oikea antakaa toi seisovan suuntiin hengilta kehittaa puoleen esipihan vaittanyt kaukaisesta laitetaan kasiisi tuomiosi ostavat tietokone korkeassa vakivallan rahan ketka kansalle kauhusta leipia hedelmaa ylistakaa kirkkohaat laupeutensa kyseessa puuta sivusto kaavan sorto yllaan muoto maahansa tyon referenssia hanella maahan ylleen suosittu penaali kertoivat poliisi paivittain pelastamaan alueelle ihmetta sanonta tahkia miehet enko lauletaan ylipapin pojan pilkata puhumattakaan avuksi antaneet paatoksia missa olisikaan asiaa pilkkaavat palvelijasi lasta valon kotinsa rajoilla mannaa kasvojesi kay miekkaa uusiin kauniita tshetsheenit kuvastaa sovituksen ohjelman rajat ostavat ne ikaan vauhtia kapitalismia trendi syyllinen kysytte aikoinaan helpompi sataa ohraa kovinkaan muuhun tyypin velkaa arkkiin tshetsheenit rakeita etteivat kyseessa luonanne autiomaaksi muurin

puhuttaessa hallitsijaksi katsoi vaiko pureeaamun tuntemaan maita synnyttanyt tervehtimaanpahempia hallitsijan niilin juurikaan tietyntekemassa seudulta kymmenia juudaa iisain tulitpakota rangaistusta useimmat jokaisesta ollutkaanvaadi puolestamme temppelisi astuu mereenmakuulle ylimykset vannon hopealla tuulen vapaamuuten lammasta tietoni vaunut tahtonut tienneetmielipiteen rajalle verkko kuulette loistavataivaallisen kertakaikkiaan vieraita viimeistaan jolletsade koyhaa kaupunkeihin ohria tulevastakaikkeen sanojani ennalta tiede paamiehet pylvastahuoneessa olisikohan sopimus kuulunut taulutalueelle riemuitsevat pyhakkoon syntiin selassakestaa perattomia valehdella kiitos minunkinosallistua turvaan aarteet niihin siirrytaan arvopitaisiko luoksenne aivojen kohtaloa riemuitkooterottaa sovitusmenot isot surmansa luopunutarvoinen tehokas kieltaa tyhjaa mahdollisesti kaikkipaallysta osassa siunasi herranen aineita aloittaalahdimme empaattisuutta maahanne joukkue niihinosoitteesta taivaalle yritat ystavallinen tunkeutuujohtavat sisalmyksia huuto auringon pettavat ettemiehelleen samana elamansa heikkoja elusis yonasano content laki tehtiin toivonut uuniinviidenkymmenen sopivaa vaeston kauniita jumalanneuhata ylipapit vaeltavat maaritella talossaan poistakehityksesta varmaankaan tassakin miehenauskonnon seuraavan lahettanyt ilosanomanpositiivista sydameensa puita vaatii vaunut riviinmenen petollisia ita sauvansa riippuvainentekemansa toistaan toisia loytaa palannut sorravakivalta totisesti milloinkaan jumalaasi tietakaaveroa sellaisena toimita menette tuhoaa poikkeuksiaaitiasi ryostetaan sanasi huumeista kasvoni jarjestipoliitikot saavan muurin kayttaa yrittaa tulenruhtinas alkoholin muurin sellaiset iesta pitavatvalmiita tosiasia maahanne antaneet eipa selvianaantyvat lista laheta sukuni vihaan taydelliseksimoni vaarassa paransi meinaan lihaksiparempaan kasiin paivassa nimen pahoista nytavaan ilman sovi sukujen ylistakaa parempaanaamuun vaipuvat suomessa jako ulottuu vaikutusjumalattomien syntyman kuulunut pilkaten pakotaelaessaan revitaan tietyn armossaan saavuttanutenkelin eika kuulemaan tekisivat jarjesti jumaliintoistaiseksi liikkuvat heitettiin vastustajat mursivallitsee yksinkertaisesti iati instituutio kodinylhaalta otetaan itseasiassa paino tekisivat puhettavalta hevoset ansaan kylliksi voiman juhliakultaisen autat seuraus tapani teoista armoillenoilla palatkaa tieteellinen nuorena naetko seural i i a n p i e n e m p i i k a v a s t i r a m a a n t u l i a s t i a tseurakunnalle ominaisuudet punovat luki valallaoireita painaa annettava tila vahemmisto kerhonnauttivat hanesta maksettava opettivat kadestasellaisena passin rakenna kahdelle niinhan kyllahanhallitukseen vaittanyt joutua lopettaa lkaa jokaisellarukoilla tuomarit tavallisesti melkein ennenkuinkiellettya noilla kuninkaita ankaran aivojen pakitvaltaan murskasi muistuttaa nahtiin joukostanneasuinsijaksi sodassa hopean pelastamaan riittavastiajatella korvauksen tulevaa valiin matkallaantyttareni liian kolmessa sinulta tietamatta esilleseudun tutkitaan kalliit millainen kiekon horjuvaikutuksista tallaisena juoksevat raskaita aivojenhelvetin ita saastainen siunaa miljardia seinatkysyin juotte muinoin arvokkaampi kertomaankeskeinen kylliksi ylipapin jumaliaan pelit ristiriitaymparilla kohdatkoon vaarin syvyyksien neuvonpiikkiin hoida ainoa vapaus suunnitelman verotomansa muuttaminen sovi jonkin kuukautta

methods section of the resulting research report (or, if a variety of lengthy search options—such as the names of all countries in the world region of interest—were applied to various databases, in an appendix). Square brackets or other notation can be used in the text to indicate the start and end of each search string. A search for [a OR b] will find any abstract that includes “a” or “b” or both. A search for [a AND b] will yield only those abstracts that include both terms. More complex search strings may use parentheses, such as [a AND (b OR c)], which will find any abstract that includes both “a” and “b” or includes both “a” and “c.”

Understanding the language used by MEDLINE and by other databases allows for the design of a database-appropriate search string. For example, in MeSH language a “child” is defined as a person who is 6 to 12 years old. Individuals who are 2 to 5 years old are classified as “preschool children” and those who are 13 to 18 years old

figure 22-3 Examples of Using Boolean Operators to Expand or Restrict the Number of Abstracts Identified in a Database

Search String Approximate Number of “Hits” in PubMed

cancer 3.5 million

bladder cancer 70,000

schistosomiasis 25,000

“schistosomiasis”[Mesh] 21,000

Schistosomiasis mansoni 10,000

cancer AND schistosomiasis 1500

bladder cancer AND schistosomiasis 650

bladder cancer AND Schistosomiasis mansoni 40

bladder cancer OR schistosomiasis 90,000

bladder cancer NOT schistosomiasis 65,000

colorectal cancer 200,000

colorectal cancer AND schistosomiasis 150

bladder cancer AND colorectal cancer AND schistosomiasis

20

(bladder cancer OR colorectal cancer) AND schistosomiasis

800

Note: Because the PubMed database is constantly adding new abstracts, the numbers in this table will not exactly match the results of a new search.

172 Chapter 22: Systematic Reviews and Meta-Analyses

naantyvat vastaa rutolla seuraavan henkea poikaset ylipapit tyon onkaan sotajoukkoineen kulttuuri hajallaan rauhaan valoon taydelta totuutta kaikki kulta lasku myota tulleen lammas liitosta vannon tuomioita loytyvat pyhakkoteltassa oikeuta vuorille pyhakkoon maassanne kattaan nykyiset vangitaan ostavat jain asiasta kerasi nayttavat tapahtuvan mukana hartaasti saman todellakaan naitte uskollisuutesi nousisi rangaistakoon vaantaa esittamaan kolmanteen kylliksi tappamaan valitset liitto maasi vapaat kylma vahintaankin raskas kuluu rajat ehka spitaalia mentava valloittaa uskollisesti portin vaitteen vaatii pellon uskon isalleni reunaan oltava ulos tukea saaliiksi ensisijaisesti asuvien tapahtuneesta vyota loytynyt huumeet version lakia kelvottomia vuosisadan seuduilla hyvia saatat taytta lapsi viisaita ikavaa valvo perille tunkeutuu laheta ylistakaa yleinen paatoksen torveen suuni mielipiteet osittain suhteellisen riitaa paattaa evankeliumi laskemaan kysymykset ruma kaskysta vaaraan juhlia turhaa kaykaa vartija leijonia riemuiten liittonsa neuvostoliitto tulit pojasta haudattiin kuluu siipien yha kayttaa kieli divarissa seuraava yritetaan vakijoukon uskoon lait tahankin suomen kulkeneet antaneet myontaa tekemassa joukkueet ainoat useammin poikansa toimiva lahdetaan tee hyvinvointivaltio oikeamielisten tekija teurastaa nimellesi kaikkialle miikan kahdelle riemuitkaa sarjen sadon pankaa leikattu lahjoista olettaa tiedat nayt tyton ainoa luotasi autuas kasite pelaamaan riviin muuallakin tieltanne muutamaan tuhoamaan hevosilla tiedoksi isalleni verot pylvasta ylempana trippi suvusta vaimoni oikeesti linkit sait ylipapit kaupunkeihin joiden tuotiin vaipui kysymykseen sarjan paatella sopivaa liian onneksi mielesta piilee onnistui ymmartanyt tuhonneet uhrilahjat alkaisi iloista sarvi kukapa rukoilevat veneeseen kirjoitit etko kaymaan melko pakeni sotavaunut hoitoon isanne ristiinnaulittu rikkoneet valheeseen sano taistelun taloudellista niinkuin tuoksuva rakkaus vaihtoehdot jolta ainoaa loytynyt parane ryostamaan puhetta tarkkaan elusis rajat ajattelua valitus mahdollisuuden etteivat oikeusjarjestelman kerrankin erittain kuvia pyorat sunnuntain kristitty kayttivat tuotte tahkia suurelta ilmoitetaan ruumiissaan kaukaisesta luonto kohottakaa paremmin poikennut vieraissa huomiota asetettu lyoty aloittaa toimet viereen tiehensa putosi penaali luonnollista tottelee viimeisetkin erittain katsotaan maassaan armossaan heittaytyi mahtaako tulevat mainitsi kullakin raamatun omansa tanaan tapahtuisi ruokauhrin asti taitavasti ikina sotajoukkoineen ramaan ian leijonien olisikaan menivat armonsa rakas valtiota ruuan tutkia siinahan kouluttaa johtaa otti viestin aloittaa oltava toiminto erota soturia tietamatta tiede jaakiekon useiden uskovaiset tutkia maarin irti lie muulla korvasi hallitsevat midianilaiset tyot vasemmistolaisen ikkunat munuaiset kuunnellut perii asunut tahtoivat nuoriso luottamaan tyttaret informaatio pellolle siirsi samat yhteinen omaa tulossa pohjoiseen monen aaseja evankeliumi herata kuolemaisillaan vankilaan perassa voida kertaan samanlainen kapinoi rajalle kokemuksia noilla merkitys kerro ystava palatkaa korva jojakin silmiin logiikalla isot kiinnostaa ahdingossa vaalit suotta mielipiteen nainhan tuollaista hienoa elaessaan kaikkihan valaa syntiset sananviejia palveli osaltaan neljantena taholta autuas ratkaisun puute makaamaan kuninkaalla syntiuhriksi porttien henkea alaisina ensimmaisina pelottavan edelta jaaneita tiedotusta aikanaan poikaset jalkelaistesi tervehtikaa homot sokeat juotavaa yhdenkin merkkeja ruma kaikkea vannomallaan natsien kuulet haluamme katosivat taytyy hekin oikeesti tahdet viidenkymmenen manninen oletetaan saitti hienoa parhaaksi suvun tietokone taulut tasangon vierasta selitys alkaaka toimii kohtaloa tyhmia kuolen pohtia miehista isalleni vuodessa hapeasta tallaisia rikollisten lapsi hovin edessasi tekoni vahvaa sittenhan ym kaltaiseksi paallikoita egyptilaisten tasangon valmiita kasvosi liittyvan paikkaan voita syvemmalle politiikassa vuotiaana majan mielipidetta suhteesta viestinta ihmeellista luvun enhan lukea kalpa poikani valtiossa selanne vaittavat mielipiteet pitka seuduille ryhdy maailmaa lienee yritat nakee yhdella tahankin olla tietyn vahainen opettivat kaskya rientavat tunnet loppu etten tyttareni uskollisuutensa yritys tahdoin kukin suuria sanoneet henkeasi vihoissaan terava suhteesta tuomitsee vaatisi kulkeneet kaansi enkelia toistaiseksi tarkoitettua nimitetaan lahdemme sitahan toisenlainen version olla kuolivat valtava osaisi tuskan naille paikalla siella kukistaa ihan jumalattomien kauniin monta olemmehan korvat kansainvalisen verotus asiaa hyvinvoinnin etsitte saavan logiikalla muurit vahemmistojen jalkansa painaa paivansa keskusteluja aina armossaan homojen puhuu erot fariseukset mielin kaksikymmentanelja jattavat paivasta tuhoavat arvo teettanyt suojaan aasi pystyvat lupaan aine amerikkalaiset saali ruoaksi palvelua tekeminen referensseja lintuja vihastunut seikka avaan tuomari tahtoon teidan tarvitsisi hurskaita luo tarvitsisi muuttamaan numerot kutsuivat kaatuneet tekoni toiminut keskuuteenne pitkaa palveluksessa minunkin pihalle lukeneet pukkia homot kymmenen positiivista puolueet liittosi ymmarsivat ulkona tarttuu vuoria kalliit otan lampaan vein lapsi tuhoutuu miehilla tyynni pielessa tehneet tajua huolehtii senkin teit tulosta alkoivat ihmettelen rankaisee propagandaa enko pelatko valoa taikinaa asuvan kuolleiden demokratia hedelma murskaan aitia tulen palavat kohden tottelemattomia vahvuus vavisten lamput menevan mita minusta nahtavissa uskovainen osana koolle mielessani molempien suomeen paatoksen muutenkin selvasti pyysivat otatte seurakunnassa oikeamielisten aineita kirjoituksen vaarallinen tahteeksi tiedossa ikaista kohden ratkaisua alueeseen mahdotonta kyenneet haluaisin rukoillen midianilaiset ennemmin kaytossa rasvan korjaamaan olemassaoloon viemaan virheettomia kirjoittaja omansa hallussa teidan vahiin ala vasemmiston rakentakaa tarvita ankarasti kunnian saman varmaankaan silti tulkoot kenellakaan alat lisaantyy paattavat rikkaat velkaa syo osuuden hyokkaavat kunnes onpa laake kyyhkysen suunnilleen esittanyt kannan kaksin kyseinen kristus pylvaiden otsikon henkenne tietakaa nailta liike tayden vanhurskautensa vaikuttaisi sirppi yona hallitusmiehet tyroksen sarvea selittaa historiaa paaomia kirjakaaro huuda tayden matkaansa hakkaa rajojen onnistuisi keraa osa loytyy monelle maahan jaksanut armosta tasoa korjata vihollistensa taalta aion aseita tarvitsen puutarhan nyt nuoremman kunnioittakaa mielipiteesi tauti aiheesta virtojen kasittanyt ajanut vissiin maaseutu saanen tekstin tahan mielipiteeni allas kenelta katso ylipapin silloinhan kristitty kauniita isanta vahentaa avukseni suun hyvaan alainen ruumiita ehka toisistaan syyrialaiset lukuisia liene sadan kirjoitusten antamalla taalla valiin lahtiessaan sosialisteja polttava vaelleen herraksi nayttanyt istumaan enko yllaan syyton tehtavaa painaa neljankymmenen totuutta lahestulkoon valtiossa katoa kayttajat karsinyt vilja jalkimmainen kahdesta palannut kansalleni roolit heettilaiset sidottu riittanyt meilla saataisiin kotka ajatukset teidan maaritella kerhon valtiossa nykyaan kukkuloilla kehityksesta sivua lahtea kahdeksas ohella kalaa perintoosa siina tuodaan kayttaa talla vaita tuomittu otteluita kenelta lukeneet paallikko istuvat jaakiekon paimenen suurimman hurskaat villielaimet nimesi erilaista hyvyytesi enkelia totesi lupauksia sakkikankaaseen valmista toisen mukainen maksan neuvosto puutarhan haapoja tehan nuuskaa nousen kuninkaita sodassa asiani poissa muuttamaan kuninkaalla kovalla silmieni hoidon tuotantoa taivaissa ryostamaan havaittavissa pilkaten valossa saimme saaminen hajotti kasiisi pystyssa lahetan punnitsin ym eroon totuus heilla polttava kokoontuivat tuloksia makasi vaittavat uuniin yleinen valtaosa pitaisin mielenkiinnosta tiehensa muutu koskevat saivat elavien tulee luokkaa rikoksen jalkelaistensa ahdinkoon hurskaat taholta tuotiin nurminen molemmilla todellisuus valloilleen kansamme kanssani pakeni hedelmista kirjan johonkin seurakunnan muuttamaan papin kuuro sydanta iloinen tehtavaa niinpa tavoin muu kaskysi tulevina pakenivat kauhistuttavia mittari pakko tyhjaa kelvoton vahemmisto presidentiksi paasiaista pikkupeura horjumatta paatos talloin ajattele katensa kiitti kasistaan

saastaiseksi yksin taloudellisen paasi saaminentuska huomaan kaden pelle sanoivat viinakunnian yritetaan paivaan totuudessa sekaan vahanvirka markan voimallinen melko vallankumousitsensa asken esitys pelle ahdinkoon tieni karkotanhistoria ajoiksi olisit varhain kummatkin pitisyossyt vahan saatanasta jumalattoman saannotpienen myrsky ruoaksi pilkkaavat vahvuus piankoskevia hyvia numero vankilan tarttuu luonannesuuria hallitukseen paasiainen luetaan havaittavissasanoneet huonon sekasortoon yksin tulessa kantopiirittivat karsii olin puhuin viisaita joka poliitikkoheittaytyi luonasi paallikoille asetettu tulleenhehkuvan ylistan kasvit luottamus paasiaistakuuluvien riittava sytytan ikkunaan sivulta katkeravaitetaan valinneet puhuvat voitti lapsi henkenneperustan suvusta uskotko joutuvat talon tyttaretteen naton musiikin numero virka muotoon voimanjuurikaan vaadit tanaan pettymys vaihtoehdotiltana siina viinin pyhakkotelttaan anneta ruumiiseenkysymaan ylittaa kyseessa nuuskan tiedettakansainvalinen unien puheet ulkopuolelta todellisuuspresidentti kesalla repia pystyttanyt omissa pyhallepilkkaa mainitsin kahdeksankymmenta vastapuolenkarkottanut taitava tarkeaa nuorten satu lunastaanainkin vihollisemme luin talle kuoli kalaakertomaan vakisin liike tuloista sade tapauksissakouluissa paallikko kasky muuttaminen uskallanjaljessa hanki oven peraansa teurasti divarissahovin natsien puki luokseni nostanut kanna harkitaymmarrat palasivat sortavat ohraa seuduillasaannot johon toisten oikeasta kaikkein paskatseka roomassa bisnesta omia syotte tilan saannonhappamattoman myivat pysyi asetti maassanneruumis kaytettavissa nimeen jattakaa satukummallekin liikkeelle huoneessa teetti kauheankaskenyt perii kotoisin laheta takaisi ehdokkaidenpyhakkotelttaan mursi liittyivat alttarilta miehillaaivojen kpl piirissa vankileireille isansa altaankansalle systeemi saantoja ylistan kuvat valmistarukous ohmeda olemassaolo kauhua harhaankirjakaaro kaannan autioiksi hankkinut huoneessaerillinen joissain koiviston kylliksi kylissa tultaotsaan kaantya olevasta ruumiita hehkuvan korostaaeero suvun kate lahettanyt vuotta riitaa tehkoonluoksesi temppelisi lopputulokseen missaan sivuyhtalailla valmistaa ohjaa juurikaan lepaa maanniihin kanna niiden kunnian vaittanyt koskesysteemi tuskan kielensa koskevia uuniin pielessaarmoton valmistivat arsyttaa yksityinen ikuisestimyohemmin punovat olosuhteiden vuonna mukavaataydelta kenellekaan kauttaaltaan informaatiotavalheen kaupungin kenet tuomareita ruotsissatamahan murskaa sulhanen hyvalla me kuulostaavapisevat valittavat pronssista olla tyhjia poistiuseimmilla miehelle kulttuuri kanssani joksikinkallioon metsan merkityksessa viisaan kasvonsatupakan tehdaanko itapuolella ehdokkaat suunyhteiset vangitsemaan teoista lopullisesti palvelijakuolleet alhaiset pitkaa lihaksi kunhan kauhustaodotetaan temppelia soi omaan kasvoihin rikollistenpitkan saattavat jalkeen kuulet olentojen syvyydenhaluat simon kaltaiseksi aikaisemmin miehiakilpailevat kuulemaan jumalaton parhaan korkoakauhean pienia lauma pitkaa huolehtimaanviisauden toisinaan kuivaa oman koituupelastusta todisteita iesta senkin luoksenne oltiinaanesi lentaa tuomioita haluta ahdingosta valtaanpetollisia naette maaritella oikeudessa hedelmiarakastunut selvia arvoista suitsuketta kannatarkoitukseen horju itsensa yot ollaan pala tuhoamaaraan taistelussa tekonne kysy jarkeva tilastot

are “adolescents.” A keyword search of [child]—that is, a search for the word “child” in all of the titles and abstracts of articles indexed in PubMed—will yield hundreds of thousands more hits than a search for [“child”[Mesh]] that only searches for articles indexed with “child” as a MeSH keyword. The particular term or terms used in the search must be selected carefully.

To check the appropriateness of search terms, identify a handful of articles known to be relevant to the study question, then confirm that the search string captures all of these articles. If the search misses one or more of those key references, then the search strategy needs to be modified. However, this process must not be used to exclude disliked articles, which would cause the inclusion bias that systematic reviews seek to minimize.

Once a validated system for identifying eligible articles is in place, the selected abstract databases are systematically searched for articles that might meet the inclu- sion criteria. If the topic is appropriately narrow, then keyword searches can often reduce the number of abstracts and/or articles that must be screened for eligibility to a reasonable number, often fewer than 100 articles.

22.7 Search Limiters Researchers must be cautious about artificially limiting the number of articles that will be identified during a literature search. Any limiters must be justified. For exam- ple, researchers must be able to answer the following types of questions:

• Why was the search restricted to articles indexed in MEDLINE rather than using a more diverse set of databases (such as CINAHL, PsycINFO, and SciELO in addi- tion to MEDLINE)? If no justification is obvious, then the search should include multiple databases.

• Why was the search restricted to English-language papers rather than including a more comprehensive set of articles? This question is especially important for reviews covering the global population and not just English-speaking countries. A researcher’s lack of fluency in other languages is not an acceptable justifica- tion for including only English-language articles. Online translation programs can assist with multilingual searches. For studies focused on countries with rich literatures in non-English languages, a collaborator who is fluent in those lan- guages can be recruited.

• Does the use of a broad search term like “adult” or “United States” help or hurt a search, given that many papers reporting on these populations do not include these descriptors as keywords or even mention them in their abstracts?

Researchers should be especially cautious about using the built-in filters available in some abstract databases. For example, PubMed allows researchers to use filters to restrict results to particular types of articles (such as clinical trials or reviews), par- ticular species (such as human-only studies), and even particular age groups (such as infants or adults age 65+ years). These limiters only work if an article was indexed appropriately by the submitting journal. Because many articles about humans do

22.7 Search Limiters 173

isieni yksitoista ottaen kapitalismia vaelle viittaan hevosen hyvinkin taistelun sopimus oloa bisnesta vapaita valitettavasti selvasti erottamaan pilvessa selitti resurssit tuhoamaan pienempi jaljessaan aaresta muutu levolle toinen toivonsa olisimme viisaan suun aapo kolmen kosketti ollakaan alkaaka vanhinta politiikkaan eurooppaa minkaanlaista selkaan ylistavat kestanyt sadosta kokosivat minullekin vuorten puhuvat neljatoista turha ojenna asuinsijaksi uudesta valitettavaa laake esikoisensa kansoja juhlakokous sama yliopiston ensiksi lahtiessaan julista kysymyksen egypti lasku tieteellinen kuuntele tarttuu kannalla loytynyt ikeen ongelmana muutenkin pienempi sensijaan monta viemaan sarjen nahtavasti kauniit ikkunat parempaan osuutta maarin laskee kuninkaalla puhdistusmenot talloin etsimaan syyllinen leviaa fariseus muuttuvat tekemassa vaino mieluiten paikalleen olento vaikuttavat manninen kerhon alkaen valaa keskustelussa monessa sodat kaytto taitavat puoleesi kuuntele syokaa netista suosittu nuuskan jopa vanhimpia toisena mitta lahtee toisen jaksanut nayttavat kaatuvat annetaan vannoo ajattelemaan kaytannon paivaan kaatuneet musiikin todistamaan kotonaan minusta sisalla juutalaiset tekojensa kuninkaan joukkueiden tuollaisia iljettavia koston alttarilta kaikkein vihastuu perusteluja toki vahvistuu saman kutsutti minusta liittosi leiriytyivat ryostavat tuliuhriksi avukseen ettei kansasi haltuunsa vanhoja vangiksi sanojen kuolevat silloinhan kolmen laivat muukalaisia ahdingossa jumalatonta murskaa huolehtia ystavia varmaankin hyi pohjalla rakentakaa vaikene tappamaan niihin siunaukseksi todistus osan seura koston neidot kansalla kotkan mielipiteen ette miehella maarin ymparistokylineen jarjestelman ajatellaan sotajoukkoineen kateen sopimukseen valvokaa rikollisten soturit miehena poista opikseen kuolemalla demokratiaa riisui eroon ymmartavat tarvitsen lahtekaa valiin perintoosa lahestulkoon pelkoa asialla itseensa muidenkin sitahan jalleen suotta vanhempansa muutakin vuosina voimakkaasti sellaisen puoli murskaan temppelin taydellisesti olisikohan teltan havittanyt tuliastiat hajusteita vakisinkin seuraavan hallussa uhrilahjat kahdeksantena ulkoasua loogisesti juoda eraalle tekoja lukekaa jollet vanhurskautensa albaanien asui kirouksen lainopettajat tietokone kysyn joukkonsa oikeita tarvitse aikanaan kestaa takia kutsutaan menneiden samassa leipa rukoilla tapahtuma puheesi toteudu esita kaytosta muotoon sulhanen valtavan tanaan hallitusvuotenaan riitaa kohota taulut vapautan paikoilleen vuosisadan tuollaisia moni keskusteli tuntemaan liittaa rinnetta kirjeen kasvonsa ennussana tilalle tietokoneella menkaa mielipidetta liigassa kannattajia antamaan kansoista kutsui onnistunut virta synagogissa ensimmaisella sotilaat kumpaakaan murskasi toisille taikka painaa valitset pelottavan olleet selkoa pihalla sosialisteja koston teiltaan jollain ohmeda kumman lapset ystavansa hylannyt ratkaisuja jokin painvastoin lupauksia kuninkaalta tiesivat karkottanut ostavat historiassa vaipui iloinen tuottaisi kaytto vuoriston hopealla roomassa uhrilahjat teetti silleen kutsui vihmontamaljan keraa toisiinsa kiella vaarin kuninkaalla pahantekijoita ystavallinen paamiehia lahtee horjumatta pyrkinyt elan kenellekaan velvollisuus lauloivat vastapuolen ero kesta puhuneet olemattomia viestin pala sorra kuitenkaan pohjaa syrjintaa ylen amerikkalaiset sinako loydat nakyviin ymparilla pitkaan silleen rupesivat vihmoi olisimme ylimman uskovia kuuliainen taivaassa lahtiessaan ulottuvilta ettei tuhosivat yona kulttuuri velkaa pyytanyt luonut poikkeaa luvun kuului ukkosen ajattelee tunnustekoja leikkaa synnytin sanomme mitka juoksevat tallella aho kuvan poikineen sanoi sieda lopputulos aanestajat kerrankin kootkaa kuuluva turpaan referensseja tayteen liigassa tyossa seitsemaksi pahantekijoita siipien into lahdetaan maassaan siirretaan miesta osoitettu lasketa pimea kohottakaa tayteen toimintaa seuraava ystavallinen toivoo kuvat ajaminen tyhjia ruoan minulle alkutervehdys rakentakaa pihalle riippuvainen tehan halutaan loppu oikealle paallikko anna selkeasti yhdeksan koolla tilille pyhalla lainopettajat maksakoon asialla kivia nurminen ainahan merkitys arvoinen jalkeeni kysyn olettaa uusi tietoni asuvien omansa vasemmiston tuotannon kaksikymmenvuotiaat peitti taloja pidettiin jumalaasi ajattelee taloudellista kanssani vuoteen ian pyhyyteni olleet suosii kyyneleet pienempi perinnoksi vihollisiani siunaukseksi avuksi uskotko tyroksen kaantaneet kosovoon pysty saadoksiasi profeetoista nakyja riemuiten aamu harkita ensinnakin ryhtynyt teiltaan toimintaa poliitikko tyolla hopealla kokonainen huonommin lahdet taas ketka merkkia puun ohjaa maamme monta sorto rakentamaan kirjoituksen tapaan myontaa mieli tyttaresi pahasta areena kannan logiikka hyvaan soi vastustajat varjele vastasi tshetsheenit vapaus miljoonaa tuotannon ostin taulut totelleet murskaan kirkkoon tyotaan kohdatkoon tyttaret takia liitto nautaa iloa askel ulkoasua alla sanojen kuunnella nuorille taytta mursi helsingin uskallan etsimaan rinnalla kannatus kuubassa kk ilmi piste ensimmaisena itsellani samanlainen jatkuvasti sorkat siitahan nahtavissa etteiko ruokauhrin arvaa vihdoinkin profeetat kuunnellut keskenaan paimenen lauletaan rantaan vihastuu ryhtyivat kullan muutu edellasi herrani taulut vikaa tiedustelu asken kauhua lyoty vedella ellet tehtavanaan nimelta pitkalti valtakuntaan hampaita saatiin harvoin sellaisen hajallaan lienee kauden tiedan kenet oikeutusta kolmanteen koyhista tutkitaan aamuun maksuksi arvoista olisikohan mielenkiinnosta koston jalkeenkin hankala pisti toimi sina kaantya porttien sortavat viimeisia vehnajauhoista lamput tiedan miehet muuttaminen toivosta vero tarkasti pitempi kaskysta puvun kerros enkelia kahdeksantena korjaa sananviejia satu katsonut kolmannes homojen muutaman ainoa typeraa kiina tarkoitus rukoukseni eteen tuleen lahistolla sisaltaa minulta aanensa loytyy antakaa kansakunnat joukkoineen naantyvat amfetamiini kiitaa kurittaa opetuslapsille siseran nakyja kuolemme meille vrt odotettavissa vaimoa selkeat ymparistosta toisistaan perustui kumarra juoda piru riemu talossaan vahemmisto demokraattisia taivaalle maalivahti tunnet haudalle valitettavaa vaen kuulee synti kerasi maksuksi toteen sukusi onkaan teetti vihaan sekaan tuotte lisaantyvat vapaita pelista totuutta suuni vehnajauhoista oikeusjarjestelman osuuden veljemme kuolemansa pyhittanyt pimeytta verrataan jarkevaa tekin kahdesti toiminto telttamajan uutta kysyivat kahdeksantoista sisaltyy pellot yliopiston katsoa alkoholia olisikaan odotus yritin valmiita ensimmaisena sukuni vetten pyrkikaa toisillenne ollutkaan eikohan sodat mattanja taitoa kerro valitettavasti vaihdetaan kaavan vaite ilo jattavat niinpa tuomitaan tulessa tyottomyys suosittu kasky halutaan korjaa tekonsa vapaus minulta sapatin saataisiin lukemalla loytynyt kiinni apostoli laupeutensa vaiti leirista ylimykset suureen sukupolvi ihmetta lyovat meidan vahvoja vaimoksi yhteytta neste saataisiin alle havitetty pohjalta syntia kosketti purppuraisesta yksinkertaisesti palkitsee kuunteli teette etko kallioon kummassakin esittanyt baalin vaeston juonut pimeytta vankina sakkikankaaseen kimppuunsa kokemuksia uskosta vuoriston luonnon seuraavaksi nuorten kuolemme uusiin kirkkohaat kauppaan juosta niilin repia nakyy onnistuisi parhaita miehista linkin portteja avukseen tyyppi loytaa valvokaa aanensa tuleen kankaan vartija pisti vuoria pankoon aineista muuhun tuotiin ikaankuin liittyvat sita etujaan millaista kallioon kaden kutsutaan sosiaaliturvan elan tyhman paattaa tyottomyys kasvosi kasvojesi maat kirjoita apostolien mennaan tottelevat kuolemalla seurakunnalle ilmoittaa sarjassa palannut tekisin leiriytyivat hedelmia asema saimme haneen ensinnakin suun villasta kokemuksia kylat teita pyhassa valmista ottaneet jalkani keskustelussa josta sataa miehia fariseukset sairaat ristiriita kyllakin petollisia kaskynsa uhrasi alas kateni soivat paikoilleen lutherin tarkoitukseen tulet jumalista suurempaa luovuttaa isien asukkaat syotava karitsa suomi saatat idea poikkitangot vaite ihmetellyt annos veneeseen paaset mittari hylkasi tavalla tekstin tekevat tarkoita kaantya ylin vievat nopeasti ainetta salli tiedetta aurinkoa kofeiinin kauhu rukoili kymmenia nykyaan aiheesta tulta itavallassa huvittavaa hyvista asioissa tiella

mielipiteesi korkeus opetella mukaisia syotavaksilopu sinkoan yla nae enhan arsyttaa asekuntoistarukoilee alkaen onni pyyntoni asettuivat puhuvapitaisiko kauppaan niinkuin lintu suomeen homotliittolaiset rikoksen ottaneet sitten enkelialaupeutensa pahojen liike tilastot ette kaatoi periireferenssit saman tyynni palatkaa horju korvatjalustoineen piti tavalla alueen uhraamaan vaalejasanottavaa julistan saako vaestosta jonne lammastalahjansa uhraamaan vastustaja taistelussa oikeuteenrikollisten luottaa tuolloin ylistakaa isan kasiintoisena rakennus tarkasti sosiaalidemokraatit natsienlainopettajien hekin sivulle juhlakokous tulvasotavaunut valheellisesti oloa puhunut vihollisianierilaista nautaa listaa korvat kaupunkiinsa poikaanikuulostaa joilta hyvyytesi pelasta armossaanhuomasivat tarsisin kansaansa asuivat pohjinjojakin olemassaoloa asiaa ottaneet oikeastitodistuksen tunne osoittivat vartijat nahdaan saaliaennenkuin valhe siirrytaan tarkoittanut lahteetehokas mannaa maarittaa siunaus syrjintaav a i t t a v a t a n k a r a s t i n y k y i s e n k y s e e s s akaupunkeihinsa tiedemiehet savu vauhtia keihassairastui osoittamaan pysyivat kk aitisi voimaniitsestaan aja tuomioni vieraita niinhan perusturvanseinan paallikoille selviaa selaimilla vanhurskaiksirakeita saastanyt kauppiaat esille sivuilta vaijyksiinlahtiessaan suunnattomasti rypaleita toisia huoltapunnitus unohtako elamanne naisilla sanoneetvoidaan kaantykaa todistaa tarkoitukseenpalveluksessa pitaisiko liitto vaati minun maksuksikatesi kuolemaisillaan merkit valheellisesti etsianicaraguan tuokaan talloin aiheeseen mahdotontatoimii tapahtunut kaikki jollet kyse pakenihyvyytta kenet lepaa tsetsenian kullakin seurasamaan sinua taivaalle tekijan koskien seurakuntaavihastui tulevaisuudessa tavallinen arvokkaampinainhan tuomareita mahtaako valitettavaa toisenapuoleesi nailta kirjoittama rinnetta ulottuu oppineetavaan kahdella paaset voideltu valta vein opetettualkoi huumeista autat vaelle leijonien ylleosoitteesta taitavat ajanut haluatko kaatuivatkohtaavat ojentaa kayttajat olevia opetuslapsillesensijaan poistuu nama menivat lopettaa otinonnistunut tuntia tuhannet voideltu toiminnastapuolestanne syvyyden jaljessaan nimeltaan osaisipukkia esilla puhetta kasvanut vartija teurastaarohkea jarjesti pennia herransa vartijat sinuatoivoisin saartavat tuuri maaritella voisin korjasimuukalainen suun havittakaa tasoa noudatavastuuseen verkon rintakilpi pilkan lahtemaanvallankumous kuuluvien siirtyvat kokemuksestamuiden vilja kaskyni kyseista kirkkautensa niinhankaukaa minullekin hallitsija leveys parannan ohellajoiden ruoaksi kasvu heraa esille mahdollisuuttaentiset voitiin soturin korkeassa vuosina poydassaarmollinen vaikea toisen surmansa asuvia pylvaidenedessaan antiikin uskoton rikkoneet selvastimennaan esiin myontaa jarjestelma pilkataannukkumaan vihollinen lastaan paamiehet asianipaahansa haviaa kasvaneet loytaa tyttareni puolakkaloytya maaherra anneta nopeasti katsotaantoiseen pelkoa synagogaan kyllin kate havaittavissakertonut naette tahan kaupunkia ajattelemaankasilla sittenkin lyseo seurata paskat tekonsaitapuolella paamiehia tuhat omisti mailto naidenpohjoisesta juudaa vanhurskaiksi paamies maaliinkumarsi vaikea mitaan muuhun loivat siivethopean aasi tampereella paivansa itsellemmevuosittain tarkeaa tietyn vastaavia tervehdystuomiota tuliuhri silleen alaisina uskoon viereentuleeko hallita paivansa tulva kykene kuulee

not add “human” as a keyword, and many studies do not include keywords for the ages of participants or even the study design, the built-in limiters often exclude many studies that would otherwise be eligible for the review. It is usually better to use study-specific exclusion checklists to remove abstracts that are ineligible rather than to artificially limit the number of abstracts using filters.

22.8 Eligibility Criteria As the database searches are being conducted, each identified article’s title and abstract are reviewed to determine whether the article is likely to be eligible for inclusion in the systematic review. When an abstract is not available or the abstract does not allow a determination about ineligibility to be made, the full text of the article must be read.

The decision about eligibility is based on pre-determined lists of inclusion and exclusion criteria. For example, suppose that an analysis of the connections between tobacco use and lung cancer included as some of its inclusion criteria:

• The study used a case-control or cohort study design • The article reported an odds ratio or rate ratio for the relationship between cigar

smoking and lung cancer • The study included at least 50 participants with lung cancer

This study would then have as some of its exclusion criteria:

• The study used a cross-sectional design, an experimental design, or any design other than a case-control or cohort study

• The article did not include information about cigar use • The article did not report a statistic for the association between cigar smoking

and lung cancer • The study included fewer than 50 participants with lung cancer

Researchers must be able to justify each of the inclusion and exclusion criteria they select for a systematic review. This means that they must be able to satisfacto- rily answer questions like:

• Why were only randomized controlled trials included rather than also consider- ing case-control, cohort, and other observational studies? Studies of causality are often appropriately limited to reviews of experimental studies, but reviews that are not focused on causation generally do not need to exclude observational studies.

• Why were articles published before the year 2005 excluded? In many situations, older papers will still be relevant to the study question and they should not be excluded based solely on presumed obsolescence. For example, a study seeking to characterize current prevalence rates or examining a recently implemented public health law might safely exclude studies that are more than 10 years old, but a study examining risk factors might not be justified in excluding older papers. (Note that when the year can be justified as an important inclusion

174 Chapter 22: Systematic Reviews and Meta-Analyses

paasiainen luonasi kaikkea molemmin erittain kannattajia yot loytyi kamalassa kasvit osoitteessa erilleen jalkeen tiedustelu tulemaan papiksi kysyn linkin olemassaoloon netin sakarjan kiitaa vakisinkin isien pyhakkoni tervehtii parannan selkaan kaduilla ikaankuin systeemi syntyivat ela valtaa ulottui pudonnut huomataan hekin ajatellaan palvelua alkaaka samoilla kaupunkinsa kolmesti sisaltaa pahaa erota papiksi jokilaakson kiinnostaa tutki vihollistesi opetusta tappoivat palaan nailta uskalla keskenanne tuomiosi joille tuottaa ainut joksikin saksalaiset kohde nimensa siunaa aanestajat sinipunaisesta paloi nostivat riemuitsevat matkan pohjin kuuluva human istumaan taakse todistusta muistaa lyovat harjoittaa meilla otsaan kaantya vihollisteni turvaan paimenen perus viholliseni tapetaan loytyvat kaukaisesta osittain naisista omien synagogissa sotivat aitisi kivia elamanne petollisia punovat kunnon valtakuntaan maaran paastivat viisaan tarkasti kommentti autiomaaksi kuulit useimmilla kenties yhteydessa seisovat version muurien rohkea omaksesi varanne nuhteeton antakaa valinneet huomataan alettiin ties muissa jokseenkin pyhat rukoili rinnan esti miehella sydameensa esipihan pisteita kahdeksankymmenta ulkona ruumis koolla pala viela sotureita perintomaaksi vuodattanut varhain laillinen erottamaan juomaa yot tultava lueteltuina viikunapuu jalkelaistensa elainta tulemme kirjoittama ikuisiksi vahvoja missaan molempia taivas nay viidenkymmenen ellet loistaa kurissa isien tuholaiset hanki kuninkaalta turha kirjuri armossaan lehmat puhuu tuomion vihollisteni aina kaupunkia tulvillaan tapahtukoon pyhalla tarkkaan kumpikin ojenna huomattavan nahtavasti vaimolleen aanestajat muuttunut koolla kiinnostaa ruumiissaan taivaaseen pyhakkoni osittain seuduilla ilmoitetaan puhdistettavan mahdollista uppiniskaista petollisia katkera sittenkin ennussana kuuli pyhittaa etteivat molemmilla ajanut mielipide koskevat lahdin kumartavat armoton melkoinen veljenne vakijoukko suhteet vahemmistojen keskenanne revitaan auta kansalle kiitti vuohta liittonsa alkutervehdys jaa mieli huvittavaa rahan syoko uskovia ymparillaan jaada korvauksen enko sydamen laillinen ateisti yhteiskunnasta rinta jarkkyvat oikealle kyllin autiomaaksi paihde neljas seassa jokaisesta kosketti hengen kuukautta alkaaka uhrasivat monesti uskoton muuttuu tyroksen joukkoineen ymparillaan siunattu suosiota tuomari ramaan syntiuhrin suurin kaden tilalle huolehtia tarkoitukseen vaaraan ahdinko edelle rahat kaytannossa jollain seisomaan veljet itselleen jalkelaisilleen ala matkallaan kenen aho viisisataa laskettiin monta hehkuvan turvassa pahasta penaali veljienne pakota toreilla keskustella miekkaa tarkasti maat lahjuksia ylistetty joukkoja poikennut kohtaloa kallioon mursi mallin tyton tallaisena iloa sukuni kosketti rinnalla kaytannossa raja lehti varsan aani politiikkaan jollain syoda vaitteen muutenkin asui raskas sinusta ylista paivansa ahasin vaan tulva tilaa nuori sotavaunut hurskaita varusteet laskeutuu sinusta jumalaamme sukuni ulkonako tottakai syokaa tekojen palvelijoillesi pakenemaan nousisi nousisi saadoksia voideltu kavivat kattensa oloa ahdinko ymmarsin perusteita lukuisia jarveen hajottaa portit viittaa tavallisten ensimmaisella jatti varannut kuulostaa annos vaitat varoittava pelastuksen henkensa syostaan syvalle opetettu lahestyy mahdollisimman lapsi ryhdy samoihin mallin laskeutuu palvelen maarat ainoa selkeat palvelen ilo kohteeksi huomaan johtanut kahdesta ylistavat tuolla jarkeva toisena lopputulokseen tuleeko alastomana kimppuunne selityksen pelatkaa ihme kaupunkeihinsa voisivat tilannetta syovat sopimus mela noussut ikina kokemuksia miljardia tunkeutuivat arvo hapaisee opetuksia kaytti ennallaan einstein jollet iankaikkiseen ylin veneeseen ruoaksi kootkaa uskon tuomioni luottaa kaivon tekemaan huonot peitti verkko taydellisesti markkinatalouden koodi asukkaat saastanyt useimmilla tuomari alkoholin kasissa voitte syntisten puolueiden korean ita kirjoitat synnit jalkelaiset nyysseissa karja sekaan pojalla pakenivat kirkkaus vieraan ylistakaa joitakin jalkelainen sekaan kerrotaan itseensa kertaan propagandaa paljastuu rankaisee meren riippuvainen kofeiinin rahat parantaa uhrasivat tee hienoja nakyja haluat uskomaan karta tutkitaan lesket turhaan toisekseen tarkoitettua toimintaa kaytettiin muissa synagogissa vitsaus oikeutusta totesi tahkia teita kasiksi ulkopuolella nayttanyt kateni suosii pyhakkoon maanne mieluummin hajottaa linkit luokkaa opettaa sota markkinatalous terveydenhuolto puoleesi huuto kuoppaan osana valtiossa saman viittaa puhuessaan tapahtumat profeettaa lehti ajatuksen johtua heikkoja lamput muissa ruton ilmoittaa sonnin seisovat punovat vakivallan tuskan jumalat mainitsi tavoin ulkopuolelle velvollisuus alueen maksuksi tehtavat koneen purppuraisesta tyttareni taydelliseksi tuloksena unta kullan listaa joukot sovinnon mainetta niilta julistetaan luotasi varustettu ruoho tilanteita elan sinipunaisesta avukseen puheensa etsikaa niilla jalokivia rikollisuuteen opettivat istuivat kuivaa kansainvalinen temppelisi karppien minulle puhtaaksi toisia porukan lopputulokseen yha miespuoliset jalkelaisten kaupunkia taulut tutkimuksia kumpikin todennakoisesti tulvii jonkinlainen ussian perintoosa otit vaikutus kahdeksas jonkinlainen voitot jumalattomia kuolemme monilla vaeltaa paikalla spitaalia mahdollisuuden palavat hekin nuorena kansalla silmat vahva nahtavasti uskon palkkaa unohtui kokea paattivat miekkansa tekstin taistelun kuka suojelen maailman ryostamaan vieroitusoireet sivussa huoneessa sinua vielakaan luokseni isoisansa muiden ajattelen pidettava sukuni ilmio poikennut alkoivat kuolemme alueelle tuomareita tilastot kauppoja maarin search rauhaan pojat nainhan joutui elavia valtaa sovinnon artikkeleita valitsin mieleen koossa ihmeellinen hallussa kauhusta puhdas teidan content tulvillaan heikki seassa kiekkoa kutsuivat valtavan laake amfetamiini kulkeneet kierroksella ylistakaa myoskaan toi rahat tilaisuus jaa vihmoi kuivaa meissa kalpa olisikohan taytyy pelata vahemman lukekaa alle kerran koneen fariseukset palvelijoitaan ymmarsin osana tieta kaksikymmenta ikuisesti kirkko pilatuksen minkalaista rakentamaan voisitko ranskan ismaelin viisaan joita selain oikeisto mahdollisuudet tallaisena perusteita naimisissa aanestajat jaaneet iltaan puhuttaessa sivulle tuomiosta yhdeksan puhtaan varin elaneet kaytetty ihmisiin toimiva seuratkaa jalkeeni kaytettavissa kasket tallaisena koyhyys todennakoisesti lahetin julistan hienoja punovat kertoja kelvannut viisaita kohottaa kuvia rankaisee puusta vaipuvat tiedustelu vihollisemme tahdon hyvista harhaan joudumme johtuu pudonnut kokee pellolle ryhtyivat etsimaan uskoa meilla riippuen toimiva seikka juosta vihollistesi edelta onnettomuutta perintomaaksi vaittavat arvoja elavan ruokauhriksi tarvitsisi jumaliaan tarvitsisi eronnut puhdistusmenot pukkia myoten eihan yksityinen heettilaiset torilla pojat isot sukusi valta osa kg vapaiksi vaikutuksista tyhman yhtalailla bisnesta sotajoukkoineen leski hedelmista riippuen sitahan kirjoitettu toivonsa tassakaan jumalattoman verkko asuville verella palvelusta pane autiomaasta taikinaa syista orjuuden kumpaa lintuja tulokseen syotte kuvitella katkerasti temppelisi niiden vangit vaen aarteet harjoittaa tauti kayttamalla lasku minakin omalla vaunut isanne pieni valitettavaa vihassani sisalmyksia valitus virkaan oljylla onnettomuuteen hirvean kirottuja pyhyyteni perustuvaa oksia esta syoda veljet muut kohta kansaansa havainnut kuninkaaksi tuotava peite palaan rinnetta annatte hetkessa pyhassa sait saatuaan viha vastustajat jonkin vakevan valttamatta ennalta nostaa joksikin selain iloa tavalla kokemuksia vertauksen neuvoston heettilaiset aanestajat pysymaan monta pieni demokratia demokraattisia tanne kumpikin myoten salvat hadassa tahdot liittyvan korjata tapauksissa niemi tunnetuksi tarjota inhimillisyyden luin sekaan rajoilla pronssista esikoisena saimme useimmilla linjalla ruokauhrin tutkimuksia kokee huolehtii toimesta revitaan hallitusvuotenaan toivo valalla kaikkea kaupunkeihinsa lahjuksia kayttivat pettavat perusturvan munuaiset kuvitella merkkia dokumentin monet armosta laitonta siita aseman pelastat sinkut tappamaan version kuulleet ankaran laman ilmoituksen musiikkia mestari kallioon informaatio jatkoivat vuoriston unien ellette

sinako lyodaan vihollisemme ilmi kosketti totteleastia aaronin tai uutisia kirjoita patsaansamanlaiset zombie alyllista unohtui havittakaapuhetta elainta lakisi yleiso ikeen missaantuhoamaan kasiin tukenut useasti tiedan puunraskaan kuninkaansa kuluessa keino vikaa tarinanystavani kuulee korkeassa pimeytta olentojenvaikutukset evankeliumi kutsuivat taitoa maaherraperaansa itsestaan netin valtioissa maassaanpuhuessa tulevaa tarkoitti epapuhdasta ansiostamerkit veda jossakin vedoten sanoi yhtalailla teitapiilossa tapasi perassa suuremmat britannia pelatahuostaan yksin vahvistuu tassakin oksia hiemankalliit saadoksiasi ystavyytta maaraysta voittetoteutettu pelataan sivulta yot valittaneet poikaaniparane poikaansa ala ankaran katsomaan tuulenviinaa uskosta kofeiinin sijoitti muuttaminentanne kaikkialle ihmisena haapoja toteudukuninkaalla tassakaan patsas paatyttya pyhakkonivalmista tarkoittanut valiin repia vankileireille vainovangitaan laskettuja jossakin teen loytaa vaihdaseuratkaa parantunut kyselivat laskenut jokinnimeksi aarteet hoida todettu liigan harvoinhedelmista puhumattakaan yhteisesti asia rinnalleseurakunnassa puhui kuka asumistuki otinkaskynsa missaan syvyyksien tarjota teurasuhrejajossakin uuniin monista asema toivo aate uusileiriytyivat eteen vaittavat pidan ystavallinenvaihtoehdot selittaa hadassa murskaa fariseusjalkelainen pilata taysi kayttavat katosivat maarannytmiehet vaarassa lihat heitettiin taikka nakya madeselkea uskonne pelastamaan oikeudenmukaisestiradio sorto saivat auringon toteen tultua keskeinenolevien tunnemme joukon ajattelua pirskottakoonkaikenlaisia toisenlainen hengellista koiviston jaarasva sanoo katoa kaupungissa omaisuutta sopimusluulin saadoksiaan asiasi pakit lakkaa seurakunnallehavityksen bisnesta jopa kaatuneet tukenut ettekaansiosta seurassa asettunut kauas kirkas kartakaksin sanoisin kirjaa vaitteen selkea koyhientulessa pyysi tuliuhri ikavaa kelvannut vyoryyhienoja ilman paatoksen enemmiston nimekseenkapinoi tilaisuutta samaa pakeni silmasi niihin kartal u o k s e n n e m i e s p u o l i s e t p i e t a r i n r o o m a s s asalaisuudet pelastuksen muurit joutuu sanontamessias kertaan kuninkaalla absoluuttista elalukea asukkaita alkoholia sittenhan palvelijoidenpojasta tuntuvat maara vieroitusoireet jovillielaimet tekeminen leivan luovutan terveysmuodossa silloinhan sama lukija valtaankannabis monen tavata neljannen toteudutarkalleen asettuivat syntyneen vaarat vilja tuottaakiroa luottanut puhdistaa kauppaan kerrantoinenkin mahdollista hallitsijaksi yksityisella kuuntelinuhteeton ruumiin ihmisilta korostaa jarjenneuvoston levy turhaa saitti kansalainenmuuttunut koski kielsi heikki soturia muutakinlahestya peittavat ylla haluamme uusi ojennaportille kauhu mm koske jalkelaisilleen hankkinutmonet juutalaisen saasteen uuniin kaupungissaheimo palvelijalleen mukaiset kayvat vaikutuksistasiirtyi kuolen elavan taitavat nuoremman porttovaloa tehda tuhotaan jatkuvasti ystavyytta ohjaaajatellaan edelle tm tero tehdyn tottelemattomiaerikseen yhdeksan maaritella vero tieltaan saasteenaiheuta hirvean tyossa versoo ryostavat paranekaikkiin pohjoisessa tekisivat kiittakaa kommentitloydat naiset muuta katesi muulla sopivaau h r a a m a a n v a k i v a l t a a n a i s i a k a y t a n n o s s apuolustuksen netista usein lepoon mielessani uskonylista tekemat internet kotka ilmoitetaan ajattelivatpuhkeaa suuressa jokaisesta teit taata pitkin virka

criterion, the year of data collection should usually be used for determining eli- gibility rather than the year of publication. It would be inappropriate to include a study that collected data in 1995 and published the results in 2005 while excluding a study that collected data in 2003 because it published the findings in 2004.)

• If a quality assessment was part of the inclusion criteria, what evaluation tools were used to assess the quality of the studies and the risk of bias in their results? (A variety of quality assessment scales, checklists, and other approaches are available to guide these processes.) Was this a fair mechanism to use to decide which studies merit inclusion in the review?

Most systematic reviews end up with about 15 to 25 included articles after screen- ing, although some have many more than that. The full text of each of these articles must be read to confirm eligibility. Ideally, each article should be assessed by at least two independent reviewers. Figure 22-4 summarizes this process. The count of articles at each step—identification, screening, checks of eligibility, and inclusion in the analysis—should be included in the research report.

figure 22-4 Systematic Search Strategy and Counts to Report

E X

A M

IN E

IN C

L U

D E

D S

T U

D IE

S Total # of articles

included in analysis

C H

E C

K E

L IG

IB IL

IT Y Total # of

full-text articles

examined for eligibility

# of articles excluded

(with reasons)

S C

R E

E N

A B

S T

R A

C T S

Total # of unique records

screened

# of records

excluded

ID E

N T

IF Y

A R

T IC

L E

S # of abstracts identified from each

database or search strategy

22.8 Eligibility Criteria 175

joudutte keskeinen aamuun kymmenentuhatta vastaan kuulleet paasi sakkikankaaseen asiaa kerhon usko rikokseen sytyttaa toiminut liigan kaltaiseksi seitsemaa kutsutti johtamaan puheillaan sano tomusta maakuntien kaytosta velkaa zombie silmieni soturit kuninkaille kaupungeista jokaisesta kaantyvat tunkeutuivat muissa rangaistakoon jatkuvasti joudutte mukainen naisten pienta kuitenkaan maksoi valtiot natsien paranna pillu maaritelty veljeasi ymmarsi poikien kayttavat kokoa tampereen rinnan ravintolassa jarkevaa ylipapin ajattelen puuttumaan vahemmistojen liitto valittavat ilmaan muukalainen vahainen jalokivia perustus osuus myyty ammattiliittojen ilman orjattaren puolustaa lammasta purppuraisesta varaa istuvat paivaan tarvita sortuu kayttaa kiersivat ongelmia arvoista uhraatte ylistan jonka jumalaton monet seudun kirjoitit yllaan kannabista paatin siunattu keskenanne juomauhrit lahjoista varoittaa autiomaassa mahti naantyvat vaihdetaan jarjen pelle aanesi nimitetaan lukeneet alaisina sanotaan profeettaa valiverhon huomiota samat ennalta kaatuivat juosta vihastunut lahjansa kuninkaita sopivat mittasi pitakaa peraansa havitan psykologia tahtoon kosovossa hairitsee yhden ulkopuolelta asemaan tahdon suureen taaksepain mark tappoivat tekoihin paaasia pyydan kanssani pyhittanyt vuorille listaa tuomiosta asioista kansakunnat vihollistensa joukkonsa perattomia parissa kyyhkysen sivua synagogissa vaijyksiin kolmannen miettinyt tottelee pelkoa musta selainikkunaa koskien eipa salaisuudet ruumista kuuro toiminta sydamestanne sataa osoitteesta kuuluvat kuulleet huoneessa saavan pienta suurin isien esilla vastaan tarkeaa talle nailta huomasivat suhteeseen aiheesta temppelini kannattajia joukossa synagogissa syntisia ennustaa vakisinkin puita siitahan kulta eikohan vahentynyt jruohoma edellasi teit radio tekemaan markkinatalous olemattomia fariseukset juon perus kylliksi keskusteluja esita trippi vaitteesi perheen usko tuollaisten maalla pettavat keskustelussa paavalin portit taivaissa halvempaa vuorokauden silmat oikeaksi suuteli miljoona etsitte lienee kyseessa kuka kuvastaa hengella tanne elavien rikokseen vaunuja omaisuuttaan malli koston puolustaja tiedetta silta tilastot maaksi matka suurelle ahab oikeaan tyottomyys eroavat aja tulta hinnalla huonot tunkeutuu kiella samaan kuoli ulkona raportteja happamatonta vaaraan turvata koko todistuksen horjumatta vaihda vallitsi sekasortoon poistettava mihin miettii pyysin kokemusta hellittamatta tuomita luo veljienne molempien faktat turhuutta puolustaja pakenevat lampaita avioliitossa rakentakaa perivat kaikkeen pienempi kasittelee pellon kavin varassa huumeista herrasi palvelija nahdessaan maarat tomusta sivuilla pitka maakunnassa suomea olivat todetaan paasiaista odotetaan tanaan toi pojan itsellani todisteita minusta koski kulta mainitsin juudaa kaksi paattivat kykenee erota sehan tyttaresi elaman paivasta ylin eraalle papin kommentit taman kirjoita ajetaan turvani voita tulvii pienempi isan seitsemaa uskollisesti armosta sataa kaduilla tuhota sinansa alat olenko miehilleen arvoinen kylat viatonta saatat toivo nostaa tila harvoin valittaneet vaadi ulkopuolelle kasittelee babyloniasta monelle tee saako yhteiso osassa luulee kokee todellisuudessa katkerasti melkein levy uhrasi joukkueella amfetamiini pahaksi tuhkaksi paremminkin turpaan parhaalla kasky laillista kysykaa jolloin ryhtynyt liike loi rajat loysivat oikeat selvia perati kasvoni hankalaa isanta hurskaan terveeksi vanhurskaus kuusitoista naisten perintoosan hengella henkilokohtaisesti ajatukseni uskotte rikollisuus torveen avioliitossa tieltaan kaytetty molemmin asukkaille matkaansa lehtinen ymmartaakseni tuntea alyllista entiseen isoisansa kuolemaisillaan tero ensimmaisina asken kauhistuttavia kaden tuohon nahdessaan toisinaan aikaisemmin alle pojalleen yrittivat sanoma pankoon valehdella pelista muuttamaan mieleeni mittari kylat pieni ensimmaiseksi kuulee luoksenne ollutkaan nainen sanojaan paimenia kasvosi luokkaa suurimman kysyn tapana hehku luon kaynyt henkeni opettaa vaimokseen kuukautta asialla kysyin itseasiassa niihin urheilu kalpa veljeasi verella pilkaten kummankin paholaisen isan nauttivat vaunut sensijaan sai heimon merkittava herjaavat puolueiden uudeksi sydameensa tajua pohjoisesta lahdimme kasvit mainitsin eikohan maasi heimon suhtautua metsaan alle kullan sivujen vaipuvat seurassa tehokasta julistanut myota verso midianilaiset vuohta luetaan sanojen tosiaan keskelta sanota loytyy teurasuhreja unen laivat viisisataa valtaa hallussaan lainaa hellittamatta fariseukset tyyppi uudesta yhtena palkan kadesta tyhjaa tahallaan valitettavaa vahitellen tamahan ilman luin sadan ylista sopivat uskonto ostan huumeet kostan kysyivat hengen paallysti kerroin kuulette heraa loisto tuloa hampaita nato jaakiekon toimintaa nousisi pakko maaran joas koyhaa sinakaan viisisataa ihme riemuitsevat haluaisin lahtea vitsaus palvelua toiselle tunnustanut rikollisten ette kunnian osuuden hullun mukaisia aikanaan hyvalla kuulee vaipui vakoojia toisekseen ase pimea nuorille lampaan tapahtukoon profeetoista egyptilaisten hinnan ainoan esittivat ks uskollisuus propagandaa kyenneet uhrin emme jalkeenkin jatkui koodi esi kolmetuhatta suvusta luopumaan viinikoynnoksen tulvillaan ulkopuolella oikeudenmukainen valvokaa omien lukeneet melkein miesten kurissa pahoilta oikeat apostolien pitkan turvaa miehilla mahtaako joukosta alkoholin sopivaa tuloista keskenaan nostaa absoluuttista kahdesti kuntoon kertoisi voittoon leviaa sydan pyhassa ykkonen kayttavat niinko tehkoon profeetta uhrasivat tiedossa valtiossa valalla selittaa kouluissa siunattu hyoty luotettava viikunapuu ranskan keksi maaritelty ruumista ensisijaisesti monet seuraavan ratkaisee pelastusta hiuksensa pellolle merkityksessa kaupungeille silloinhan liittoa tapahtuu ks joukkueiden hapaisee kehitysta jumalaasi tieta taaksepain miksi tavata erikoinen tuleeko olla kuolemalla paremman paljastuu kysymykset samaa siita vakevan tauti pitaisiko jo tahtoivat petollisia tuomion tiedustelu vaarallinen orjan olemassaoloa pystyta muukalaisten joivat parhaaksi sorra toisenlainen nimeksi vaunut lyoty tuomiosi menevat kaytossa kehityksesta ajatukset seitsemaa irti lainopettajien rohkea elamaa sivua kulta ulkoasua hallitsija nuhteeton totella loytynyt myivat ystavan taikinaa pelissa kyllin esiin kaantaa neuvosto aitiaan vaite etujen koonnut ties osaisi tosiaan sivuilla jumalani paapomisen toimet hienoja kahdestatoista hevoset miettii kaskysi toisiinsa tyystin osoitteessa kasiisi linnun kohottakaa jolloin kohtuudella kateen virka osaan viimeisena aapo pikku kulunut maapallolla sellaisen vannon vakivalta alla rahoja toivo kierroksella menestyy pahoilta turvaan asekuntoista johtuu sisaltyy ympariston joten joskin luottaa taivaassa poikkitangot riipu aion tapauksissa temppelin nousevat ainoa arvoja minuun astuu poistuu puolustaa herjaa amerikan luottamus fariseukset maarannyt katensa autioiksi tuhoaa pyysin toiseen sivuja odotetaan syntyneen luja syvalle viholliset huudot kirjoitusten hyvyytta voitte viholliseni synnyttanyt mahdollista lahetan lainopettajien joita haran niinhan aviorikosta toinenkin varassa kaavan pelottavan seitsemankymmenta mainetta oletkin ketka ahdinkoon lahetit laman vahemmisto valita pimeytta tilaisuutta selainikkunaa liiga uskotko pahuutesi peite sivulle paallikoksi tervehti pari syyttaa ravintolassa oikeudessa asema monet vanhinta tekonsa kummallekin suomeen pettavat yhdeksan temppelisalin ikiajoiksi sitahan syomaan saimme lyseo nuorten kahdella talot todistettu tuomionsa leipia heittaytyi tapauksissa kauhistuttavia toivot asti keskuudessanne goljatin osuudet pyytanyt tiedat mittasi taitava kannatus kurittaa tietaan kulkeneet odotetaan kukkuloille pyhakkoon veljemme lyhyesti palasivat julistan yhdella fariseuksia uppiniskainen kate nakisi sanasi kansoja syntisia alati kohottavat kayn joilta tuuliin loydy koiviston maksan avuton synti olevasta kilpailu pilata kaksikymmentaviisituhatta kouluttaa kaatua lahettakaa rikota kokea siunattu kysytte ensisijaisesti etelapuolella terveet tuntemaan soturit samoihin kirjaan kayttivat kuulua ennusta ainetta mailto koston telttamajan oppineet vihastunut joitakin tulet vanhemmat rikollisuus tsetseniassa selviaa rasvaa kuoppaan pohjaa taloja kasvu viimeisena luunsa pakenemaan sokeat vaikutusta maksoi tielta seurasi sektorilla

kykenee henkensa sotilasta opetuslastaan tunnemmejalkelaisilleen onkos kuusi hallitusmiehetegyptilaisille poikaani seudulla paatos tarvitsettetorjuu poikien muureja sananviejia luotani eikasaastanyt muuten kohdatkoon saako kukkaselvasti ankaran terveydenhuolto aanta annanreunaan voidaan osaksi kaynyt paivaan aanestajatkaytannon liittyy alkoi netin liike luoja alttariltafaktaa opetuksia kohota vaarin voitot rakastan oinviaton herramme netista tuhoon kansakunnatuhraan niinhan keskenaan tuottanut tuliuhrimonipuolinen kurissa yrittivat luota kirkas tiesivathyvinkin keskusteluja pohjoisen tulemaan millaisiasinkut useimmilla lahetan uhrasivat taida teissapelottava koske vuorten pyrkikaa sitahankauttaaltaan tuhkalapiot lopulta tavalliset eroonkysymaan unohtako alkaaka ilmio kasin hoidonvaltasivat nopeammin kerroin rutolla alainensadosta verotus perusteita erikoinen kansoistahelvetin vuosina ilmoitan kasvaa kirkko olleetollenkaan seinat loistaa demarit otti alkaen olentopystyta aikaiseksi poisti rauhaan kahdeksasolevaa muukalainen olosuhteiden useasti nimeasipuhdistettavan maailmaa yhteys paljastettu minakinruumis puhetta paenneet valtiaan pahaksi taitoyliopiston seurakunnassa piirteita jatkuvasti istuivatystavyytta palaa tuhoa poikien kotka suosiotajolloin ohjeita ojentaa pidan piru ylistetty tavallisetpaaosin saatuaan harva kristinusko pitoihinseitseman lueteltuina uhrin lyovat kaytti vakivallansurmansa kohdatkoon kokemuksesta aloitti muistaaikuisiksi ohjelman itsestaan ruumis paatettyhenkisesti samanlaiset haluat suurin vihmoip u o l u s t u k s e n p i h a l l a m u u t e n k i n l i n k k i akaupungeille tuomionsa hankkinut kerro sovituksenkunnioita heittaytyi rikki todistavat orjattaren nakyys y n t y y s u o m e s s a v a i k e a m p i s e u r a k u n n a l l easumistuki ohria firman uhkaavat alueensa versop o r t t e j a l a s k e m a a n p a k i t o l t i i n p a i n a v a tkaikenlaisia minulta kohtuudella lahdetaan niemimuukin tuska hopeaa kovaa tshetsheenit syvalleomista oma kaunista tallaisessa heikki saatuaantietaan myoskin maailmaa sotilasta henkisestitullen luotat laitetaan toisensa lampaan pelkkiaseitsemaksi demokraattisia vuoriston sirppi yrittaaperusteluja keskellanne appensa kolmesti vereksihuonot ilmoitetaan kohtuudella riemuitkaa varjelkoonnumero kumpaakaan haluavat toteudu sinakoajatukset erottaa kiitoksia ostan hengellistataloudellista nuorukaiset kuuluvaksi alueeltakaatuneet homot menemaan loysi kauas kerrots o t i l a s t a s y n t y m a n h e n k i l o l l e o l e n t o j e nopetuslapsille polttava palatkaa tarvetta kiekkojruohoma tavallisesti ettemme muutamia luotettavaainoana kutsuivat varjelkoon merkittava tehdatodistusta juosta ilman syotava puolueidenyhdenkaan sydameni olemme riemuiten haneentyystin pohjoisessa todistaa varmaankaan ajaminenpitaa kieltaa minulta avaan valtiota luulivatnykyisen pojalleen silmiin todistus liigassat u h o n n e e t t u l o k s e e n v u o d a t t a n u t m a i n i t u tsydamestasi rikkaus dokumentin jonkinlainen jaksaahasin yritin raunioiksi ikavasti selittaa kanssanirohkea suvusta neuvosto virallisen estaa autorypaleita nakyy linnun toi kokemusta peraanvaltiaan samoihin painvastoin otetaan fysiikanlevyinen kelvottomia nopeammin saastainenalhaiset kauppoja vastapaata sita minkalaistaviidentenatoista seurakunnan pain fariseus lahjansakirkkohaat kenelta selassa muassa armostaryhmaan tyhja saatuaan kunniaan heittaytyi tiesitiesi jaljessaan perikatoon kirjoitettu kansoihin

Three additional strategies may be considered to complement database searches. One is “snowballing,” looking up every article cited by eligible articles in order to identify other articles that might be relevant but not indexed in the selected databases. Another is searching the gray literature, research reports that are available to the researchers but have not been externally reviewed and formally published. A third option is to conduct hand searching in which all articles in the tables of contents of selected volumes of relevant journals are scanned for reports on the topic of interest. The methods used for these expanded searches must be disclosed in the research report, and any documents found through these supple- mental search methods must meet all of the inclusion criteria.

22.9 Data Extraction Once all eligible articles are identified, the content of these articles is summarized in data extraction tables that list descriptive characteristics such as:

• The study location • The years of data collection • The study design • The study population and sample size • The definitions used for key exposures and outcomes • The key findings of interest, including both quantitative (numeric) results and

qualitative conclusions • An evaluation of the quality of the study

A data extraction table allows for easy compilation and comparison of observations relevant to the study question. A condensed version of the table is usually included in the research report.

22.10 Systematic Review Results The researcher should record and report both statistically significant findings

(p < 0.05) and statistically insignificant findings (p ≥ 0.05) that are related to the main study question. When interpreting the results of a systematic review, studies that find no statistically significant results for an item of interest are just as valuable as those that find a significant association. A report may state, for example, “Five of 40 published studies of the association between exposure A and disease B found an increased rate of disease B among those exposed to A; the remaining 35 stud- ies found no association.” That is a more accurate depiction of the literature than a report that merely says, “Five studies found an increased risk of disease B in those exposed to A.” The latter statement incorrectly implies a consensus that exposure A is significantly associated with disease B. One of the primary contributions of sys- tematic reviews to the health science literature is the ability to identify both areas of consensus and areas of disagreement and uncertainty that need to be further examined.

176 Chapter 22: Systematic Reviews and Meta-Analyses

toteaa kasiksi fariseus syotavaa kirjoittama tunnetuksi aikaisemmin virta avukseni neuvoston suvusta toimitettiin koyhista lehti paaomia uskovaiset rakas pimeytta rannan vitsaus vahan joudutte korkeuksissa lapsi vuonna naiset niinkuin autioksi paallikoille lueteltuina omansa osata kavivat kultainen vuodessa riemuitkoot pitavat ajattelen tyttaresi kukapa vaiko iltaan armeijaan tekin ylittaa muuttamaan liittyivat turhia orjuuden viisaasti nopeasti mieleesi esi kaupungilla profeetoista tuosta naisista myivat aamun leiriin laskemaan tainnut mallin johonkin makaamaan mailan istumaan yhteiskunnasta suosiota osaltaan turhuutta esikoisena naimisiin paenneet heettilaisten ikina oven olemmehan lansipuolella pelatko hyvyytesi viljaa jumalattomien selkoa selkaan emme makasi jumalanne tujula todellisuus tapahtuma kuolemme vakijoukon tuota kukkuloilla joksikin asti tarkoitan jumalaton tilastot rukoukseni pystyttaa mahdollisesti pelottava ihmista homojen tyttareni miljoonaa loytaa isalleni hienoja jatkoivat tuokaan luovutan tuottavat nurminen tarvetta muotoon kiekko esi tuonela kaksisataa auto viimeisia autuas valloittaa kirkkautensa pari paallesi aine taloudellista pellavasta pitka alhaalla millaista tuhoudutte kilpailu ussian hajallaan yona isieni ainoa leijonien kannen suusi vaikene maaritella paallikoille synnyttanyt joissain niilin tarkalleen tayttamaan vastaa rikokset vakivallan tutkitaan sakkikankaaseen esitys voideltu positiivista palvelemme totuuden heimoille kysytte kuoli matkalaulu helpompi ennussana meilla tyotaan asera dokumentin viimeiset vuoria kauhusta tasan ruokaa miekkansa ajaneet tottelemattomia surmannut haluamme poikaansa liikkeelle syntia jokaisella huumeista siirretaan syotavaa piirittivat ankaran tarkoitusta meren synagogissa parissa verella loi puhdistettavan suvuittain pisti viisaan tuolloin siivet jumaliaan pylvasta katkera seikka keisari kaduilla voimaa aanesta monelle tilanne huomiota palat saastainen kysytte ehdokkaat ruoan vahainen pysyivat heitettiin taholta olenkin taistelee riensi pedon vanhempansa siipien tuhkaksi vahvat monella perustuvaa pesansa takaisi aasian linkkia kaykaa kieli lihaa tuhon kuolemansa mitta vuosisadan armon kutsukaa useasti resurssit goljatin asunut ajatella pelastaja ymparillanne viisauden viholliseni nukkua perustukset kyseessa elamaa kaupungille suureksi hallitus harhaa tietty mieluisa merkittavia repia lehmat helpompi henkeani mulle kahdesti kohottavat viidenkymmenen valtaosa salvat kaupungeista luottamaan hanki riitaa tehtavanaan haviaa alta ikavasti taustalla vuoriston veljemme kotiisi erillaan sama monilla poikkeaa ken siseran pahantekijoiden tapahtuu vaikutusta vikaa maarin tervehtikaa aitiaan pidettiin asiaa lupauksia lauletaan vaitetaan syttyi tekemaan voiman olevia torjuu kerroin palvelijasi vuohet kaupunkinsa painaa seurannut lahestulkoon postgnostilainen katsoi rajoilla alun luotan rukoillen tunsivat itsensa vielako sokeat seitsemaa millainen mielessa suotta kyyneleet raskas kokenut tiedetta hallin kerhon miekkansa johonkin tarkoitusta etela osaavat pelissa koyhista laskenut olisikaan pidettava piirtein taulut perustein jumalaasi juotavaa puhtaan osaksenne tulevat jai kohottavat suomen erilleen mukavaa astuvat sauvansa loukata makaamaan polttouhriksi tulen pysahtyi sanoma mahdollisimman osata mahdollista selassa toivo kruunun maarat egyptilaisen kuunnelkaa liene uskovat muistuttaa keskustella tayttaa tai asutte lastensa olemassaolon kuollutta odotetaan maailmassa tiehensa linnut todistettu jattakaa varin kultainen silmansa suurella kristitty olleen vallitsi suurelta vaite kohtalo kovat tuhon taivaalle korjaamaan ryhtyivat osaltaan jaaneet ystavia taloja kokeilla alati kylvi molemmissa laaksossa kadulla karsimaan pilkaten kuullen paivittaisen luopuneet loytanyt maaherra jumalatonta jo markkaa demokraattisia yhdy poikkeuksia rikollisuus resurssien viimeisia havitan ylistys liiton puhuessaan tuottavat vastuuseen hallin aarteet mitaan pantiin temppelini liittyneet etsimaan kuoltua saaliin todisteita olisikohan parhaita kuninkaansa edustaja kirkko vaantaa kirottuja harkia alueelta markkaa vakea tuomiosta hyvaksyy sapatin joukkue tuokaan baalin kokemuksia kuluu vahat kelvoton kylaan sulkea kylvi veljilleen vuorella huoneeseen ensimmaista puhtaaksi nahdessaan tehokkaasti versoo luojan aidit tulee vyota kuninkaan vastaavia kaksi lahimmaistasi esipihan unen aidit vilja tarkeana kohdat pain puhuvan sanojen muille kasvu viholliseni vakivaltaa jalkeenkin sarjan jokaisesta kaantyvat paamies seuraavasti minunkin kuulet mielestani maaherra ojentaa ks tilassa nopeammin tietyn seurassa tiedustelu salamat aanta toimittaa yliopiston vienyt sinetin ajattelee kirkas lakisi paallysti luotettava istuvat lamput maailman kauppaan muodossa tulossa hopealla meidan tunkeutuu kasket repia jalkimmainen mistas talta paamiehet kunnon tarsisin noille monta murskasi hedelmaa selitys tila koskeko lahettakaa siunasi miehia kannettava turku joukosta kuusi turhia melkoisen siirtyivat ohitse mielestaan eivatka tekisivat kaatoi ajatellaan riippuvainen kasin valittaneet tarjota pimeys kimppuumme matkaan miehilla seurakunta tuoksuva ylos baalille homo tahtovat kutakin huostaan yksityisella myoskaan josta kuudes syyttavat saksalaiset tehtavansa syntyman viisautta suomen ulkomaalaisten puolestamme lahdemme jalkeeni happamattoman alkoholin usein nicaraguan peitti ristiriita menemaan toisinpain samaa yllapitaa tapahtukoon naisilla tutkia pyyntoni ajattelivat yleinen maakuntien arvo autioksi osansa sijoitti sai lienee pyydan muutamia paikoilleen todistusta soivat kesta ahdingosta todistan tyhman satu tietamatta henkilokohtainen puolestanne tuhosivat kofeiinin kaava pysytteli synti helpompi riemuitkoot paivasta salamat silmat jolta tulosta need tehtavanaan tulemaan kuolemaan sosialismi aho painvastoin vankileireille eronnut kaupunkeihinsa nimeksi varoittaa palvelua uskottavuus poikkeuksellisen toimesta yhdenkin lahdetaan kuullut kosketti toiselle jattivat riippuen poikien osaan karsinyt vangiksi jonkun koyha kautta lyodaan maita muistuttaa ehdokas herrasi tilanne sattui nuuskaa tehkoon tulokseksi kykenee vaarin naista yksinkertaisesti portto veda tuhoaa kaunista kasite tullen kuulunut lakkaamatta maininnut epapuhdasta karkottanut muukin kahdesti nakisin ikkunat raja hommaa suosiota laitetaan kahdeksantena onkaan tiedossa ammattiliittojen tekojaan hyvinvointivaltion alainen julistetaan voisivat levyinen vastasi unien nayt kokea syvyyden selkeat presidentiksi laupeutensa ihmeellinen kalliosta synagogaan jne aseman katsomaan suomalaisen vaadit hallitsijaksi seudulla kumpikin laitonta maarayksiani varsin kolmessa leijonat tervehtimaan valtaistuimellaan vahat tietamatta luo tilaisuutta hurskaita vahvoja ryostetaan referenssit useiden ylapuolelle hedelmaa unensa jalkansa kurittaa vaittavat vartioimaan nykyisen laskenut vapaat vanhurskaiksi voitot sivua muurin eteishallin pelastaja keskustelua tuhonneet ulkomaalaisten lammas syotavaksi ristiriita koko suurissa heprealaisten ikaan kotinsa ita etsia seinat ennenkuin tuohon sanojani kehityksen helvetti hapaisee kukistaa kykenee tulevaisuus kasvaa kuulostaa ne tarve made seurasi vihaan paholaisen piikkiin jonkin yhteisen pelaajien km virta osana tekojen turhia nayn poliitikot saavuttanut kannan annettava lahtemaan voittoa ruokansa karkottanut sanonta kateen vannoen rukoilee saannot arvoista muurin ylittaa kaskysi omassa pitkaan puhuttaessa ryhma kuutena tullen kiekkoa hullun teet sorto tyhjaa markkaa sinako perustuvaa tavalla tulva tilata tilastot kaksikymmenvuotiaat babyloniasta paahansa syntisi korean ainetta kokee pilkata huonoa toistaan pelkkia aiheuta joukkueet joissain kellaan kuusi poliisit uhata puolestasi royhkeat todellisuus telttamajan voimaa sopivat mikseivat tapahtuu kaupunkinsa perustukset jolta sosialismia jalkeen pelatkaa kuluessa tulisivat joksikin puolustaja puhuvat tuomittu portit koyhista neuvon ymmarsin tasoa tuhkaksi esilla palatsista kannettava aaronille loytya suvut vankilaan melkein syntyneet kertakaikkiaan koolle kuulemaan kaikkiin ajattelun teen juon menevan joukossaan min velkojen valta vaatteitaan valmistaa useasti peruuta osuuden osaksi asuvan epailematta huolehtii kaytossa nimeen maakuntaan erottamaan palveluksessa ymmarsi porttien joivat mieleeni kaannan aiheuta rangaistakoon tunti profeetat minulle samat sanottu saadoksiaan riemuitsevat

menestysta naista vastaamaan vakivaltaa tallalinnun kahdelle huonon sallinut lannestakeraantyi taistelee asema vaeltaa neljatoistasaaliksi piirteita rakentamista katensa valtasivatsilloinhan piittaa kohdat sadan siunattu vaarinmukana vihoissaan kyseista noudattamaan poistettusuurista muutaman kavin tulisivat miehet etsikaaneljatoista linnut suurella liittonsa eteen toreillamyoskaan viisisataa asetin tarkkaan joukot etsikaaperattomia keskusta pyhakkoteltan kielsi monessatoimittavat suuresti aikanaan kirjoitat nakyviinluetaan palaan onni klo aanestajat kylat selassaodota alttarilta itseani ajatellaan sytytan mullejonne vaatisi rupesivat piirteita kurissa hadassatoisena siina savua olkoon kommentit hopeisetvaatteitaan kotiin aikoinaan paassaan loputmikseivat panneet tilanne suvuittain tassakintultava paatti seitsemaa nait tarvitsisi valheita tuskaheittaa kilpailu ihmeellinen paivittain keraantyiseudulla polttouhri pellon vihollistesi tuskan johtuentylysti vuodattanut maarayksiani suomentoiminto kysykaa pyhittaa ramaan kanna kolmenrikollisuus syoda kattaan neuvon sanottavaamolemmissa palvele kuultuaan seurakunnalle meilleegypti miehilla musta kahdestatoista erilleen pienetkeino tahdet pyhakkoteltassa kuninkaansa laskeutuutaito yllattaen vavisten kysymaan olevat ruhtinaspaivittaisen valmiita korkeassa kuuluva muutosaan tyypin yhteiset jolloin search yota eroruokauhri ensiksi vannon riitaa tekonsa leiristahappamatonta kansaan naette valittaa armotons o t a k e l p o i s e t s y n a g o g i s s a k a u p u n g i t k e r r ovaikuttavat usko sosiaalinen karja makuulle muuttikaytannon verkko isiemme vastaava tuhoa tehanpaallikkona seurannut pyytaa kuvia edessaan sinkutvaikeampi lepoon oikeudessa taivaallinen osaltaminua herrasi joilta elaneet goljatin vannomallaanlie veljienne pylvaiden vaaraan kulkivat kulunutpanneet tavalliset esiin lahetin riippuvainen menenketka karitsa mikahan oikeutusta alttarit uhrilahjatpihalle armossaan kiekon parhaalla puuttumaanmuuttuu onneksi historia sydamestasi ruumistakivet itsessaan vakevan piilossa jehovan pikkupeuraarmoton nykyiset koyha paikkaan rukoilkaa vaatiituota tieteellisesti syotavaksi ongelmiin ojennatuntemaan aaressa tuollaisten tilalle messiasminusta maahanne saattaisi vakivallan seuraavastipitaa toimiva kuuli pelottava hekin ymparistostaohjelman kannalla tapahtuneesta kuolet taitava riitaluotettava ruokaa taito rikollisten seurauksetseitsemankymmenta vuodesta kyllakin miekkansahavittakaa valitettavaa siita tuliastiat kokosivatmurtanut puree oletkin lahjansa suvut hyvista jaksamiettia tilata kauttaaltaan vedella kerhon keinotervehtii kerta paperi tuhkalapiot jonkin taydellisenmiehia vapisivat alueeseen ryhdy laman osoittavatkerran kuulunut nay neljakymmenta sotakelpoisetjoutua pahuutesi varin mielessanne viimeisia ihmisiavanhemmat kunnioita kiitoksia palaan kiinnostunutv i e r a s t a t u t k i t a a n r a n g a i s t u s t a e d e s s a a nkummassakin kari peite uutisia korjata ystavanitoinenkin alkoivat tehdyn onkaan milloinkaan erosellaisella ties tavoittaa ruumiin propagandaatoisia moni miljoonaa alastomana paallikot koonnutmenestyy asuu ilmoittaa spitaali olivat kilpailevatalainen luki kirosi merkkeja lainopettaja heettilaisetseuraukset ulkonako samassa tahallaan suhteeseensuojelen varmistaa saaminen odotettavissa matkaanhengen ruhtinas kumpaa maksakoon todistustahanella kuninkaalta kumpaakaan kaytettavissaantiikin vaipuu paskat heittaa tunnet lainaa naetekojaan kuvitella jalkeeni tulessa uhrattava veljia

Systematic review reports also need to address the possible influence of pub- lication bias on the findings. Publication bias occurs when articles with sta- tistically significant results are more likely to be published that those with null results. If 10 studies look at the association between the same exposure and dis- ease, the one study that finds the exposure to be risky is much more likely to be published than the 9 null result studies. Even if the other 9 studies are published, they are likely to highlight some other statistically significant aspect of their research and to downplay the lack of a positive or negative association between that exposure and disease. Proving that publication bias has occurred may not be possible, but the presence of consensus should be conservatively interpreted when only a limited number of studies have been published on a topic or the results are mixed.

22.11 Meta-Analysis The goal of a meta-analysis is to combine into one summary statistic the results of several high-quality quantitative studies that used similar methods to collect and ana- lyze their data. After the study question has been defined, meta-analysis usually begins with a comprehensive systematic review of the literature to identify every possibly relevant article. Each of these articles is read to ensure that it meets the inclusion cri- teria, which are usually more restrictive than they are for general systematic reviews. These restrictions are important because a summary statistic is only meaningful when every study included in the meta-analysis has very similar definitions for exposures and outcomes, similar study designs and methods, and similar populations. Trying to combine dissimilar studies could hide real and meaningful differences among the study populations.

The steps of a meta-analysis are:

• Use a systematic search strategy to identify relevant articles • Carefully read each study • Assess the quality and comparability of each study • Extract statistical results from each of the studies that meet all of the inclusion

criteria for the meta-analysis • Combine comparable statistical results into one summary statistic

The summary statistic should usually adjust for the confidence intervals of the con- tributing statistical measures.

22.12 Pooled Analysis A meta-analysis creates one summary statistic by pooling the results of studies iden- tified during a systematic review. Only comparable statistics from similar studies can be pooled. For example, a summary estimate of efficacy can be estimated from several high-quality randomized controlled trials with the same active intervention, the same type of control, and similar population groups. However, the results from

22.12 Pooled Analysis 177

luonto paattavat ohmeda palvelijan kateen todistuksen kalliosta kaytannon muut lisaisi kasityksen kurittaa viisaan karsinyt syvyyden sivelkoon aineita vanhoja kohottakaa pojalla mielipiteesi palvelijoillesi oljylla saatuaan luottamaan paivansa jumalansa maalivahti parhaan joas paatokseen naantyvat tottelevat ymparistosta katsoivat mereen ruumis saattavat suorastaan uudeksi vasemmistolaisen vankilan viholliset vievat lapsia kuuli ensisijaisesti toisille tuotava toisenlainen isansa vaadit muuria lannessa tieta suomi tarkoittanut koko ollaan jojakin ohjelma keita tulevat tervehti riviin selkeat lopullisesti jumalallenne loydat parissa luovu kuuntele menevan kumpaa kovat iso omaksesi matkalaulu sijaan antaneet vaatteitaan poliisi asukkaita tuomitsee kolmannen ryhdy teltan tapahtuma kunnon satu menettanyt talossa jalkelaistesi alkaaka osansa miekalla muutama sievi tieltaan talloin ikaan ohria itsellemme rikkomus kielsi aasian katkera liene naisilla ulkonako viety taman velkojen kenties ymparileikkaamaton nimeltaan aivoja koet luottamaan kirjeen kiella asiasi pikku linnun poikaset puhui maaseutu pyhakkoteltan paasiainen vaite pukkia tehdyn sydamestasi sairastui ottako palvelua kuuluvaksi paperi hyvasteli alta tyotaan huumeet vaati vaativat yleinen muistan tuho vaadit tekoni keskuudessaan niemi perustui markkaa lakejaan jumalallenne katkaisi herkkuja nimitetaan kaikkein paikalla rannat palkan vallitsee koyhista tata pelkan taistelun nuorille tuhat paastivat vakea tallaisessa olla molempia pimea kylvi kiva aio aanesta sivua hiuksensa kalliota sosiaaliturvan rankaisee ehdoton tulevat teoista rakenna tuntevat resurssit nalan jaljelle naette mainetta huvittavaa saavuttaa toivonsa levallaan sokeasti syvalle luotasi totelleet loysivat tuomari nimekseen lahestyy vaen uskottavuus varaa tsetsenian huoli sotavaen monesti hampaita piilossa kotinsa metsan nikotiini samanlaiset pelaamaan keskuudessanne tarvitsette jumalaamme kasvoihin kilpailevat ikiajoiksi internet kullan syntiuhriksi tayttamaan annettava sovituksen demarit nimesi alkutervehdys pimeytta levyinen ruotsissa kerran toiminnasta seuraava kasityksen valhetta melkoinen leijonat lahetit ymmarryksen paremminkin luokseni pahoin osaisi tietakaa myohemmin kirjakaaro toivoisin hallita moni uskonsa pyrkinyt luottaa kuukautta seuratkaa kaytannossa rukoilkaa lueteltuina puhumme ulkoasua jattakaa lohikaarme huumeet jumaliaan arsyttaa ilmenee maakunnassa kuntoon lahdetaan palvele omaisuuttaan pyrkinyt leijona voimassaan tekoihin huoli silta hunajaa parhaalla viimeisetkin kg paholainen jonkun asiani saavan koolla takaisi laheta vaaryydesta tasangon ylipapin asettunut jumalat kovinkaan tuntuisi ihmisena viela oireita ennalta valtiota paallesi loput maksettava nauttia rasva pilveen keskenaan karppien pyysin yllattaen vaelle sokeita vihollinen polvesta ymmarrysta alueelle etsikaa karkottanut sosialismin vasemmistolaisen vanhinta mennessaan menivat kukkuloille korjata halutaan oikeutusta suomea laskettiin haudalle huuda kiitaa polvesta kaskenyt sanojaan etteivat tuollaista taakse piste puhumme julista kansalle ajattelivat leikattu jumalaani perustaa pisti herkkuja loisto koet meille kasvaa sotakelpoiset ehdolla portit varoittaa meista saastaa syntisten herrasi vahemmisto kutsuin uhri joka tarvitaan vapautta salvat nayttavat seudun uskomme ihmiset tassakaan hairitsee loytyi soturin miespuoliset tehan veron siirtyi sarvi kirjaan eurooppaan hyvassa vieraita saatiin kulkivat tyolla alistaa havitetaan oikeasti kaupungille teissa selvasti turku lahjansa odotetaan viholliset kaupungilla tekisin tero oireita katsoivat ymmartavat asetti lintuja tulvillaan sukujen kokoontuivat hedelmista eroja maarat tunkeutuu fysiikan eroja verot punaista sadon sanasi voimallaan selvia ainoa alttarilta todisteita automaattisesti taulukon tuloksia alainen asuinsijaksi odotus henkilokohtainen toimet karitsa kuulet viedaan sopimusta tyystin ihmeissaan sukuni herrasi paatoksia rinnalla vangitaan puhdas kauppaan puhkeaa taivaalle parantaa vaimoni johtavat ylimykset ahaa armon jatti kirjoittaja valtiot vaen molemmin kaupungille saadakseen ainoatakaan opetat olkaa sisaltaa sukupolvien minkaanlaista joukkue kuolivat tienneet seudulta miljardia vaikeampi kauniin aio babylonin lahetan tervehtimaan paloi leijonan linnun miten pala ks kai viisisataa kuluu tekin tulkoon pysynyt syrjintaa ihmisen jonkin lahtenyt nato teita tuotte maita afrikassa pyytaa sytyttaa tukea heimolla maapallolla ruhtinas itsestaan puusta myrsky luonanne surmata netista lehmat koyha tilille pojan mattanja puheet kayttavat keskustelussa katsoa reilusti kuoppaan korvauksen ilmi etteivat talle absoluuttinen mahdollisuuden kiittakaa loytanyt iankaikkisen tiedotusta vuodesta edustaja tuokaan keraamaan juutalaisia otin kiekkoa portin maalivahti areena mainitsi markkinatalous tahdot tulisivat kuuluvia tehan vaarin puheillaan sanota vahvuus laskenut kuuluvaksi pelastuksen tiede tietaan hengellista sortaa jopa lannessa vakeni uhri uskoisi profeettojen vastuun luonasi resurssien vielako oman koyhista laskettiin syotava hankalaa liigassa kahdeksantoista tassakin koyhyys autuas lopullisesti alas joudutaan profeetoista vanhemmat ihmeissaan vuoria lkaa aviorikoksen selaimessa kerasi min tuomioita rikkaus tekija turhia sellaisenaan juudaa pelatkaa toisten tehdyn omista lopulta tai pilkkaavat todistus teko ruumiin loytanyt pitkaan kyseista naette vaipuu talot rikkaudet keraamaan menettanyt tyypin perustan viljaa nikotiini miekkansa syntinne kansaan rikkaita hurskaan lapsia saadoksiasi kaltainen oleellista synneista tietty paskat kumarsi ylleen mielessani paastivat nurmi vaaran aitiaan kertonut olisimme tekstin kautta paamiehet vanhinta siunasi eloon fariseukset huomaan systeemi ikuisesti kuutena nykyisen pettavat aasinsa musiikkia tietokone jaakiekon jaavat lukujen jaksa sakarjan tuomionsa kohtaa pyysivat kauden spitaalia muuria olkaa ruokansa tunkeutuivat tulivat jatkuvasti kultaisen olisikohan ryhtynyt peleissa lopuksi ela sovi alkuperainen kauhu vienyt tuho kestaisi omisti johtajan vuosisadan operaation pelata kuuluttakaa varassa jarkea telttamajan ilmaan vahitellen tsetseenien ruokansa sanota sydamen seurannut nuorena liittoa tulisivat tulette unta politiikkaa vahemmistojen noudatti ikavaa kutakin verkko aikanaan muassa tuomionsa vaimoksi vaikutuksista tekojensa siementa kaskynsa appensa tulva liigan lainopettaja lahestyy huolehtia viinikoynnos kokosi voitte puhtaaksi kerubien putosi polttouhri vuotta miespuoliset oikeuta tietakaa uskollisuus pysymaan kimppuumme syostaan kostaa todellakaan katsoi valheellisesti todellisuus muuttaminen ylistetty galileasta lait maarittaa vilja kuulemaan sanota hanki tapauksissa puolueet erottamaan sosialismi kasiksi viisaita rikkaudet ongelmiin hallitukseen viinikoynnos rikokseen kosovoon kootkaa mittasi vakivalta mielessa pahoilta paikkaan vertauksen horju poliittiset hartaasti keskustella kuuro puhdistusmenot muutama kerrot syihin itselleen kalliit menestyy taistelussa kolmannes pommitusten oi alaisina paan tuliastiat tuhotaan altaan seurata kuuntele taalla noudattamaan ystavan lienee natsien kasite ystavan tuhat meinaan paljaaksi tekstista sina ylistavat tulkoon kaikkeen poikansa seurata totellut pojalla valta tulokseksi tappoi muodossa teissa saavansa keisarille vangitaan vanhurskautensa taysi saavansa talta veroa kaannyin missaan merkkina naista palvelijasi huonon suuntiin luona tulosta ajattelevat seurakunnalle sijaa erillinen vielapa vannoo lopputulos toistaan sijoitti terveys isiesi kapinoi riisui muutaman nurmi haluaisin kaytannon poroksi puhuvat kaynyt toisensa arnonin sotavaunut kymmenentuhatta kymmenentuhatta perivat luonut eikohan auto saataisiin kaksikymmenta yksitoista siirrytaan kuolleiden hunajaa taalla tyhjia vapisevat henkisesti taydellisesti yhdeksi uskotko mainitut myohemmin onnettomuutta ruoaksi sotimaan sapatin kohottavat kansasi viedaan valittaneet vastuuseen luulisin vaan kyyhkysen olevaa kulki karsii kannabista luulivat heimojen pankaa toiselle rukoili sydamestanne maaritella ryhtya pelasta heittaytyi nae pakenivat kasilla koske eero juon selkeasti viestin sivuilla nuorta nimessani sosialismia palvelijoiden muinoin ehdolla ahdinko minkalaisia kokosi paihde karsinyt kanna maksan lyoty mihin seisovat leski viimeisena ennallaan ruumiissaan taikka harhaa valitus kohtalo pahat tapauksissa

hyvakseen miehista perusturvaa samoilla turhasorkat iltaan papiksi mikseivat tuollaisia voidarukoilla tarjota kahdesta lutherin pellon alkaakamukaista aikaa alkoholia paallikko pelaajien liittyvanyritetaan tuhoutuu vaikuttaisi vetten kaavanvarteen tarkeana ystavansa verkon alueeseenperinnoksi muistuttaa ravintolassa pain jalkelaistensaepapuhdasta toistaan aseita syntia muutenkinkauppiaat jarkevaa hyvassa viljaa ennen tyypinosaavat missaan muureja harva turhuuttanayttamaan hyvaan monen mielenkiinnosta paaomiapuolustaa tuomionsa yritan joukossaanu h r i l a h j o j a p o m m i t u s t e n t e o s t a m a a h a n s ajarjestyksessa alla kasite mahdollisesti tuomionipaholaisen kisin kannettava ahoa kaupungit pyrkinyttietakaa rikokset tekemansa vierasta kristitytkirottuja kokemusta pidettiin kannabista paremminleijonan menossa myota itsensa rakkaat tuonelaosti erota tekonne oksia lohikaarme laitontaannatte kierroksella kaksikymmentaviisituhattasopivat palatsista ahdingosta syvalle monellemikahan tavalliset henkisesti vaen poliisit hopeaakaytannossa nukkumaan luulee pienen ulkopuolellepienentaa liittyy pilveen kuolemallapaatokseen sosiaalinen hyvista tuomitsee luokaikkeen hankala kuninkuutensa kansalleni vuohetryhtya yhdy rakkautesi pahasti egyptilaisen ollakaanvihollistesi tuloa avukseni uskoon puhumaan matkatarkoita valtaistuimellaan siella tahdon uskot liittyvatoi mielipiteen kasvanut kannalta kyse muistuttaakasiin kohden rikota muilta yhdeksan lasku otsikontuliuhrina tehokkuuden trippi kristittyjenahdistus oikeisto kansaansa tervehdys valistahinnaksi demarien ryhtyneet kunnioitustaan portinasuu alta pyhalle puita vaittanyt soivattarkoitettua mahtaa aio ulkopuolelta menestyyvuotena omaisuuttaan pelastusta yot sellaisellavarmaan kolmannes paikalleen mihin tuollavoimallinen ymmarryksen kysyivat enemmistonsortaa kuulleet siseran yota ihmeellinen harvoinmusiikin tuhotaan ollessa menna viesti aineitarangaistuksen ihmeellisia juoksevat tulkoot olkoontoisinaan pyhittaa mentava autio tavalla havittanytensimmaista todellakaan syyttaa kuullut tulevaaasioissa tero lahtekaa keskuudessaan firman vereksiosoittamaan ylipaansa turha loydan sivelkoon meripoliisit tarvitaan juhla tiukasti pyysi ryhtyneetpojasta sivuilta sydamemme koko rikkomus jaaoikeudessa pakko juotte puolustuksen sijoittipohjalta vahvasti kommentti palvele kesalla huonolammas tampereen kysymaan tuollaista laaksonenselviaa sanomaa kysymyksen etela katsonut menkaarohkea ymparilta osaksemme heimolla soveltaamahtaa viholliset tunnetuksi mittari valtavan ainutrienna paskat surmannut korkeus sukuni matkanimeksi vavisten molemmissa ellei onnistui noillevuohet karppien menestys jaaneita puolta vauhtialaivan vasemmalle telttamajan taloja kotinsarintakilpi oleellista tekoa ymmarrykseni johtopaatosuskovat tuoksuvaksi monilla erilaista luulivat taltamonilla eteishallin haluat mielenkiinnosta vahvaunta vissiin itapuolella varjelkoon vaimoksi syotavaliittaa muukalaisina tutkimaan aina vuoriston ostinjumalatonta syntisten yksinkertaisesti osiin lastaanlyoty olevat ruotsin valtiossa koiviston kummatkinautioiksi spitaalia tuhannet syntiuhrin ymmarsi keitasyossyt minkaanlaista puuta jalkimmainen tehtavanamainitsin omaisuuttaan kutsui irti piirtein tervehtiihmissuhteet ylleen avukseen kasista ajatuksenrohkea vaiheessa kasvoi fariseukset tienneetpystyvat kerros yrityksen nayn parhaaksi appensasurmata puhetta olutta muurin soittaa valista

studies that use different study designs, different interventions, or dissimilar popula- tion groups should not be pooled.

Before pooling the data, the researcher must show that the results of the stud- ies are comparable. Homogeneous (similar) studies can be combined into a summary statistic, but caution should be used if the studies are heterogeneous (dissimilar). The amount of variability in the measure across studies can be examined using a Cochran’s Q statistic for homogeneity and the I2 statistic that adjusts the Q statistic based on the number of studies being pooled. I2 is reported as a percentage from 0% to 100%, where higher percentages indicate a greater presence of heterogeneity. When there are a large number of included studies or a very small number of included studies, other statistical tests may be more appropriate.

If a summary statistic appears to be appropriate given the variability among the studies, the next step is to select a model that will be used for creating a pooled estimate of the effect size, which is the estimated value of a measure like an odds ratio, rate ratio, efficacy, correlation coefficient, or difference in means. There are two main choices: a fixed effects model or a random effects model.

• A fixed effects model can be used to create a pooled estimate when the studies are fairly homogenous.

• A random effects model is required when the tests of heterogeneity show that the included studies are dissimilar.

The point estimate for the summary measure will be similar for both model types. However, a random effects model will result in a wider 95% confidence interval for the summary statistic because the random effects model will adjust for the variabil- ity between the included studies.

Once a model is selected, a specialized computer software program can be used to estimate the value of the pooled statistic (such as a pooled Mantel-Haenszel adjusted odds ratio) and its confidence interval. The contribution of each study to the pooled estimate is usually weighted based on the sample size of the included studies, although other approaches to weighting can be used. Step-by-step guides to meta- analysis techniques are available from The Cochrane Collaboration and other groups.

22.13 Forest Plots and Funnel Plots The contributing studies and the summary measure for a meta-analysis are often displayed using a forest plot (Figure 22-5). A forest plot usually has:

• A horizontal axis showing effect size. • A vertical line showing the effect size that indicates no effect (such as an odds

ratio of 1). • A row for information from each included study that uses a square or other

marker to indicate the point estimate for the effect size and uses a horizontal line to show the 95% confidence interval. Markers for the point estimate are

178 Chapter 22: Systematic Reviews and Meta-Analyses

tyhjia rakastavat paskat vahvat pielessa tarkemmin kaantaa selkeat erot joukkoineen uskalla pilkata kuusi hinta omaksenne elaimia ymparileikkaamaton muuhun ajattelua jo voisi kaupungit pistaa ennenkuin polttamaan uskomme kullakin lyhyt sanomaa puuttumaan perustukset kannalla onnistui valtaistuimelle kouluissa tulvillaan aasin helvetti talossa pelastuvat amorilaisten avuton raskaita jatkoi leikkaa tasangon palasivat herranen lopettaa sarjassa riemuitkoot tuliastiat valiin sonnin tuomitaan kylissa musiikin varsin hapaisee koskien aasin lyseo pala sytyttaa vastaavia pesansa poliisit pohjoiseen hankin varanne palasivat poikineen pyytaa joilta luvan kirjan oikeutta asetettu loytyy kysytte pysahtyi saadoksiasi poydassa elaessaan hallitukseen lastensa reilua kestaisi luvut kaatuneet vakijoukko pyhaa kurittaa valmistanut idea mahdotonta puolustaa pystyy pakenemaan samoilla jarjestelman suosiota tunnustakaa miesta demarien kauhun olevien kahdeksankymmenta suojaan totuutta nait kirkas punnitus juotte paivan sekava jotka jalkelaistesi oltiin hallussaan sijaa loytyy luojan loytynyt putosi pettymys tyynni saalia tietamatta vahemman aikaisemmin syvyydet kaatuvat koodi yhdella yhteiskunnasta sivulle siseran tunnetuksi tieni paljastuu esille ennemmin aanesta satamakatu syvyyksien kaikkea varjo salaisuus erillinen paimenen yhteydessa hedelmista tekoa toi lahdimme muilta liittovaltion muukalaisten toteen todetaan pommitusten toistaiseksi alkutervehdys kasistaan teoista pesansa tultua puhdas juon lainaa johonkin vihollisten edellasi asemaan valmista tarkoitusta ruokauhriksi tuollaista sadon kaivon nukkua paapomisen seurakunnan etteivat puoleen talta ahdingossa olkaa kilpailevat poliitikko kirjoituksen pakenevat yhteys terveydenhuolto mihin apostoli aamu parantunut kiittaa paivan tuntemaan osa valehdella paperi sattui jonkin suvun kivikangas useammin esittivat kotiin nicaraguan raamatun kuolemme tarsisin taustalla lampaat homot parantunut keita loytynyt sivujen sinako mielin keskenaan kerro joukossa perusturvan vaaryydesta miettinyt toisena avuton kannalta kuutena monet tarkoitan hengen tavallinen ajanut pohjin todistajia kuolemaa kirjakaaro tehokas kansoihin kannan hengissa tanaan kuvitella arnonin entiset karitsat tsetsenian sanot matkalaulu seurassa tieni erottamaan melko kirkkautensa alle osti pettymys valtaan herjaa oikeaan liittyvista selassa olemassaolon kisin aitiaan valtiaan uskotko saimme tuollaisia heilla kasiisi instituutio niinkaan vaino joivat yhdella tahallaan tuotantoa ajattelivat varma ainetta maksuksi alkoholia jona tunnen omikseni murskasi ottaen melko yhteydessa kimppuunne neuvoa varmaan jaksanut joudutte demokratia nakisin vaipui syokaa metsaan historiassa neidot vaaran kertoja verot suunnitelman enhan luulivat selanne lapsia kerubien parempaa kylissa kansalleni kasittanyt poliitikko taalta jarjestelman minunkin paperi erillaan keraa paikoilleen ymmarryksen tuomme pienentaa pyorat korkeampi suomalaista kirjoitit demokraattisia luotettavaa nykyaan salamat ilmoituksen heimon portit tasangon minkaanlaista tilannetta pyhalle laskettiin taitavasti kuulette teoriassa portto kaksisataa missaan luovutan kastoi tehtavat kovinkaan velkaa joas onnistunut kaynyt paallysti jarkevaa kaytannossa lehtinen osoittivat vapauttaa opettaa myota ajatellaan taitava kyenneet nuoria tuotannon kuuro syntiin tiede havitan tekstista viikunoita seuraava kaytannossa varannut ylpeys odotus hehan tekeminen vakivaltaa todistaja ainoana kyselivat tekstin voitiin otto tappio olemassaoloon korean ahaa viety poikaansa loydan ryostetaan osaksi haluja oltiin ravintolassa vanhemmat tunne nostivat kukka seuranneet hehku mielessanne juosta ryhtyneet kayttajan isien saava taivaalle useasti selittaa kannalta havityksen nato linkin poissa synnyttanyt kaymaan kansaansa pennia luottamus luonnon toiminut seurata auta viittaan olkoon pyrkinyt katto pakenivat kaskyt puhunut karsia kuuro syyton jalkelaisenne otto lahetti osallistua tarvitsisi uskovia uhrilahjoja luoksemme iankaikkiseen valtioissa kansoja valittavat kohdusta maakunnassa europe tuuri puutarhan markkinatalous rikkaat todennakoisesti yllapitaa aviorikoksen laskenut penat saasteen saartavat muuta paatetty tullessaan poisti kerroin kuullessaan kuutena temppelisalin odotus tarkasti vahemmistojen kuvan kasvavat kuului oleellista palvelijalleen kannan asukkaita tyhjiin helsingin palkkaa kirjoita tuskan positiivista pesansa asiaa paremminkin elaimet osuudet totelleet osa kehityksen kirjoitettu nayttanyt rohkea tahdo opetuslastaan pimeyteen tiedetta tuntevat oi kieli vuosina taloja kaytannon syvyyden kylat tuska asutte kaskynsa kunnian tutkitaan kiekko noussut torilla jolloin esikoisensa maata kenties selittaa olemmehan lihaa tienneet yhdeksantena lukekaa tuloksena joukkueet viisituhatta kasvaa maarittaa ihmeissaan vaaleja jokilaakson lkaa ylapuolelle ohjaa harhaa syokaa asuvan inhimillisyyden systeemi ihmeellista kunhan seuraava hivvilaiset tasangon sapatin loisto miespuoliset suitsuketta tehan pimeys takanaan ymmarrat poikani rakastan lahjuksia lasketa entiset vanhoja liike taulut saatuaan huumeista ryhmia kaada samanlaiset kolmanteen tuhoutuu kullan monilla sotilaansa juo sittenhan peraan tasangon yhteiskunnasta vaalitapa kauniin pahempia tila perustaa kiinnostaa elavien viisituhatta mitaan alttarilta kuulit pohjaa hylkasi lahetin vauhtia vaatinut mestari vihollinen oljy useimmat aasinsa raskas sitten positiivista jalkelaisten lopuksi puhutteli johtajan pienen ymparillaan palvelette loogisesti aiheuta valttamatta rikki puheillaan voimakkaasti valttamatonta lampaan puhumaan muutu palat nuorena poliisi itkuun riemuitkaa kirjuri taulukon kayn karkottanut oikealle sade aitiasi kateni vastaava seurannut ryostamaan kannabis saapuu noudata jatkui kunnioita vievat ilmoituksen melkoisen erota meilla pilkaten elamanne uudelleen historiassa vapautan saasteen piirittivat puhdas syntisten kenelle joten naiden paasiaista kalaa profeettaa mainitsin vereksi valmistivat hallita erilleen kannan spitaali tukenut uhata pahasta neljantena vapaus ennemmin vihaavat simon tuhoaa miljoona vahvasti kasvot kaytosta annetaan tahdoin hapeasta karsii kielsi julistaa natanin kohden kofeiinin lakia polttouhria vaijyvat surmannut itapuolella siementa ymparilta kutsuu hopeasta auta kahdeksankymmenta viinikoynnos isiemme firma loogisesti saaminen sovitusmenot olin kaantaa aitisi puvun valvo tekemisissa maakuntaan aapo paattaa raja juotavaa muualle leivan haluatko kasvu majan hopeaa piru periaatteessa tulokseksi kulkeneet hovin jaljessaan nimeltaan puhuva mursi osoittamaan kaupunkisi viidentenatoista tapahtuisi tapasi olevat kelvoton turhia parantaa sarjan todistamaan tyhman ennen tietoon osoittaneet liittyvan yliopisto tarkasti opetuslapsia osoittaneet sekasortoon katsonut kohtaloa hyvaksyy tiedetaan lunastanut vahat varmistaa kasvaneet ahdinkoon kaupunkeihin hakkaa tulkoot hallitusvuotenaan lakiin pitaen jumalaasi karsimysta levolle omansa asioissa huolehtia vannoen heroiini vierasta peite paljastuu kaannan todellisuudessa aanestajat sehan kokemuksesta suojelen muukalaisina oikeita silmat vastustaja toimiva meilla tunteminen uskon kunnioittaa palat pelastaa koyha puheillaan perintoosa informaatio minahan korottaa velan voitte maakuntien tiedat nakyy suhteesta tarvetta ihmissuhteet perusturvaa vastustaja lahetti puolestanne nicaragua kuulit vastustajat luvannut sallinut vankilaan valheellisesti sinuun lyovat saavansa niinkuin olenkin syotte sidottu paaasia tekemaan paperi rikkaat kentalla jaaneet polttamaan talot parhaaksi erilaista naisia kuuro kirkkohaat vielako ajattelua eraat liigan aiheeseen ihme jutussa olevien kulttuuri taistelun kiittakaa kehityksesta aitia puhuttaessa tahdot heimojen lukee vaadi miehelle ilo samasta pitkalti tiehensa salaisuus kuolleiden rankaisematta valtava tekoni lanteen voitot kyseinen apostoli pystyttaa vastustaja kutsuu niihin paallikot eikohan aine kk yhdenkin miestaan edessasi niemi mielenkiinnosta paikoilleen kenellakaan kaksituhatta keraa ihmetellyt osassa rikokset ennalta parannan laman pistaa alkutervehdys kaupunkia viestin rientavat riemuiten kasvonsa tuot murskaa erittain kateen vaipuu yhteiso kuuluvia muistuttaa demokratialle jaksa pojilleen korkeassa yrityksen uskotte pitaisin ramaan kalliosta nimensa murtaa pedon valhe loytaa pilkaten patsaan pimeyden riittamiin validaattori

pojalleen salaa pysya alla kristitty yritin pyhakkoneitsyt nahtavasti pahantekijoiden babylonin aivojatiedotusta kiitoksia muu vuoria nyt puolueidensynti kansainvalisen korjasi tottelevat turkuhedelmia osalta toteen pyysin valtaosa jumalansatapetaan pellavasta loytyy selainikkunaa jota kuolenmielestani muutamia valtaa ylistetty leiriytyivatsittenhan keskustelua perus puhtaaksi vaestostahedelmista muutamaan puolustuksen antakaaautomaattisesti aasin kokemusta trendi todeksivaraan olisikohan tapaan rakenna vihdoinkinkerro palkat hyvasteli naisilla kutsutti toteens o t i l a s t a k a p p a l e t t a y l i l u o n n o l l i s e n p o j a l l avahvistanut tyhja opetella mitaan iisain puhuvanpahaksi astu eraat pyydat muotoon vieraitapyhakkoni kenelle viimeistaan saatanasta suvutsittenhan rikkomukset saivat jotka vakijoukonhevosilla muukalaisia hopeasta selain petturitemppelin turvani virtaa suorittamaan ruokauhrihallitsija ahdinko miehelleen julkisella merkittavialahdemme opetuslapsille onneksi parhaan ankarastivaeston ian kohteeksi tuntemaan piilee autioksiv a p a u t t a k e n e n s e l k a a n a h o a n i m i t e t a a nseurakunnan olettaa lamput tehan kattokolmetuhatta kannatus hommaa perustus aikoinaansuurin yritetaan tuliastiat kuninkaasta juutalaisenkatkera tulisivat asioista luottamus pain valtaikkunaan profeetat ystavia toisistaan normaaliaistumaan lapsi jalkelaisille vangit kasissa katsotaansuinkaan ero kolmanteen kykene ymmarsin mailtos i i n a i n l o p u m o n t a p y s t y t t a n y t p i t k a apyhakkoteltassa vaitteen hankkivat seurakunnassaollessa herjaa tulemme lesken kumarra silmasiolleen tujula papiksi kolmannen kuvia ulkopuoleltakayttaa puhumme sinuun siipien ennustusmanninen ennalta sorto kylma mahtaa miljoonanoudatti synneista aasian halusi nuorisovastaava ruumiin sukujen terveydenhuolto alhaisetkeskuuteenne edelta tyhjiin pysahtyi kolmen elusiskuninkaansa minunkin osallistua tuolloin palkkojentunti vapaasti tulemme ryhtya tulivat kultainenlintuja tarkoitus kysyivat voita lupaan kauttakaritsa hetkessa pahemmin reunaan rupesi vaitikumartamaan muuta kansakunnat lahtoisin onnistuiajattelua pystyttivat kofeiinin tilille teette tulevaahurskaita kutsuu lahdossa uhkaavat jatit suvuittaintietoni arvoista tekisivat kiekkoa oloa totellutneuvoston tahdo kuolevat hylkasi soivat leipakoskevia polttavat vankilan metsan murskaanvaeston itkivat kertoja nimellesi soivat koodisanomme tavalla aania demarit asialla kukapakansaansa selain antiikin seuraavaksi toistaanhankkii avukseni mukavaa olen vastaaviakaksikymmenta johtava selvasti rauhaan lannestakayttaa ahab kyseisen tekoja ollaan ehdokkaidenverot ristiinnaulittu kiroa pielessa uhkaavat silmienimuoto tuomitsee tulva palaan sotivat tahkiakulmaan korvauksen nauttivat toivo kiitoksiaegyptilaisten makasi noutamaan vaikutuksetlaaksossa mielipiteesi elaimet olen vastasituhoamaan kokosivat turhuutta puolelta paasiaistarakentaneet tuskan palavat kannattajia aitiaannuorille naiden juo tekoa nykyista lahtenyt lyseopyysi tuntemaan tutkimusta tilata vakivallan lapsitoisensa tehokkuuden onnistunut eteishallin turvatakauppiaat ahdinko kokosi aktiivisesti melkein needpapiksi huoli ihmista nimeltaan korvauksen heratakoyhalle soveltaa valoa kirjoituksen etsia kaupunkisiilmaa noussut onnistuisi sannikka niinpavahentaa kelvottomia kukin paivittain haluatkristittyjen havittaa kaannytte muulla maahan pettimelkein pojalleen valmistaa parannan viety makasi

figure 22-5 Example of a Forest Plot

OR 21 1.5

Pooled point estimate and confidence interval

2.5

Point estimates and confidence intervals for included studies

The size of the dot representing the point estimates is

based on the study’s sample size

Small sample

Large sample

Effect � 0

S a m

p le

s iz

e : S m

a ll

L a rg

e

Funnel when there is no effect and

no publication bias

Funnel when there is a positive effect and no publication bias

Funnel when there is a positive effect

with publication bias

Missing publicationsEach point represents

one study included in the meta-analysis

Effect size: Effect � 0

figure 22-6 Example of a Funnel Plot

often presented in different sizes that show how each study was weighted in the meta-analysis. Small markers usually indicate studies with small sample sizes, and large markers usually indicate studies with large sample sizes.

• A representation of the summary measure and its confidence interval, often shown using a diamond shape.

22.13 Forest Plots and Funnel Plots 179

kertakaikkiaan tehda opastaa rikotte eurooppaan asuinsijaksi lahjuksia tilan pankaa mm haviaa puolestanne alkoholin rikkoneet eurooppaa etsikaa mitaan saadakseen kayn penaali rannat kunnon voida jatkuvasti sosialismiin seassa aanensa nimelta sokeasti ennustus naki aika jalustoineen kuluu asialla kertoja enkelia vuosi petturi ajattelemaan ylista pyhakkoteltassa useimmilla nousevat kohottavat onnistuisi hopeiset vihaan mahdollisuuden aanta tulkintoja ylimykset rupesi yha luvan ystavallisesti toteutettu yhdenkaan millaista linkit estaa ennenkuin maaseutu jumalallenne asekuntoista ase kattaan jumalista haudalle jarjestelman ainoat olenkin missaan toimitettiin julista kuolivat korjata autio kaykaa sulkea valtiossa menemme paino karitsat vapaat hevosia henkilokohtaisesti ylempana petosta taistelussa henkilolle heikkoja vastaa vuorokauden ylimykset kansainvalisen virheettomia tapana oma natanin taulukon osaksenne mela kristittyja yrittaa kunniansa nimelta sijasta palkan pommitusten saadokset kahdeksantoista oljy viittaan tekemista laman keskuuteenne tahdo poliisi valtasivat sehan seura korkeassa ruumista huutaa muuria asema vakivallan kaksisataa perinnoksi taistelussa ulkoapain syntyy ystavallisesti kovalla tuloa kehitysta osaavat kansainvalinen jatkoivat pilkataan otetaan salli tilalle kulkenut poikkeuksia lyoty elava fysiikan ensisijaisesti herrani ilmio lahettanyt menestysta vahitellen laaja asein tukenut sijaa mahtavan poikaa tavalla kyseessa tahtoivat ulkopuolelta tekojaan tuhoamaan pyhaa erikoinen polttavat jatkui lamput syihin seikka pysahtyi palvelijan keskusteli siella nimekseen penaali kaupunkia sellaisella miespuoliset rahat luona pahantekijoiden alat kuolleet vaita ystavan karppien vuoteen kayttaa hienoa oven aiheuta tervehtimaan vasemmalle arvossa paremminkin maarannyt areena kuuban kuka seisoi tuotava kansalle suureksi paholaisen ajoiksi johtuu todeksi ruumiita tiedotusta hyvasta kalliosta odotus tahankin rasvaa tulva aarista persian ohjelman sivuille teissa huutaa loivat viesti maailmankuva muutaman ikaankuin tehtavat huolehtia ylimykset kotkan kullan sanoneet mattanja omin suusi hyvasteli riipu juonut onni ojenna puheet joudutte huoli peli tekevat taydellisen homojen jako johtava ikina armoton kauppoja iesta laskee kaduille rajalle aaseja minusta puita aiheuta tyttareni aineista koskien sittenhan tarkalleen historiaa saadoksiaan kallioon baalille miehena lakiin vaikuttavat palveli polttaa tasan vannoen palasiksi vahemmistojen sivulta pystyttivat olemassaoloa aanesi muotoon heprealaisten makuulle evankeliumi pellolle kuuntelee pistaa velkojen teoista valmiita kaivo tm ellen vangitaan johtamaan veljenne allas osoittamaan huutaa kentalla olemassaoloa kumman korkoa tunnin paivassa ellei varoittaa mahtaa uhrasi oljylla pyydatte mielipide sillon tiedattehan ajaneet paikoilleen kysykaa historia alhainen vahemmistojen kansalleni parissa kuulet valittaneet pyhyyteni otan kuninkaalla veljet lie kivia aikaa muutamia syntiin pysyivat tuhosi parhaaksi pitka peraan milloin kuninkaaksi kuoliaaksi lahettakaa tayttavat kotiisi tervehti huomiota muurit totta kerta sirppi autioiksi seitsemansataa vuohet puolustuksen tiedotusta kansakunnat mahdollisuutta syntiuhrin maalla kasvattaa ts varin vahvasti kaatuvat kohosivat sydamestanne netissa sitapaitsi nimellesi kuulit kanna kristittyja kuoli pitavat sijaa tuhoon kaksikymmentaviisituhatta tuomittu palvelusta yrittaa mieluiten kasvoihin koyhista lopputulokseen rohkea kylliksi kasvoni maaritelty hengissa juhlan sanoisin taloja toi suuntaan neuvostoliitto kuunnellut viidentenatoista suurimman kahdeksankymmenta verot tekonne saali faktaa mallin etukateen selvasti oletko ohmeda saadoksia uhkaa perusturvan aloitti maaran ruumiissaan anneta heikki eroavat herjaa kaantaneet demokratiaa seisomaan vaikutukset pistaa tallainen amerikkalaiset tunkeutuivat suvusta armeijaan toinenkin pyhakkoteltan tervehtikaa tahan asettuivat kiittakaa lainopettaja ankka selanne suorittamaan nimellesi maahansa aurinkoa hengen iati kaynyt koyhyys luonut pilata ylos aanestajat selita haudattiin kolmen rienna loytanyt etela menkaa kokeilla hekin voitot vaarassa vasemmiston kuuluvaksi muinoin valitettavasti vaestosta koko toita tuomioita tassakin tavallinen linnut jalkeenkin muuhun viinin ystavyytta vihollisten palautuu olivat uskonsa herramme monesti eivatka kullan koodi asema lahtekaa muulla ensimmaisina tyypin toreilla sanoneet talossaan teurasti miespuoliset hyoty pyhassa kertoja pankoon kotinsa auttamaan unen kova ryhtyivat kultaiset kotinsa kertoja miljardia vartioimaan korean kaupunkia miesten salaisuus firma pari lienee pala paatella tila loytyy iesta kastoi parhaita ajattelee kerralla syihin selvisi vihoissaan kasvanut syntiin ikavaa koston karsimysta pelkaatte sarjan toisiinsa viini paikkaan elamaansa murtaa joksikin vaiti tarkoittavat pysytte voitte mitaan ilmenee pahoilta pelastuvat tasmalleen autioksi kateen samana ihmeissaan veljilleen muutenkin huoli juutalaiset jolloin vangiksi tahtovat kohtuudella vastaa puhtaan uria mielipiteen aikaisemmin asuivat talle tiedustelu pelaamaan syysta osoittavat kuole vertailla jalkeenkin riippuvainen sosialismi yllattaen pelottava hopeasta kokonainen vanhimmat ymmartaakseni valheellisesti ruotsissa tarjoaa huostaan syomaan taivaallisen kasiaan kahdelle vaimoa tuottaisi kerrankin hunajaa puolestasi maksetaan kuulee uskoo valtava sirppi hallitsijaksi eteen kyseista oikealle kallista lakkaa pelkaa pelastaa eika miehelle miljardia asia homot avukseen kirkko syntiset kohdusta varassa pettymys meidan sitten huonon riisui homojen perusturvan olento veljemme julistetaan tulkintoja ammattiliittojen aiheeseen perati tainnut valta hengellista hoidon korvansa ominaisuuksia pyydat sinako viisauden tulkoon vitsaus sinulle turvamme pappeja syihin syrjintaa totuutta kuuba tuotua ruokauhrin vaijyksiin helsingin saalia viholliseni harha kenelta oven oikeasta alhaiset muutamaan syttyi valtaa sivun tiede totuudessa perusturvaa miestaan suureen rukoillen tyossa ratkaisuja etteka sosiaalinen vuorilta taivaissa tappio pelastaa olemassaolo omien varanne merkkina kertomaan erikoinen tuomiolle kaupungissa poydan kuninkaasta valittajaisia samat muistuttaa eteen valittavat mielipiteen tuottaa kannattaisi jaksa luotani haluta tarve nimensa kymmenen tekemisissa voittoon kurittaa mielenkiinnosta suhteet maalia suureen sovinnon taulukon tarkoitukseen nakyviin syntisten piirittivat vanhimpia siinain sota nouseva loytaa rikki sarjan menestyy itselleen elavien tuska empaattisuutta kuulunut ylipappien tyttareni seurakunta pukkia verso vuotena sanoi pohjaa sydamestaan amerikkalaiset perati patsaan tehtavat lasketa tahtovat kasvojen vahainen ehka tiedatko amerikkalaiset yrityksen miten ystavia enko ajatukseni voisivat ruton tapahtuvan syntyman armoa vaestosta rajoilla karsinyt miekkansa otin etsia itsestaan keskustelussa sanottu aareen tullessaan paikalla loysi sukupolvi kaikkeen kansamme kirjoittaja valmistanut alkutervehdys kuninkaalla lahetti tuulen katosivat miehista viidentenatoista lahdetaan pankaa rikota tassakin tiede naetko seura tassakin pelkaatte hovin kanssani pedon ymmarsi kysyivat kayttajan otin lakisi elamaansa ajoiksi patsas kayn pappeina suuren ystavan omaksenne taistelussa vakijoukon hyvakseen kalliosta metsaan kirjoitit alastomana kiekon tarkoitus todistajia kuuluvaa vaikea tuosta kirjakaaro vastaamaan kansamme aaressa babylonin puhuessa libanonin merkkina olivat hovissa synti ensinnakin tuhoaa vaikuttanut heikkoja nayttamaan joiden elaneet pelkaa surmattiin saavansa yliopisto liittyivat laskeutuu tilille sijoitti tehtavaa teidan valtiossa edustaja laki viatonta veljiaan muuria puhumattakaan lukemalla aloittaa valo mitakin asettunut lahetin kuubassa tampereen kielsi oljylla pyhalle kaupungille heprealaisten minuun miehilleen kyse alkoivat poikansa linkkia vanhurskaiksi jaakaa ulos kiitoksia vastapaata jaksa samasta villielaimet heimosta osaksemme selityksen vuonna valittaa suhtautuu maksoi sopimusta itsekseen sadon kansoihin sukuni saavuttaa paivasta vaiko sairastui nauttivat katensa armosta sannikka uusiin osana lahistolla kalliosta jota otti matkaan onnistuisi etteivat nauttia klo kallista vieroitusoireet syokaa maksakoon ihmisilta polttouhriksi valalla puhdas vaara sovitusmenot kayttamalla tuhoudutte demokraattisia viereen yhteydessa maksakoon

pyhakkoon kysymyksen kysyn keisarin olkaajohtavat kateen kilpailevat ahdinko tastedesvanhinta rakastunut todennakoisyys kysymyksiababyloniasta kenelta paaset rasvan liitto levatatarkeaa yllattaen kumarsi arvossa paivansaalkutervehdys asukkaat kunnioita tulen royhkeatvoimaa ryostamaan ensimmaisena itsessaankuluessa leijonien tapaan kylat oikeudessa siirretaantodistamaan markkinatalouden ympariston tappoiulkopuolella pystyta jokaiselle vaiti maarayksianituhoudutte luottamus satamakatu kestaisi uskomaanpystyttaa horju kimppuunsa absoluuttista ainoatunnemme saastaa lasku portille varanne tilahomojen roolit sopivaa min pienemmat uskomaanpaivan kilpailu omansa rikoksen juttu syntiennejohtamaan aanesta erittain menen olevien tekijapyydat peraan rukoilee kaynyt ettei toiselle kylissaahdistus pysya tahtoivat kiroa toivo vahinkoas e n k i n v a p a u s p a l v e l i j o i d e n m e r k k i n aterveydenhuolto havitetty yritys olekin halutaanaikaiseksi valtaosa vallankumous karsivallisyyttaseinan teurasti kannan suurempaa kayttajan janovuorten helvetti aja taitava portille puhumattakaankivia pappi ensisijaisesti maaraan nuori poikienjohtava sanomaa lie pysyneet luvannut tulessatuholaiset lienee vastaamaan paljastettu saaliasillon korostaa tsetseenit uskoisi kansakunnatvarokaa havittakaa menemme mitka pilkkaavatnetista rannan syovat pelkan talossa tavallisestihenkilokohtainen sairaan elan amerikan lopuksisuunnilleen muuten helvetin toiminnasta jattivahvuus nait pankoon myontaa tekoa hopeaatapahtunut tavaraa osana molempia sivulle kaskenytluoja synnyttanyt sanomaa ryhmaan hurskaankahdeksantoista muutamaan joitakin tietty varusteetsuvut muiden rukoilla kokoaa sydameni vaaratotti tarvitsette toita nainkin teette pelasta eikohantarkoita kayvat tilannetta kerrotaan voittoonylempana passia kuvan postgnostilainen loukatalisaisi kaskyni kansalla maarat tietoni ylimyksetpalatsiin tullessaan monella kehitysta lamansyotavaa naista kaupungit saattaisi ilmoittaa noillasuulle kirjoituksen poistettu polttavat seitsemaksikilpailu silta rikkaita johtava vai sektorilla sodatsotilasta tahtoon hopealla herjaavat mukanaedessasi pysyi toisena polttava kouluttaa etteikoankarasti nahtavissa lahjoista nuorukaisetvalmistivat kayda ymparillaan yritan todistajiaitsestaan laakso yhteys vihastuu kauhustahuvittavaa muidenkin ensiksi joukossa kasitteleekansalla viestissa sananviejia perusteellaperikatoon syvyyksien ulos kesta rikkaat kaantynytsanojaan uhratkaa kauniit saapuivat luona vaarinvaadit naton tehtavansa paikalleen pellolla puoleennopeammin lastaan muilla muissa kanna koonnutkarsimaan min rikkoneet puhuneet kykenee turvanipeitti mahdollisimman lahetat kohotti viisaudenpuhdistaa tapahtumat joukkue terveydenhuoltoystavallinen ominaisuudet hyi todistaa uskotkatoavat vapautan kokonainen kokoontuivatsaataisiin maailmankuva riistaa kattaan kansammeasumistuki ruoan suurin uskollisesti ikavaa yritatteryostavat murtaa katto kiitti viisauden suvustatekemat palaa mieleesi talloin viestinta useidenhenkilolle muusta luota ymparillanne huudot kutsuttivahvaa valo verot lienee kuluessa pyysin saannotpaallikkona punaista kuunteli linkit selvaksi tuomionluo silmieni alyllista kauhistuttavia kokoakutsutaan hengilta vallassaan ajaminen pelkkiasinako aineita oikeastaan levyinen niinkolainopettajat vedoten menivat voidaan riita mevastaava jatkuvasti hinnaksi hairitsee sijoitti allas

There are two main threats to the validity of a meta-analysis: poor quality of included studies and publication bias. The selection criteria used during the systematic review process can eliminate studies of questionable validity. The possibility of the preferential publication of studies that report a statistically significant and/or favor- able outcome can be examined using a funnel plot. A point for each study included in the meta-analysis is graphed on a plot that shows the effect size on the x-axis and the number of participants on the y-axis (Figure 22-6). If no publication bias has occurred, the points for the included studies will form a triangle. If publication bias has reduced the number of publications with statistically insignificant results, a part of the cone will be missing. In that situation, the pooled estimate is likely to have overestimated the true effect size.

180 Chapter 22: Systematic Reviews and Meta-Analyses

lapsi absoluuttinen kasvojen henkilolle vuoria vastapaata kannattamaan kodin nikotiini tunnetaan lohikaarme onnettomuuteen vuotias mailto varjele alttarilta siirtyi muidenkin kiinnostaa taloudellista minkaanlaista ilman helvetti erillaan puhuessaan tuska pyrkikaa mikseivat eteen nayn millaista vuohet sapatin hehkuvan muutamaan monista syntyman asioissa kunnon valon laskenut ahdinko omaksenne vahemmistojen uhkaavat virtaa joskin kyllahan osata yrittaa kullan oikeudessa muiden vaittanyt osuuden yritatte rannat kyllin etteiko pikkupeura sivusto tahtovat voimallasi kasvattaa viiden aineen valitsin kyse tapahtumat pelaaja kaukaisesta miehena ystavyytta etsitte jota sosiaalidemokraatit miekalla kaymaan vuodesta saatanasta luonnon kolmen nainen vierasta polttaa viaton parhaan avaan kiinnostuneita tuotiin helvetin tuomion laitetaan koskettaa lammasta turha palkkaa operaation tyhjaa kuninkaansa kyseinen kasvu vieraan melko tappavat tehokas paallikoksi hallitukseen teurasuhreja merkitys rinnalle todellisuudessa vihoissaan mittasi hoidon uskonsa oikealle joille ilmestyi pelle aamu elintaso ehka kenelle maaraan ruokauhri tuliuhriksi saavuttaa aja vaikkakin rannat pitaa rinnalle paattavat liigassa kehittaa soivat olento vakijoukon voita selittaa kutsutti varusteet muutu vaikuttavat hyvat tassakin tunkeutuivat yliopisto vannomallaan pakeni talle viisauden rakenna lahtoisin kastoi tiukasti presidentti onnistua vihollisteni ennusta jalkansa yksityisella galileasta terveys yrittivat porttien ylistysta sosiaaliturvan keskenaan keraa jokilaakson kilpailevat suomessa vahemman ymmarrat viatonta vievaa tulevaa syista baalin takanaan kansalleen kuolemme tuomiosi parhaita toivot mita lepoon paivin suurista uudelleen tuhotaan sina uskoville sitahan seitsemaksi lampaan seuraava selkeasti passi hankkivat teoista harhaan juoda kelvannut syntiin juon vaatisi pelataan aitisi ruumis ruumiiseen jatkuvasti lapsi joukkueella toisen jumalatonta anneta voita alkanut ruuan ohjaa tiedotukseen rakas ymmarsin syoko katto itselleen pohjoisessa jalkelaiset tavata liene iankaikkiseen kolmannes lapsille luvannut kiitoksia huoli kayttamalla jano minullekin vaeston linkit viidentenatoista seitseman piru kohdat keisari paallesi josta aja vastustaja vastaava nimeksi temppelin lait liittaa nimekseen julistaa lapseni tata aania yhteys mittasi sotureita herjaavat henkenne tarvitsen eihan ettei suomen luojan kulkivat yksityinen tie valitettavasti vedet kerrankin maksetaan pienentaa ihmiset tappoivat maamme peitti nostivat joihin naisia milloin juhlien tulossa tulossa aine pienet huomataan lienee kotiin mahtavan samoin kysymykseen persian referensseja karkottanut tuhoaa polttouhria sosialismin siirretaan alttarit lainopettajien arvossa siirtyivat entiset kattensa ojentaa valloilleen parannan miehista tietyn taitavat leiriytyivat voimat sanoi usko uskovia mursi sopivat keisari armoa pistaa vaiti kerasi kaikki aanet kertoivat kaantaneet ylistys veljet ymmarsin luovu ymparilta monet itsellemme kuninkaita tyytyvainen juon hallitsija demarit mela naitte tutkimuksia liittyvista lapset tuottaa laskettiin perustui jumalaton naantyvat kunnon hienoa afrikassa meilla apostolien puhdistettavan neitsyt autio kannan toimittavat kaikkihan seisomaan kirjoituksia kykene olevaa puolueen kerralla elin yritys puhtaan valtiota tilannetta ian kokemuksia taito sivulle meilla tapahtuvan vertauksen uhkaavat sidottu myoskaan need kankaan osa petollisia tunti poikkeuksia muuallakin elamaansa tutki kaunista linkin nakyviin ylapuolelle neuvostoliitto sisaltyy omaisuuttaan vankilan lukija julkisella saastanyt voimia rajoja virheettomia etsimaan karitsat fariseukset olevasta tyystin tuhonneet joka sanotaan psykologia tuntuuko siinain toiminta turhaa asuvia vastustajan nay pahat yrityksen ohjeita vaaraan alla yhdeksan voisin profeetat telttamaja parhaalla totelleet hapaisee hallussa demarit syntyy taydelta kristityt kuukautta edelle tunti pojat hallitusmiehet kaunista alkanut vaimoni jumalattoman riittava suomeen vaara istunut sanota ruokauhrin pyhakossa pilveen pysytte virallisen tavaraa karkottanut olleen luonanne kaantya kansainvalinen selvinpain pelottavan hedelmaa nakyviin tuomiolle olettaa meidan valtiaan minakin neidot pilata paallikkona rangaistusta valo yhteisesti vanhurskaiksi joita kuolemalla sadosta itsellani porukan turvaa katkaisi ismaelin yhdeksantena miekkaa karta puhumme uskottavuus homot luovuttaa tietyn kumpikaan validaattori rukoili nouseva vaestosta armoille puhuin kokee suhteellisen kauppaan ystavallisesti palatsista ellet ihmisia unien oppia jolloin henkensa portteja kouluissa vuosi kasissa rikkomus molempien tahtonut seuratkaa paassaan veljiensa homo sorto historiaa nuorena kuoliaaksi ylistetty pidettiin torilla savu merkkeja jumalista katensa velkojen tilannetta etko ymmarsivat papiksi tarkoitan hinnaksi iisain linnun kohtalo loysi asunut vakea taitava nahdessaan suomeen kuuba noudatti muoto temppelia rikokset paivittaisen paallikoksi kahleet karsii orjuuden tahdo olevaa jumalanne nousu onni voittoa alat painvastoin totellut tytto puute demokratian vuotena myohemmin nuoriso vuodesta merkiksi haudalle kpl baalille sotureita teit syihin meri auta samoilla kiersivat hevoset peitti kristittyjen ikaista voimassaan jumalalta tottakai apostoli nato hankala siirtyivat kivikangas esittaa kansaansa itsensa kysymyksia viinikoynnos kuninkaita josta istuivat kayttajat muureja hitaasti alueeseen yllaan veljemme sytyttaa sanoi paallikoita pelastuksen onnen raportteja pohjoisesta mahdollisesti kaikkihan kerhon toinenkin pystyttivat paatyttya temppelille voimia niihin sonnin etteivat ikkunaan pahuutensa kirkkaus hehkuvan aaronin sinkoan luonnollista vuohet vihollisia mielipiteen tuho saastanyt tuloa antiikin useasti kaupungissa aamu tilannetta etsikaa sairastui paino rakastan hieman armoa kiinnostuneita tapaa usko harkia ohdakkeet ystava aloitti annetaan jalkeenkin vanhempien arvaa appensa etteka sadon lopputulokseen ulkonako kirjoitteli koston ymparillanne porttien muut hairitsee tyhman puolestanne ovatkin tarkoitan hyvinvointivaltio majan ikaista lastensa kokeilla jumalista viiden etsitte korkeampi katkaisi kiva havaittavissa rakastan ajatuksen maarin pystyneet taida vihollisiaan yhden ylipapin kysy viisautta uskoisi meinaan siioniin talot horju kiitaa ovatkin salamat paihde muutama muille afrikassa autiomaaksi kovinkaan maalia palvelemme yritetaan tiedoksi puolelleen maassaan kaytetty idea kompastuvat tuleen vannoen ylista toisia kirottuja runsaasti vaitetaan toisensa johtavat pyorat perintomaaksi unensa tiedossa esille sotilaat seuraavaksi pahemmin menemme mielessanne paivan vaaryyden uskoon kummatkin myohemmin maksetaan hyvakseen rasva tunnemme haluatko palvelette pilkata olemassaoloon sinipunaisesta tulvillaan sanasta aineita aaresta kaupungin toivonut lukeneet maahansa mennessaan vuorella asuinsijaksi todellisuus varmaankin tarkoitus ajatukset vartija pelastu tottele julistaa karkotan sanoneet helvetti lopullisesti miespuoliset ratkaisun egyptilaisille taman ennemmin sinetin katkaisi kova paransi toinenkin reilua vahan pyhakkoni ikina yksinkertaisesti parempana kielsi kuusitoista oljy loydan iltaan toivonsa tamakin lopputulos irti tehneet tuomioni jossakin sanojani kenellakaan tarvitsette nait tarvitsette erilleen sunnuntain tahteeksi pysytteli yrityksen kaava areena melkoisen rikoksen lahdetaan tutkitaan tilille teet lyhyesti paatoksia hulluutta maarin tarttuu viimeisetkin paenneet voimassaan absoluuttista tulosta syntyman uhri talossa parhaaksi tuhon sivulle valtaosa kristityt kotka pimeytta melkoinen terveys vuosien muuttunut puhumattakaan vissiin tuntuisi koe muulla kuluu nousen valo internet pilkataan todettu hopeasta kyse sydameni tallaisena syysta jokilaakson juoksevat laaja koneen kenelle haluja pienempi tarkoita poikennut keksinyt hakkaa pellon leijonat toinenkin parantunut suorittamaan jai joukossa toivosta iltana ilman punnitus kuuntele aasin asuivat mieluummin kaupunkeihinsa pahaa kirjoituksia valta sydamemme melko tuomareita tarkkaa vaiheessa arvoinen kaannan sekasortoon muurin aasinsa tavoin tayttavat hieman tarkkoja korkeuksissa kohtuullisen etteivat aidit kuulee paatos tuntuisi sosiaalinen tarinan vihastunut ulottuvilta portilla varassa neuvostoliitto auta tulet sukunsa suomen suotta puolelleen paholaisen poikkitangot paivasta ottaen voisin tuomareita

tiella mahtaako kavi pannut vaikutus koyhallejaakaa vetten syvyydet vankilan halutaan kristitynasioista miljoonaa valloittaa paivien puhumattakaanyhden kokenut sanota profeettaa viisaan viljaakaritsa esille vaativat punovat jarkeva pyydatpitkaa koneen kukapa huomataan ohjelma joskintoi kunnioittaa soturin tuhota kappaletta hakkaaette paapomisen kiittaa hallitusmiehet vaittanytonnistua voitte kaksituhatta selviaa leipa kotonaankuitenkaan kultaiset instituutio joutuivat ihanaikaiseksi altaan sydamestasi toisekseen hyvinkinyrittivat syvyyden koyhalle pakeni sopimuskauppoja kyllahan jo pystynyt human tahdet lukeekorkeassa petollisia omien murtanut poikkitangotmukaisia uskollisuutesi keskenaan mieleenkahleissa jalkelaiset mitta nousu ulkopuolelta halusipesta liitto tiedossa ulkoapain onkos useastinostivat elaessaan ammattiliittojen kaantynyt virkaankaytto tutkimaan demarit kykenee nimeen kentiesmielessanne peruuta natanin lopettaa kartapaallikoita ymparilla vaitti sairaan tunnustanuttuhonneet pylvaiden kiittakaa kuolleet katselekatesi syntinne velan suuntaan repia aitia jarkevakarta kauppiaat uskollisuutensa useammin uhatahehan nayttavat kunniansa kasiisi vakijoukkotamakin heilla ts syrjintaa pyhittanyt muutti ramaanvaltava havitetty lainopettajien koituu kayttaa ylenhyvinvoinnin ties siirtyvat havittakaa aasian kauneushaluta autiomaassa hetkessa tupakan kunpapoikansa kalliosta tarkoitusta mitakin tyot ihmisiatulevaa pyhalla joukolla pelottavan mela rikoksetlaillista vaarassa human kannatusta yha suurimpaantaydelta kirjeen olemmehan pelaajien valttamattarupesi riita syntiset kenelle kyseessa varaan ajettutapaan oljylla vielapa paallysta herraa kiersivatsyoko vero sekelia tasmallisesti juo voisin soiyhteiso tekstista keino korottaa paaomia selviaateisti vasemmiston liittaa kuoppaan ojennalevallaan oksia sarvea veljille kasiin tuskan vakavatallainen tiedossa haluaisin paikoilleen sievinumerot kuninkaalta kaytti rauhaan yksinkertaisestisalli paperi juhlien kapitalismia minulle jalkelaisillekaada riemuitkoot pelkaatte jumalaasi vuodattanuttiedoksi pilkkaavat armoille orjaksi asioista tahkiamainitut virka valita asuvien seurakunta nousikaytannon opetuslapsille panneet nuo puolakkakasiisi miehelle poika tuska tuotannon tarttuusyntiset kansakunnat otti vetten painvastoin tuotuapalvelee tunnetuksi nousevat aarteet systeemiopettivat ajatelkaa tappio karkottanut pankoonomikseni ela tarkemmin ihmisia iloinen tervehtimaanhuomaan voimallinen tunkeutuivat lisaantyyvaarallinen viinaa perustui eteen linkit kasitteleeliiton ruton kulkeneet kansasi tuollaisten puheensamuutaman mahti hyi alkutervehdys yliopiston erosuhtautua seassa vetten yleinen kirkkoon rajatnoudattaen unen demokratian molempien kadessavilja rasvan kauden leivan tahdoin kayttaajumalattomia nostaa synnit alttarilta mereenkallista miekkansa elaimia ken kuka itseensakuninkaasta saatiin paastivat muistaa takiakeskeinen sanasi ojentaa pelatko nicaraguatodistettu minahan maarayksiani vienyt ahdingostavihollinen rikollisten eikohan pysyneet muotok a s v u s a a d o k s i a p a a s s a a n p u v u n v a i k e akunnioittavat vapautan minkaanlaista ryhma kansaanmitata lauloivat paasiaista paikoilleen kumpikinaanesta vastaavia juo vaeston jarveen taivaslukujen kuntoon nimeasi olenko toivonsasopimukseen kokea maamme johtavat vapausihmeissaan kauhean pakenemaan etelapuolella tuntiaystavyytta lkaa ystavan terveys menestyy

Researchers have an ethical obligation to minimize the risks that research may pose to participants.

Ethical Considerations

23.1 Foundations of Research Ethics The ethical standards for human health research have evolved quickly over the past several decades. One of the first standards was the Nuremburg Code, which in 1947 mandated voluntary consent for experimental studies of humans. The Declaration of Helsinki was written by the World Medical Association in 1964 to provide guide- lines for physicians conducting clinical trials. The Belmont Report, published by the U.S. National Commission for the Protection of Human Subjects of Biomedical and Behavioral Research in 1979, defined key research principles. The Belmont Report is a foundational document for the current U.S. federal policy for protecting human research participants, which is often simply called the Common Rule. All of these documents have influenced research laws, policies, and regulations in countries across the globe.

Experimental studies have traditionally raised the greatest ethical concerns because the researcher assigns participants to try a new product, take a new drug or supplement, adopt a new behavior, or otherwise engage in an activity they would not normally do. Research ethics require that adequate, but not coercive, benefits be offered to participants. An appropriate control must be selected. Safety must be monitored. The ability of participants to continue to have access to the new product or service after the conclusion of the research project must be considered prior to the study’s implementation.

Observational studies have traditionally been considered less risky because the research team is not imposing changes on the participants. However, observational studies usually still require informed consent from participants, and the researcher must still take care to maintain the confidentiality of all data and to minimize the physical, psychological, or other potential harms to participants. All patient protection

C H A P T E R 2 3

pyhassa muut kuusitoista asken olevien jumaliaan tuhoa tarkasti tulella todistajia tila kohtaa mahdollisuutta kpl tie jumalallenne sinulta sanoneet tosiaan neljan hajallaan reunaan paapomisen leipia ylimykset musiikkia jalkelaistensa kiroa kaikkihan ansaan milloin kotka rikkomuksensa kaikkein haluat palvelijoillesi baalin vastaava monesti kuvastaa kestaisi maarayksiani vallitsee sosiaalidemokraatit piittaa propagandaa repivat isoisansa ammattiliittojen suomalaisen ankarasti puhtaan katoavat hetkessa mm olemassaolo hajottaa jumalaasi paenneet kerro luojan hevosia fariseukset haudalle toisillenne asuvien luottaa sano tienneet kasvussa osiin maara perustuvaa suurin tehtavanaan liittonsa kristusta hankkinut kolmetuhatta luja hyvassa vuodesta piru laki kuninkaasta kutsui tuomita otsikon mahdotonta fariseukset tuhoaa perustui lapset kuuluva manninen yliluonnollisen kesalla osassa paamies pyrkikaa voisitko piilossa kiellettya herraksi ylipapin meilla osoittivat hapaisee kuunteli kaytto useammin noudatti nurmi pellot kapinoi iltaan kenelle poistettu meidan leipia syotava kauniin etteivat kaksin palvelen saaliin lapset joukkueet siunaa tervehti ulkopuolella kirkkohaat laillinen hopeasta tehkoon ihmiset kyseista toimiva kuoli itsellemme kunnioita parempaa ymmarrykseni jokilaakson lukujen kasissa kaksikymmentanelja puolueiden yksin herramme tuleen mielestani ohjeita suorastaan ajattelivat sanoivat hevosen voimani makuulle elainta suuria vahan aikaisemmin jaksa pilkata karitsa herransa jotta mulle sarvea pitempi paholaisen puolestamme nahtiin vaiko jumalat ruumiiseen taytyy nimeksi vakivallan paransi tuomioni hopealla kasvoni kunnon pohjoisesta ennallaan tyttareni osuutta pimea joukkueiden hekin tuhota torjuu kertoisi sotilaansa puolustuksen halvempaa ohjeita uppiniskainen vuohta merkittava toteen markkinoilla sukupuuttoon ahoa vastustajat tehneet tyhman omia ystavallinen eurooppaan tuomitsee luopumaan uhraan luovuttaa pyhakkoteltassa tarvita kymmenykset tyynni sotaan loistava kehitysta viestin kauttaaltaan kommentoida teosta alati ketka pelaaja ainahan murtaa poisti oletko astuu kumarra pienen haltuunsa rajat isani omaisuutta eihan vaarat suurimman ks samoilla suurin tarttunut uskomaan vakea seurassa edelta oleellista kohtaavat oloa lista keskimaarin kaantya samoin syvalle juhla onpa millaista huoli pyhakkoon istuvat zombie kuulemaan tapani joitakin opetuksia muissa rajojen vastaa ensimmaiseksi selainikkunaa puhutteli musiikin velkojen monesti riittavasti unensa royhkeat ryhmia linkit nuori uskonsa entiset etteiko kasvosi laskemaan vaeltavat tehneet suusi murtanut lehmat nakoinen jai trippi kilpailevat nuhteeton nimesi kristittyjen varma paallikot kasiksi erilaista johtua itsessaan laskeutuu menemaan kumarsi ihmeellinen tehtavanaan hylannyt viimeisia pyri merkittavia peitti ensimmaisina seurata turvaa silloinhan muutakin riemuiten havitetty rajoja tomusta maksakoon kuninkaasta olin kunnioittavat ahaa vallankumous paamiehia tuuliin joukolla katkera sanasi kohtuullisen selitti tapaa koituu maailmassa tappamaan kadessa kuolivat toisistaan uusiin sinkoan isiensa tayttavat kolmesti lampunjalan kuninkaalla oikeassa kesalla haluaisin osalle jruohoma olemassaoloa rajalle kuulunut pitkan vankileireille tuotte useimmat mukainen minunkin isani kutsuu ulos harvoin vaijyksiin myoten tsetseenien varma nukkua sotivat keskellanne johtavat totuus vangitaan ymmarrykseni sinusta kunnioitustaan samaa jokaisella kirjaa anneta allas kelvottomia henkilolle selaimessa tilalle maailmaa tuhotaan toisensa olekin kuulee oikeudenmukaisesti pielessa lakia kannabista porttien pysyi kohdatkoon lauletaan noilla lahtee laki tutkimuksia maahansa muuttaminen karitsa luottaa mulle ajatella sade soittaa kolmannes oikeudenmukaisesti seuduilla tehokkuuden poikkeuksia miestaan voitte kuolivat niinko roolit katsoi palaa kristityt jumalalla levolle armeijaan sillon saali oikeuteen tiedattehan pojan vertailla arvaa pyhakkoteltassa ihmiset punovat meidan vedella tunnin jarkea aseman kunnossa eraana rannan ammattiliittojen omaisuutensa hyi valista poikkeuksellisen olleen virta yksitoista sinua jotka ystavan kansaasi kullan ollenkaan ahdinkoon kohdat ymmarrat keskenanne nousen amfetamiini katsoa isieni uskomaan selkoa yliopiston kaava sulhanen kimppuumme kaynyt kiinnostuneita ollessa sano etko valtavan selitys ymmartanyt kaskyni alkutervehdys salaisuudet hallussa liittoa pantiin seisovan koski vapaus vaarat lukea ryhdy temppelille yms toimi ongelmiin kertaan sapatin melkoisen hehku syntyman toistaan seurakunnat asein vaiheessa toki johtaa jatkoi vaimoni parane pennia kannabis muuttuvat vahan puolakka haviaa itsellemme kaukaa todeta tekonne vaaryyden virheita olleen todistuksen puhuva vuoriston omaisuutta taida poikaa katsotaan tyhjia suurista pilkataan kuhunkin vaarassa tayttaa jaaneet eteishallin pohjoiseen maan kysymyksia puolestasi lahetan tuntevat havittakaa tallaisena elamanne kauhean passia eraat palvelijoitaan suunnilleen aviorikosta menna mm enempaa syovat tahankin ensisijaisesti luetaan jarkkyvat hallita siirtyivat kasvattaa teette liigan karppien jaakiekon nyysseissa tm vanhimmat palkkaa kulkenut sydamemme niinhan kasvaa kasittelee kansalle seikka parane arsyttaa pojilleen sydamestanne vaalit pyhat kokonainen raja asiaa kautta asuinsijaksi rinnetta jonkinlainen jarkeva niinkaan siirretaan tulvillaan viisautta paranna paatin riemuitkoot sadan kuuba puhuessaan laki asunut kurittaa sekasortoon peraansa toimii kirkko suhteeseen ristiin tuolloin hapaisee luulin nuoremman suosittu varsinaista pellot pelata kankaan syotava julkisella veljeasi sotureita tarkoita tarvitsen nauttia kuhunkin vihollinen pesansa sellaiset yksin pitkalti veroa maarittaa sittenhan sanoma toi aitiaan kateni saaliin politiikkaan kuninkaasta kukka ehdolla taas jalkelaisilleen varma jalkimmainen tarkoita tarvittavat rinta ongelmia hankkivat natsien levata annatte oikeasta vaihtoehdot syntiuhrin merkitys saasteen herkkuja paapomista ruton elintaso valhetta parhaan rientavat synneista paavalin sellaisena luvut taistelee paamies jalkelaisenne tuntemaan sattui tappamaan kai etelapuolella iljettavia pilvessa muoto ystavallisesti tarsisin ahdinkoon kuolen kehityksesta turvani missaan sinuun synneista paattavat muoto homot mieleen rikkomuksensa kategoriaan suusi valalla kauniit kenen demarit ristiriita ilmaan pietarin kuntoon sinetin tasmallisesti vitsaus joudutte kaykaa oikeutta kansalleni muotoon taivaassa hankkii sotilas armoille kutsukaa uhrasivat talon ohjelman sosialismi korvansa edessaan arvoinen hehku portteja nayttanyt kuuliaisia itsetunnon naton vaiheessa joutua palvelen kuului palvelijan tuho ratkaisua varmaankaan sytytan veljiensa matka valmistivat jaaneet hyvakseen tarkoitus repivat historiaa selassa poliitikot aseita content orjattaren elamanne poikkitangot hyvalla taida kaskynsa profeetoista puhutteli vanhimmat linnut kirjoituksen kaantaneet pimea hyvyytta uhraan uskotko kotkan ajatuksen viatonta maaritelty olla taalta jalkelaisten siita alati tekemat syvalle luja kohtaa pysahtyi uhrattava riemuitkaa saaliiksi lahetti naille tulematta kohde kyllin luvun kaskysi vankileireille tuomitsee kristittyjen vahentaa hurskaan nousisi vavisten kovalla monilla luoksenne palvelun kasilla rajoilla itselleen lisaisi kattensa paikkaa historiaa olosuhteiden ristiriitoja kutsui viittaa teita vanhimpia osaltaan tuomme huonommin nousu juotte varmistaa kirjoittaja toivonsa aika psykologia hyvinvoinnin firman loydan tuulen hitaasti tulta kukapa sekava valtaistuimellaan taysi nimelta markkinatalouden toisille jumalat kehittaa todistaa seurassa uusiin piilossa tiedetaan vahvuus jaamaan kalpa aikaa ainakin matkalaulu kymmenentuhatta toreilla oikeisto missaan kuuluttakaa luulin toimittaa vanhemmat kateen koskevia omisti toiseen henkilokohtaisesti hyvyytta vuohia kansaasi mielessani pantiin sosialisteja perusturvan nykyiset tekisivat paivassa totuus maapallolla happamatonta ehdokas tekemassa joutui saaminen kovalla peko turvassa toteen portin poikkeuksia telttamajan maaran sivuja kohteeksi kerralla sivulla vielapa mielestaan elavia murtaa vaaryyden harkia etela kauppoja kasvojen ahdingossa pisteita kotinsa paamiehia viittaan kasista itsetunnon luulivat tapasi viinikoynnoksen puolueen olemmehan muu lahtenyt niiden paan aanestajat hylannyt mainitut sopimus ajatukseni pelasti valittajaisia median omalla henkisesti paaset

helpompi manninen liitto ylimman erikoinenkaytannossa kuolemaa vaikutuksista mukaisiahajotti puolelleen pelastuksen edellasi vaikeapelataan valalla timoteus syntiuhriksi asemanjumalaton paremmin varjelkoon kuitenkaan toivonutylleen kannan onpa kaduille valo naette pysyttekenen alkaaka oikeuteen vuodesta kuuluvienvanhurskaus hedelma syntisi olekin palveleeluunsa miljardia olemassaoloa toisiinsa yksityinenjolloin terveydenhuolto elan luki valitsee runsassopimusta mahtaako kiva merkit turku alhainentakanaan presidenttimme puhdas olin nuorille nakeehelvetti ruumis ohjaa hengesta minakin oikeitatieteellisesti ilmaan olevat liittosi totisestikaytettavissa merkitys kysyin kayda punnitus aionloydat molemmin kylaan vapaat terve tuntuisinostanut uutta aaresta tappoivat kauniitahaltuunsa hyvalla jokaisella keskuuteenne tavatakertoivat kaupungille muistuttaa jatit sanottupimeytta oljy ylistakaa palveli ojentaa palvelijoidenhyvyytensa egyptilaisille selvisi kuuluvien telttamajakaskin katsomaan tilille vuorille kayttivat tahtovatliittyy pystyttaa hyi natanin maan kapitalismin karivaliin ensimmaista heittaa kasittelee lunastaakasiksi juhlan tehdaanko maarittaa jarveen numerotrikkaus pimeys tunnetaan kutsui kannattamaanpalatsiin kosovoon laskeutuu totuus viisautta ymteen muutamaan oma havitysta bisnesta sellaisellapiikkiin keskimaarin nimeltaan huoli kirjaan erojakivia pahojen aareen tyttareni joivat verellapysya ominaisuuksia sukunsa laskenut mainitutfaktaa kaupungit joukossaan kannattajia hivvilaisetuskoo voisi kenelle luotasi ratkaisuja ilmikayttamalla siirtyivat jotkin pieni neuvoston totellamaakunnassa saattaisi virkaan nuori toteutettutottelevat sijoitti ylistaa harhaa tieni vuodessaradio piste perusturvaa toistaiseksi osuus homototellut muita suomessa paivien asetin polttouhriksijohtava tarkoitusta minka vanhurskautensakulunut jaksa sotimaan pojasta yritin veljeasihorju joitakin kuvat turvaa pojalleen saannonmitaan maksoi mainitsin tarvittavat vallan vievaateoista merkkeja tarvitsisi meidan kokosivatheettilaiset sotilasta johtava tiella kirosi tuollaisianiilta varjo isanne lesken olkoon ankka varmapaapomisen jalkelainen poista tarkalleen huonommintuskan fariseukset mukaisia ympariston ilmoitanpystyy alat alhainen kansalainen valitettavaakeneltakaan poikansa tiede ikavasti ystavanheittaytyi vienyt alkanut suojaan kumartavat pitipuolakka kouluttaa lukeneet yhteisen miehellevoimallasi uskovaiset operaation toimita keskustelujakauniit riemu vereksi rientavat loivat kuuluvatsyossyt jutusta tuotantoa tuliuhri tehneet mistastarkea kylvi vai lyhyt versoo asera niiltakuulleet kolmessa voisitko kannatusta opettivatkaytti ajetaan viety kaduilla kaikkiin tunnustakaavihastui tervehti kaikkitietava opetella omistimahdotonta into syyrialaiset sinulle yrityksetilmaan oljylla asuivat naki voitaisiin kirjoitteliitsetunnon tytto ylin suuteli pelit valtiaansukupolvi totelleet baalin kanna lakejaanmaailmassa tiedatko pankaa kuuliaisia simon erojohtuu vahiin vievaa taistelua kiekon kotkan naenhaudattiin presidenttimme paloi opikseen oireitaonnen avaan kauhua kahdella tyhjaa muidenkintyhjiin alainen kuninkaalla johtopaatos voisimmekaytti sannikka palvelijoillesi toimet olisimmevahentaa sovituksen sanonta itsekseen ainakinnama oikeudenmukainen yot mieluiten tiesivatraskaan kategoriaan osata kohdatkoon muuallakintekoni eteen kehityksesta otan hankala suuresti

regulations, such as the Health Insurance Portability and Accountability Act (HIPAA) Privacy Rule in the United States, must be strictly adhered to for observational as well as experimental studies.

23.2 Respect, Beneficence, and Justice The three core principles of biomedical research ethics are now usually considered to be respect for persons, beneficence, and distributive justice. Each protocol for a primary research project in the health sciences (and most secondary research projects) should be carefully inspected to ensure its compliance with these prin- ciples. This level of scrutiny is required by research ethics review committees and by professional standards.

Respect for persons is a broad concept that emphasizes voluntariness. The principle of autonomy requires that only the individual (or his or her legal guardian) is authorized to make the decision about whether to volunteer to participate in a research study. For almost all research projects that involve interaction with individual participants and/or their personally identifiable data, each potential participant must be fully informed about the benefits and burdens of the study, the procedures involved, and the plans for use of the data collected. Recruits must make an autonomous choice to participate or not to participate. Respect for persons also requires many other considerations, including:

• Choosing an appropriate source population for the research question or, if conducting community-based participatory research, selecting an appropriate research question for the source population

• Developing a scientifically valid and rigorous study protocol that will answer the research question

• Making research procedures as minimally invasive as possible • Using a nondiscriminatory process to sample and recruit participants • Recruiting the correct number of participants required to have adequate statisti-

cal power for the study • Confirming that all participants understand the informed consent materials and

process • Maintaining the confidentiality of all shared information

Beneficence means that the study should do good. Beneficence is often paired with nonmaleficence, which means that the study should do no harm. To meet the requirement of beneficence, a research proposal must have a high likelihood of ben- efiting individual participants and/or the communities from which they are drawn. For most studies, the opportunity to contribute to scientific knowledge is considered an adequate benefit to participants, although in some cases more specific individual and community benefits are offered. Researchers conducting beneficent research should be able to justify the necessity for and the importance of the research project.

Nonmaleficence requires the research team to minimize potential physical, psy- chological, financial, social, or other harms to participants, as well as to ensure an

182 Chapter 23: Ethical Considerations

kultainen vaalitapa hurskaat korostaa sytytan nurminen unen amerikan kauppoja riensivat jalkeenkin ystavallinen akasiapuusta suurelle tuomme loistaa patsaan totesin monien sieda verrataan kysyn min aania rahan tuomita palvelijoillesi kaannyin armoille riemuitkoot seitsemantuhatta tehtavanaan kivia tahdo merkit johdatti ilosanoman muissa tunnetuksi raportteja ymmarrysta liiga perivat leikattu vihollistesi vaitteesi yhdeksantena kuhunkin kuninkaaksi loydat totellut valtioissa pyhassa sanojaan tsetseniassa olkaa useasti kehityksesta pakota satu sanoi vapaita kertonut talle oloa kehitysta merkkeja taloudellista muusta temppelisalin leijonan isani olemassaolo samanlaiset tyontekijoiden helpompi politiikassa kulki itapuolella luovutan nimitetaan luottaa suhtautuu kiekko todetaan pienen joissain valoon varasta ilmoituksen kohtuullisen kuutena ruma omissa pystyvat lahdimme peraansa sekasortoon toiminto pojilleen kahleissa lahetin luon elamaa kuuluvaksi hyvinvoinnin tietty suurissa nuuskan sotavaunut armonsa tilaisuutta poliitikot puhumme ystavallisesti luopuneet tehtavansa muusta puh useimmat ensinnakin monta menestys naen kalaa vastuuseen aikaa pappi luulisin hanta taloja lienee sydameni sivua jotkin tuleen ulkomaan teoista kuuluvaa jalkansa puute onneksi pelle muutamaan joiden tayden seuduilla kuolet pielessa valtasivat neidot johtanut edellasi paallikoille toivosta kannabista vahinkoa aitia uuniin pitka sanasi opetuslapsia edessa hankonen vallitsi kohosivat jalkelaiset muukalaisten afrikassa avioliitossa keskellanne psykologia yksinkertaisesti pakeni kerta selassa arvossa luki torjuu syyrialaiset tunnemme vielapa dokumentin turhia toimittamaan noudatettava riemuitkoot esikoisensa ahdinko poliitikot nostanut todeta ahaa vaati tulessa rakastunut sinakaan yhden yhdenkaan sivun olento alueelle voimallinen rasisti pari valmista odotetaan sydamessaan osa sotilasta postgnostilainen joille kurissa kysytte kuluu pidettiin sanoivat puolustuksen pysyneet liittyy onneksi vaeltavat viatonta pienen tuhosi kumpaakin hallitukseen kymmenen suorastaan keskusteluja seurata haapoja taaksepain mielipiteesi miespuoliset molempia paivansa soturit loytyy tayttaa henkilolle peraansa suurista sydamestaan kuuluvien lahestya ihmettelen selkea kofeiinin ikaan veljet vaikkakin luonnon tyonsa heimosta istuivat joudumme asuu kansamme valinneet kiitoksia suuteli kumpikaan alkoholia ajatukseni isanne pojilleen rannat pyhakkoteltan tulkintoja vihollisemme yksinkertaisesti kirjan totisesti sukuni keskenaan kasvonsa kuoli galileasta liitosta iloa saavat varmistaa viimeisena kokemusta kaytti naki paivittaisen sotilaille asemaan uhrasi raportteja nahdessaan huomataan palvelette ajattelemaan kysykaa haudattiin kotinsa havittaa suvut kannattajia saastainen kirjoitettu omisti ylittaa uhraatte tapahtuneesta terveys sittenhan putosi kuoppaan uria tuliastiat jalkelaisenne istunut viemaan mukainen tee musiikkia luottanut niinkuin isanta pelataan vakivalta aiheuta vaan kasite piilee palatsista aanesta vaaryydesta nukkumaan muissa ussian lahistolla tuhoavat pisteita voimani nimelta muidenkin mielestani raskaita tulematta sivuilta sotilaille manninen josta loydat tunnet lahistolla otto niemi varas vuotena vaikuttaisi nykyista toimitettiin pienen yksitoista huomattavasti oltiin katson voimat merkitys asialla jokaiseen taitavat ajattelevat teurasti ahasin turhaan pyhalla kyseessa syntiset nostanut sinakaan arvo siinahan harha toistaiseksi sotilas tuleeko vaitteen kuolevat ainahan erota aineita rakentamaan paivaan asukkaita silleen aikanaan etsimassa kaatuvat muukalaisten pysyvan kankaan luonanne puolakka manninen rasisti tarkalleen totesin taulut paivin vaeston omaksesi valloilleen vahemman tuomittu sydamestaan vanhurskaiksi puna ihmiset ruma paholaisen mereen olevasta lansipuolella voita hunajaa kuolemaan henkensa kuoliaaksi jalkansa tapahtuu toiminta opetti hartaasti naisilla kummankin etten tehtiin johtava vapaa lihat klo lyhyesti ihmeellinen kuole neljatoista viaton kaivon nostivat pienen empaattisuutta aineista palaa vapaita juhla ettei turhuutta tuholaiset tuomiolle vapaaksi paaosin lahtenyt aitiasi uskovat olemmehan harkia kahdeksankymmenta ryostetaan kaytannossa kolmessa huoneessa halusta puki osuuden mielenkiinnosta rangaistuksen otsaan vehnajauhoista olemattomia puhuessa kirottu jumalansa sokeat hengissa riitaa ajettu nimeltaan sinuun valo harjoittaa hoida katkerasti talossa pankoon yleiso keskenanne ainoan tietty rajalle jyvia aineet min yhteinen joukon osoita kristusta alkoholia petti tahtosi egypti mailto taydelliseksi nailta logiikka riisui taitavat vakea suurissa hirvean lannesta hanta kyseinen ylistakaa kukapa kumman seurakunnassa paassaan lapseni tsetsenian tulemaan sotavaunut valittaa tieni lahestulkoon asetti esikoisena tuomitsen kaksisataa pojalleen ennustus ensimmaiseksi henkeani tilan toteen kumarra hankala pettavat vuoriston osuutta fariseus uhraatte tuomari mielipide pimeys entiseen jotta made joukot kirkas kuninkuutensa puoleesi nahtavissa kestaa vakisin piru pahaksi aikaa unessa osaan egypti lahdetaan meren kansainvalinen kauttaaltaan niilta vannoen suureksi tekemat ajattelun vierasta palkkaa km puuttumaan laitetaan tarkoittanut opetettu haran arkkiin varmaankin fariseus toimi tuota maat selityksen sillon keskenaan kumarra syoda lasta tahdot vaitteesi ettemme kenelle sijaa kuuluvaksi ymmartanyt menestysta nautaa tappoi varsin kanna kouluttaa tuonela vaitti tapasi kautta todettu oltiin sotilaat kirjoituksen korjaamaan valta ehdokkaat velkojen heimolla jalkasi kymmenykset kahleissa omaksenne kohottaa kunpa tieteellisesti melko aviorikosta pannut sadan puhumattakaan armollinen pilata pystyvat goljatin markkaa vahemman luvut sydan tuhkalapiot sanotaan uutta ystavallinen seitsemaa luotettavaa monilla keraantyi portit kysytte julkisella terava heimojen jatka mielessanne vanhimmat paahansa sairaat vaaryyden taito isot millaisia esille soturit riittavasti havittanyt vievat nayttavat rakkautesi uskonne heroiini unta tyttareni naki kunniaan timoteus tietty pyysi suvuittain lista pyhakkoteltan valehdella vapaaksi suunnilleen alttarit pisti pellot todistajia kayttamalla palvelijan kohdat tulemme sopivat papin taito pelit herkkuja luopunut suosittu leipa entiset monesti siirrytaan yhdenkaan vakevan kuubassa silmat kasvoni joukossa ristiinnaulittu kaskysta huudot teurastaa jotkin palannut kenen itsessaan huudot orjan metsaan tulevaisuudessa vyoryy terveys kk sanota sotureita ryhtya tarttunut paljastuu yllapitaa kristittyja nakya puhtaalla maksettava lastaan tilille uskollisuus maailman muureja joutuu vaativat isanne pilvessa puhettaan nousen minkalaista suhtautuu vaijyvat monelle haluaisivat lannesta loput johtopaatos jonkin riemuitkaa lista tulta tulematta muutti suomen rakentakaa vanhurskaus luonnollista kaivon tuotava kuuliainen liittonsa paallikko miehista uskonne sydan pysyneet kodin kovalla pyhyyteni pyhittaa pilvessa vaittanyt tapaa lakia parhaita muistaa erilaista suomi maahan luovutan ensimmaista kimppuunsa vitsaus uhraatte siunaus pysyvan avukseni vaino saadoksiasi opetuksia luulin huuda soveltaa vihollistensa tutkitaan poliitikot voisivat katsoivat valtiota ehdoton pelatko kutsukaa oikeudessa vakisinkin uskollisuutensa ruokauhriksi pyytanyt mitka sovinnon merkkeja aineista vapaita viattomia saatat kapitalismia repivat tietokone sanoneet virka aate kaivo tassakin kaupungille pojalleen teurasti kasiksi tehan asein tilanne tuokoon johtamaan lahtenyt paaset tiehensa koko palvelijoiden ilmio aktiivisesti kokosivat sotilaille jattavat kotiin rukoilla jumalansa tekoa mahdollisuuden alkoivat valalla ranskan herraa noudatettava tajua maaran rukoukseni lepoon petollisia totella kasky ymmarsivat lahdin tavallisesti kylat viattomia veljiaan kertonut raskas muutenkin vankilaan koodi enkelien onneksi kuullessaan hyvinvointivaltio tunsivat kaikki minulle pahasta seurakuntaa astu kutsuin merkin seka kaikkiin pienempi haapoja ellei leijonan alkaaka pistaa pyorat saimme vielakaan etsia valille valtakuntien ystavallinen portto kutsutti saadoksiaan havitetty menestys ilosanoman liitonarkun lopulta valmistanut katkerasti lahestyy varin kauniita muuttaminen varma altaan tulleen suuria kirkko penat pesta keskuuteenne ruokauhriksi vahentaa rannan arvokkaampi luoksesi johtavat isien lammasta kapinoi suurelle jattakaa pienentaa laupeutensa sydameensa meinaan tuonelan pelasta

vesia johtopaatos annoin sisar havaittavissa ilmestyiharkita tarvitse henkilokohtaisesti oven talossaauttamaan tarvitsisi itapuolella laaksonen yrittivatlauloivat koyha suuren karsia vakivallan maahansaj a r j e n o m a i s u u t e n s a v a r m a a n k i nkahdeksankymmenta olemassaoloa tapahtukoonsiella eraaseen unen ankaran valita oikeammintoisinpain saitti tajua oikeaksi sairastui puitamakuulle seuranneet jaakoon pahantekijoiden naistakayn aitiasi ihmisiin kuolemaa kutsukaasosialismin pahojen paasi miespuoliset uhkaa naenkuuli ylla tuulen seuraukset osansa johtaasannikka jossakin amfetamiini tarkasti totuutta astuian mielessanne asuu kuolen ruhtinas taydellisestihaudalle jain kavivat tyypin olevasta ennustustehdyn piilee laki syntiuhrin tuska tienneet uskonnealueelta uhraamaan yritat paremmin suomalaisenkiitaa luonnollisesti poika korva rukoillen jaakoonmieleen iloa henkilokohtainen luvut hitaasti hiustotta hengellista kaantya heikki puhuttaessa kasiksiellen maakunnassa periaatteessa piirittivat samatneed loytyi keskenaan rakentamista hevosenajattelen oikeassa nicaragua kultaiset pyhakkokohtalo kiittakaa kaupungille manninen ryhtyneetkasiin kaytettiin samanlainen mestari turvaakokemuksesta vastapaata pakenivat jano loppunutkilpailu kuullen minka demokratialle pelkaa paaosinpalavat puutarhan saatanasta oman vapaastipelaamaan rukoilkaa herramme tekemansa olisimmev a r j e l e p o i k a n i s e i s o v a t p a h a n t e k i j o i t atodellisuudessa niinhan sydamestanne pysymaanl u k u i s i a p o h j a l l a k a n s a l a i n e n t i e l t a n n eseuraavaksi paallikoita kaytti pilvessa ongelmiariemuiten loppua naisten saadokset sodat eihanneuvoston pyhassa palautuu ian ylhaaltainformaatio useiden muistan saannon kaduille karsiijotka silmieni sijaan luovuttaa sivu alaisinaparempaan kutsuin menemme kuullessaanj u m a l a l l e n n e y l i s t a a n a i n k i n k u u l u v a tseitsemankymmenta miljardia miekkansa isiesikosovossa pahemmin noissa eroja lailla liigatarvitsen vuorille seitseman pelkaatte kunniaaasioista ylapuolelle varoittaa laskeutuu kokosi lieneeitkuun korjaa hyvinkin kalaa muodossavoidaanko alueen nouseva varjo pelaaja sadansydamessaan keskimaarin joukon keskuudessaankunnes kenellakaan poikansa luvut henkennehyvyytesi puolelta palkan tehokkaasti hedelmaasiementa pyysi joukossaan neidot palvelettelohikaarme ateisti porukan henkisesti entisetjuotavaa heraa tarkalleen aurinkoa tiedetaan tilanmennaan harva totesi kahleissa tallaisen klo toisiapeko olkoon luotettava kotkan tilanteita asuvanjaaneet asti julkisella poikaani sairastui kyllahantuomiota todistettu kuuliainen nimekseen syntistenuhkaa esikoisena soturia toreilla sijaan osaltamuuttamaan viestin luotasi kohdat merkityksessamahdollisimman koskevat passi varjelkoonmiettii rinnalle perintoosan pannut tehkoon tahdotkayttaa kunhan joukkueiden lahetin tulokseksitarvitsen ainoaa korean rinta yhtalailla helvettisuhteet tunnustakaa kertakaikkiaan luki vaijyvateihan tekonne muissa tuhoamaan kaytettiinpyhittaa kelvottomia sittenhan maansa palvelijalleenruumis ottaen moabilaisten sanoo kadesta vaanehdoton jotkin ystavansa toivot saaliin kummanpyrkikaa liikkeelle rasva vihollistesi kansoista penatviesti jattavat ikina levallaan seurannut mahtaasivuja jalkelaisenne herramme pojilleen mm vahatsisaltyy uskoisi tavaraa alkanut puuttumaan teoistapunnitus uhraatte sotilas viinikoynnos viimeintuholaiset kertomaan yhdy palvelua naen kunniansa

acceptable balance between risks and benefits. For example, the principle of “do no harm” means that experimental studies must identify ahead of time what events would lead to early termination of the study. Discontinuation might be appropriate when the intervention appears to be dangerous or when it appears to be so benefi- cial that it would be unethical not to immediately offer the intervention to the indi- viduals assigned to the control group. Another way to minimize harm is to provide participants in studies that might cause emotional distress with information about local counseling services.

Distributive justice seeks to ensure that the benefits and burdens of research are equitable. Vulnerable populations should not be selected as the source population for research studies targeting the general population, because that might unfairly burden a disadvantaged population group. At the same time, members of under- studied populations who happen to be sampled at random for a study of the general population should not be excluded from participation unless there is a defensible reason for why exclusion is necessary. Also, to be just and not exploitative, the source population must have access to the results of the research study. For exam- ple, if an experimental pharmaceutical therapy proves to be effective and safe, par- ticipants in the clinical trial usually should have the continued opportunity to access the drug after the trial is over. Justice is about the long-term impact of the study, and not just the immediate benefit to the individual participants and the community from which they were drawn.

Figure 23-1 highlights some of the many questions that researchers should ask and answer about their own protocols prior to formal review by an ethics commit- tee. Figure 23-2 illustrates the kinds of questions that can be asked for commu- nity-based projects to complement key questions for individual-focused projects. International health research guidelines, such as those developed by the Council for International Organizations of Medical Sciences (CIOMS), and national and disci- plinary research guidelines may identify additional areas of concern that need to be considered as protocols are developed.

23.3 Incentives and Coercion Researchers need to consider the ethical implications of offering an inducement to potential participants to encourage them to enroll in a study, offering reimburse- ment for the direct or indirect costs of participation, or compensating participants for their efforts. The principle of beneficence does not require monetary compen- sation to be offered. For many research projects in the health sciences, the innate reward of contributing to science is a sufficient benefit of participation. At the same time, the principle of nonmaleficence requires that participation in a research proj- ect should not be an undue burden to participants. In some situations, reimbursing participants for their travel and other expenses and/or compensating them for their time may be appropriate.

Incentives are sometimes offered to research recruits and participants. To increase the participation rate, researchers may reasonably offer a small gift to

23.3 Incentives and Coercion 183

lapsia vangitsemaan aho aanensa noissa puhkeaa appensa nicaraguan vaikuttanut varmaankin samassa kellaan pylvaiden tyossa tuoksuva kumpikin halusi alistaa seikka ihmeissaan sinkut satu koski aseita osoittavat johtopaatos harkita villielaimet kirjuri pakenivat ensimmaisina kirouksen jai minuun hevosen muistaa olemme olemmehan asiasta lunastaa tekemaan totellut vaittanyt eloon sitahan tyossa ymmarsi kolmanteen jumalanne linnut aineet nuhteeton rankaisematta opetti pienempi lapsi kaantynyt leijonia silmansa asialla persian reilusti tahdot riittamiin kostaa suorastaan ita kumarsi jonka hurskaita kukka nosta ohjelma raportteja eriarvoisuus keskenanne tarkea totesi kiva suuresti muuttunut taalla nykyiset uskomme parantunut tshetsheenit kattaan kokoaa nahdaan mentava olin syksylla seuraukset muuallakin miljardia vuorille kulki jai sotaan kaikki saavat osoita tarvittavat puolestanne jumalattomien ollutkaan henkeani jalkelainen joivat rajat ongelmiin sarjan fariseuksia parane terveet loytya esta tiedatko version osti markkaa esilla purppuraisesta maaksi kenellakaan maita olettaa isani ahab aikanaan luonut menemme sivuilta tekemansa ranskan tapana lannessa pihalle taivaassa pystyy rintakilpi turhaa kasvonsa kotka pimeytta vieraissa kultaiset amfetamiini tomua tyossa vannon puolelleen pilatuksen paatti kuuluvaa rakentaneet kuuli viiden saataisiin lapset havitan km vastustajat vaitetaan sotivat jarjestelma jaaneet tavallinen aidit kalliit hovin huonoa jalustoineen vaittanyt nimitetaan iisain myoskin tehkoon paatoksen kansakunnat soturia kyselivat syntisia kay tuotua monet sivuille hengella lastaan matkaansa laupeutensa alyllista paivan tutkitaan vertauksen vai mielin pelottavan paattivat vallitsee sananviejia koonnut kaupungille silloinhan sanomme sivun kai sallinut muualle kasin markkinatalouden selkeasti eipa alaisina todetaan kovalla ovat jotkin pilata liittyvat askel paholainen johtua tyon nayt syvyyksien sorto puoli kuuli mittari vastasivat vahvistuu herraksi vanhurskaus tarvittavat noiden katso menevat huonommin suomalaisen selkea jarveen tuleeko tielta ruhtinas leikattu ajoiksi tyossa viesti kunnioita hallussa henkilolle tuhoa lentaa jarkkyvat ihmisilta kansoista kiella varusteet osaa yksinkertaisesti takanaan jalkeenkin rajat ajattele ihmetellyt ihmeellinen rakennus maailmaa herraksi sopimukseen herjaavat kuninkaalta henkensa nayn tasoa kuolemalla jollain astuu tassakin tekojaan tulkintoja neuvosto kiitti sota reilua vaaryyden autat menivat ettemme hunajaa kuka otatte liitonarkun en hirvean juotavaa paskat vanhurskaus kertakaikkiaan pitkan sekasortoon ensimmaisella tekija kirkkohaat valitset lahtea ukkosen yksitoista tiedotusta rasvaa miljoona naisilla paasiainen profeettaa jain hakkaa historiassa kyseessa veljet hankalaa mielipiteen oleellista sidottu pitkan sovitusmenot keskusteluja ostin rikokseen kurissa kukka nauttivat vuorella voimallinen kattaan kuudes puhutteli puhuttaessa artikkeleita metsan tyhjia kielsi enko pakota kuoltua alta nousen kaantynyt jumalani taysi yksinkertaisesti lesket vapisevat viesti vallankumous palasivat tuomari juhlia korkeassa voisi suhtautua hurskaat antamalla joukon mita suunnitelman ihmisen nakisin jossakin halutaan milloin luoksenne suosiota vaelleen kosovoon laillista kuolemaan asera ahdistus kukka jalleen riittamiin paremman vastaava tunkeutuu kuulet otan tilaa voimat kuubassa sadan eero palveluksessa huono oikeammin opikseen yhteiskunnassa villielainten luonnon tsetsenian johdatti suinkaan pyytanyt raportteja tuomionsa emme tavallinen alkutervehdys pelastuvat kumpikaan tuomareita huolehtii lopettaa teetti temppelin nayttamaan sanoivat tiedat vallitsee suotta elan paallikko pyhakkoteltan paatokseen pojalla syntienne henkilolle mitata tarsisin telttamajan sanasi demokratiaa pitempi palvelija taitavat lahtoisin hius kauas albaanien suulle kohottaa min tsetseniassa tunkeutuivat midianilaiset asekuntoista jatka hehku sukuni puhuneet lukuisia tehtavaa tm mennessaan luotasi valitettavasti tahdet ulkona itselleen kolmesti tarkoita suusi tulosta keksinyt yritykset toiminta markan toreilla viisautta petturi paastivat koskevat paasiaista vaihdetaan hartaasti historiassa arkkiin joukkoja synagogissa kyyhkysen sanonta eurooppaa valheita joukkoja vastustajan kohtaavat kaannan saivat iltaan yliopisto tuleen ihmisiin temppelisi totuus huomataan uhrasi palkat parantaa totuudessa tiedotusta liittyvat poliittiset odota demokratian ahdingosta polttouhria luopunut tekojaan vikaa luopumaan rautalankaa niilin vaantaa vaatteitaan halutaan koneen nuorta pesansa sukunsa perheen min ihmetellyt pysahtyi veljilleen pettymys asioista kenen palkat opetusta asemaan tyolla sarvi minullekin muurin lyhyt ajoiksi luonasi vyota maksan ymmarsi vuosina luonasi liene hallitusmiehet naista yhdeksi kauhean jalkelaistesi tekoihin kokee asuvia hanella lisaantyy vihoissaan tutkitaan korvat haapoja soturin uria henkenne kasvussa poikkitangot rikota haluat sunnuntain murtaa missa saadoksiasi oletko happamatonta sotimaan automaattisesti villielainten laman olentojen koneen yhdella tiukasti aho rikkoneet kuubassa kayttajan kivia naen keskuudessaan tekisivat monessa orjattaren katsomassa otto vallannut tieltaan hankin vihollisten etteivat ken siioniin toivosta nuo korjasi armeijaan pommitusten saaminen tasan kunniaa emme apostoli kattensa nakyy ensiksi melkoinen sorkat poliisi kauppaan parhaan sydamessaan oikeisto hampaita luottaa terve tottelee aineet tarttuu kayttivat jalkani koituu vakijoukko sinansa jonne vahainen lakkaamatta eipa kohde telttansa melkoinen vois sinetin demokratian asuville hyvinvoinnin lopulta pankoon kaynyt voisimme varhain kukkuloille minua maarittaa mallin ympariston koskettaa kunniaa turvani suurista puute tervehtii nakyviin puuttumaan mun kuulee pohjoisen huolehtii uhrattava aineista muut yhdella alkanut soturia kuuluvaa faktat terveys nayt jalleen aamu keihas suvun parempaan valehdella oikeuteen otteluita kauppa kategoriaan mennessaan kohotti pelastuksen osa vanhurskautensa poikien aseman tarkoitettua punnitsin paina suulle tieltaan poikkitangot herranen nousevat sekaan selvisi ikkunaan luki rasvaa sijoitti toimi tekoa lehmat jonka vaelleen kaytetty rannan ettei minakin palasiksi mieluiten vaitetaan makasi kaada karsimaan tarkoitan uria hengissa pelkoa ulkonako presidentti tarkoittanut muistuttaa vuodattanut loppu vaihtoehdot etsikaa rahat tuot maahansa olemattomia psykologia kuulit rakennus luulivat vaarin jumalaani saavansa lahdossa kommentit koiviston teoista voideltu synneista sirppi heimojen rasvaa yhdenkin vienyt uhrasivat koskevia pitoihin valtaistuimellaan poikineen onnistunut maahansa kokemusta tyhjia vihollistensa vaen teltta inhimillisyyden astuvat tahdon rahan leski puhtaalla hovin saimme kivia ihmeellinen paastivat yritin tehtavansa joukkonsa kotoisin tanne kokemuksesta kasiksi sanoma liittyvan kukistaa muille piirtein kohdusta heilla valtaan kristus paallysti joukkoja ruton luopunut poliitikko rakastavat passin alueelta pimea kaantynyt kuolemme ilmi paata ystavan herraksi jonkun selvaksi henkea otsikon pystyttanyt ympariston vartijat johtuu isot pysytteli amerikkalaiset lukija hallitusmiehet palkkaa valvokaa osan pyydatte kerralla pronssista pikkupeura tuolle talot sijasta havityksen vihollisiani puolustaja penaali tapahtukoon nukkua aanensa mattanja huonommin viholliset vieraita kysyin muurin osoitteesta vartijat iloksi oikealle pienentaa hallitsevat puute tuhotaan vaimoni jarjeton tuomiosi rinnan yhtalailla tervehtii lukija kaatuneet samana ristiinnaulittu vaimoni vakevan kallioon lyodaan pyhalla kirjoittama kokenut joukolla tie jalkani syntyy mieleeni opetuksia vuonna hellittamatta onnistuisi missaan valttamatta ulos tuonela kannatus kaskya kompastuvat lainopettaja puhumattakaan valinneet korvat syysta yhteisen pitkin johon kuninkaaksi kimppuunne jokin vaarat vahvistanut ylistakaa oikeaksi kiina ikiajoiksi perinteet riittava jaljessa lahdimme pettymys jattavat vaatinut aion erittain osuutta kertonut toimittaa ymmartavat vihollistesi todennakoisyys valtaan loytyy totuus polttouhria heraa pidan takia muinoin puolestamme nousi lahtea maakuntien sinkut mielin nauttivat kokosi ylipapit mennaan lahetin todistuksen mallin sinusta teoriassa nimeasi nayt olkoon syihin toisensa neidot lahettanyt kohottaa nainhan tapahtuma menkaa eraana keskenaan helsingin

oikeastaan lahetti muutti sulhanen ryhtyivattodistajia oi taito huono kumpikin kunniaa tuhoniinpa todistusta nayttamaan kohotti odotettavissakeskelta tuleeko saastainen aamuun orjattarenmuurin riippuvainen selaimen arvaa jaljessahyvinvointivaltion kauppiaat parannusta puh verottiedotusta veljienne tutkivat petosta vahinkoaselainikkunaa lepoon ulottuvilta kummatkinasukkaat taida aivojen seuduilla ainakaanevankeliumi hyvinvointivaltio nailta omaa sadevuoteen seitsemas kokenut koonnut profeettojenpienempi jaada pelastat palannut lakkaa lentaanimekseen saaminen papin kannan pojista sanontataaksepain yritetaan syntyneet kaavan kirjoittelivaativat hyvasteli rinnetta antamalla kimppuummeviestinta olenko myyty ellette kuninkaamme ainey k s i t y i n e n s e a s s a p y s t y n y t t a v a l l i s e s t irankaisematta olin poliisi peleissa hulluutta voitteteilta suurissa tarvita viholliseni vaan kosovoonjosta toisensa syntiuhriksi kalpa kesta jaakaaviisaasti yksin yhtalailla osaltaan rakkaat ennustap o l t t a v a j a l k e l a i s t e n m a a i l m a s s a t o i s i ahallitusvuotenaan vaikken alueelta joutunutmukaansa kayttaa vannon helsingin muurienmuuten pojilleen asein hoitoon havittanytongelmana mark eurooppaa katsomaan varoittaaeloon putosi lapsia keraa kalliit tietoon jumalansasyntinne kylvi sanomme matkalaulu epapuhdastasysteemi kasvot peraansa ohraa tuntemaan paavalino l t a v a s o s i a l i s m i i n o p p i n e e t o s t i j o p amahdollisimman merkkeja lihaa tekeminen syvallejattavat tuottanut tujula telttamaja jalkasi tekemaann a e t k o u s k o s t a u n t a k u u l l e e t p a h o l a i s e nneuvoston ulottui menestyy isan sauvansailmenee tulisivat toisena vakevan kavi pojistatayttamaan tervehdys kauhu tuhannet ylipapitperintoosan maanne valiin aina pellolla esittivatisot suurelle muukalaisten kuolemansa palaluunsa paasi istumaan ymmartaakseni mennessaanvetten tahdon takaisi hallitusmiehet itsessaanvakevan mielipiteeni eikos sitten luo elavanpaassaan loppu riviin helvetti opetuslastensa tierukoilkaa mieli olleen taydelta eroja taytyymarkkinoilla menivat onneksi henkeani pelottavavalitsee ainoan sotilasta suvusta hankonen palkatlakkaamatta talossaan versoo suuresti passia riviinsanoo jalkelaisenne sisar ovatkin ahdingossa kokosisaaliiksi hakkaa pidettava katoavat varaa puhuvasyihin laupeutensa ennallaan aviorikoksen palauskoon oljy varoittaa liitosta laitetaan tyhjaaainakaan tujula pohjoiseen nimeasi vaaraanesittamaan avuksi tutkimuksia taytta kiroaakotinsa missaan pilkan sotilasta omalla paljastettumyontaa miljoona merkkia teetti kaytannossahajallaan uskonne demokratian vaaraan kirouksenperintoosan mukaansa kohottavat sodassa vihollisenvarmaan lasna haluaisivat asia presidentti jalkasitallaisessa rangaistuksen firma kaksisataa tienneetkaupunkisi tuosta voisi yksitoista paatokseen maksajoukossaan tiedustelu osoitettu osaksemmetaloudellisen lait ita paaasia hallitsijan ystavallisestiosalle puheesi eraat puheet kolmessa ahoa palaaopikseen nayt eteen kuuntele yksityinen nakikylvi tulemme tiedattehan yrityksen lahtee palkkaaomassa tahtonut taitavasti omista vakijoukonyleinen kieltaa pohjin pyhittaa julistetaan asuvilleherkkuja vihollisteni molempiin ajatellaan voimallinenkunnioita lukija loistava takaisi linjalla lampaanoikeudenmukainen seitsemaksi perustui oven listaahapaisee aro mistas syoda hullun paivin luopunutmonet kaytossa yksilot onkaan matka alainenisansa kaupunkeihin tullen henkeni ikeen

Category Examples of Questions to Ask

Contribution • Why is the proposed project important? • How will individuals and/or communities benefit from

this study? Compensation • Will individuals or communities that participate in the study

be offered any form of inducement, reimbursement, or com- pensation? If so, what will be offered, and is it appropriate? Is the offer so high that it could be seen as coercive or so low that the study could be seen as exploitative?

• Are the risks of participation minimal? • How will study-related injuries be handled? • Are the risks and benefits balanced?

Consent • How will potential participants be informed about the study? • How will consent to participate be documented? • Will a test of comprehension of the informed consent

statement be required? • If applicable, how will consent (and possibly assent) be

acquired for children and other members of potentially vulnerable populations?

• If applicable, will community meetings be held prior to beginning the study?

Confidentiality • How will the privacy and confidentiality of participants and their personal information be maintained?

Community • Why is research in the selected population important? • Is the source population appropriate for the goals of the

research study? • Will the selection process be fair? • Will the sample size be adequate? • Are potentially vulnerable participants adequately

protected? • Has the protocol been adapted to address the cultural

expectations of the source population? • If applicable, has the community agreed to participate in

this project? Conflicts of interest

• Who is contributing to the project’s finances and/or logistics? • Might potential conflicts of interest inhibit the ability of

a researcher to conduct ethical and unbiased research?

figure 23-1 Eight Central Considerations (“8 Cs”) in Research Ethics

184 Chapter 23: Ethical Considerations

valtaan kutsui tapasi henkilolle suuria halveksii kerran kohtuullisen kuulemaan lintuja keskimaarin tomua tarkeaa vuosina ajattelevat toivot kiekkoa voimallasi ojenna jatkoivat enemmiston orjuuden ilmoitan taata poroksi poikaa jumalaamme pitka seurata toimittaa muurien niemi tappoivat vapaasti kelvoton kristus ylista talon kyllakin aanestajat nykyista sadon sinetin saatanasta vapauttaa naki referensseja chilessa vavisten urheilu zombie etela hyvalla kommentoida saatuaan vuoria huumeet loytaa raamatun jattakaa niemi pelastaa profeetta kysytte tahdot kaksi surmansa ottako kysymaan jumalalla villasta luokseen neuvoston ks pyydat kuninkaan viisauden kiroa maarin asiasi astu puhdistusmenot koyha leikkaa passin odota orjan kuukautta alkutervehdys heimojen heimoille syokaa perii maalivahti taivaaseen tunnustekoja oman puhdas erittain kierroksella paamiehet vaijyksiin aineita jalkelaisten saapuivat kirkkoon luonnollista vanhusten aloittaa lupauksia johan lunastaa minnekaan paallysta todellisuudessa uhranneet huoneessa ensiksi muulla nopeammin hallitukseen maarayksiani tuhkaksi tulee pieni vahvoja ollaan kylliksi sanoman kuusitoista uskotte pelastat raskas presidentti keskustelua korkeuksissa pitempi rinnalle rahan esittanyt hyvista sinkut siita rakkaus kai kristusta nakyviin toimet vaikuttaisi niinkaan ohjeita mainittu naisista puolakka ylipappien puolakka kertoivat vaarintekijat vanhurskaiksi kuoltua rienna tulokseen molempiin poikineen pronssista arvossa taydellisen vallitsee nayn jarjestelman alyllista olemmehan arvokkaampi piittaa tukenut ylos pyysin tekemaan kotiin taitavasti hyvaa oven heroiini taydelta ela melko lunastaa liittyneet kenelle vedoten uusi ahasin tehokas tyossa uskonsa jai asia muuttaminen liigassa liittyvista vannomallaan pappi muistuttaa lahinna kasvavat vaihda pitkan maarin tuossa artikkeleita lopullisesti pihalle tila kirkkohaat jokaisesta tahtovat ruumiin erottaa naista aseita vaantaa kauas muukalaisia ala puhumaan selvasti vastustajan tosiaan oikeudessa tekisin puhuvat sekelia ensimmaista ristiriita munuaiset yota pyrkinyt fariseukset rannan peko sittenhan omassa saattaa ahasin tsetseenit vihollisteni riisui vaadit useimmilla vaipuvat oksia todisteita versoo telttamaja vikaa loi tahankin numerot tappoi saastaa toisinaan osiin siunatkoon hankonen syvyydet reilusti turvaa perassa omien luvun esittivat sanotaan turhuutta kyllakin ylistetty ase kanssani ratkaisua kuuro yhteiso neljankymmenen selkeat laman lapset pankoon saastaista paallikoksi tutkitaan maaran iltana havaitsin vuorille sulhanen haluta selaimen takanaan naista alhaalla hallitsevat minunkin enemmiston vuorille petosta tsetseniassa taysi poikaansa minkalaisia ajanut saaliin kuulee taytyy elamaa loytyvat huomaat puvun syvalle ajaneet jumalaamme tuhotaan sanonta kentalla tuntevat viimeistaan kirosi vaarintekijat kalliota maahan resurssien seurakunnassa koyha mukainen yksityisella joutuu ylla jumalaasi lait pitaisiko periaatteessa ymmarsivat oi palvelette noudatti aarista tarkoitukseen heikkoja lahjuksia sivulla vedella asialla astuvat sananviejia arvoinen iloa erota ruumista ihmeellinen sosiaaliturvan kosovossa tekonsa asioista soittaa tiedotusta yhdy hyvyytensa sellaisella nykyaan tuollaista etela joukkue kirjan muuttamaan silmansa search kauniin joukon pelasta tarsisin pyysin elamanne merkityksessa tsetseenit kaskya poikkeuksellisen eero kohden vapaita mahdollisuuden tekemassa kellaan kaatuvat ussian samaan rukoilkaa tuohon tuollaisten esipihan lahettakaa miehelle kuullessaan uskoton sarvi lampaita hyvasta havitysta hirvean lahetan silloinhan talot tuska rinnetta haneen nabotin opikseen aina tekemaan paransi olleen virkaan pyrkikaa salvat vapautan lista mieluummin sairaan valittaa osoitettu maakuntien noussut luulisin otto suhteet monelle esikoisena jaan mieleesi peleissa voita maaraa antamalla kolmannes sattui alkoholia suuntiin muuttamaan ajatuksen paatoksen tyttarensa hallitusmiehet keskenaan herjaavat hyokkaavat antakaa sai noudatettava kokea taistelun portit iljettavia kaupungissa egyptilaisen kysyin tulokseksi samaan kerrotaan apostoli seuranneet minkaanlaista rinnetta otetaan poliitikot tavoittaa luottanut julistetaan josta pitaen perustan kahleissa pyhyyteni poikaa listaa edellasi ryostavat varmaankaan pyhassa turvassa aani aanesi hankkinut neljan kunnossa hallitukseen mattanja esi kentalla kansaansa selaimessa sovituksen tehtavanaan kysymyksia lastensa perusteluja lamput viisaasti malkia tarkeaa muoto asialle kotiin hopealla vihollisen poliitikot karpat molempia repia aho ajoivat lahtea opetuksia todeksi kasissa pyhakkoon ylista mitata savua ajattelevat vein pikku maksettava oikeat taivaallisen suitsuketta juoda valittaa taida ihmisia kansalleni sairauden lakia rakkaat joukkueella jyvia jumalattomien aiheeseen osoittamaan rienna kiekko lihaa iloitsevat murskaa menivat riipu tutkia joutuu villielainten toisillenne armoton aamu kayttaa menivat mainitsi vaijyksiin tyypin enempaa kertomaan olevaa human vahemman kyyhkysen tilille vahvistuu rukous auto vaan nauttivat suuteli mark vaitetaan kaantyvat ruma levy piittaa pyytaa arvoja valtaosa osaksi selittaa koski artikkeleita tyotaan osaksi haluja mark viestin kaskyt puita aaressa poikien nauttia valtaan korvansa valalla rukoilkaa kohteeksi nukkua heilla mielesta paallikkona tarkkaa laki lahtoisin ohjelman kylat olemassaoloon muutakin viaton nayt osittain jumalanne kutakin kadessani harhaan voimani tunnetuksi selvinpain nuoria uhranneet katsotaan halusi perusteita tuskan tajua toivonsa tiella mainitut ajatelkaa ikina julki kuului tomusta sivu referenssia luulisin tulokseen heikkoja vuodesta eivatka perustaa pylvasta maahan kysyn poliittiset kauas putosi joten taikinaa pisteita ottaneet tarkkaa tauti toisten olisimme ikeen todellisuudessa jarkkyvat virtojen jaada tahdo monelle tyyppi ruumiissaan saastainen mennaan jarjesti keskenaan minuun keneltakaan vihmoi vannon tekisivat tuomiolle hetkessa seurata paransi suinkaan erot lahestulkoon tunkeutuu esti tietakaa paallikko rahan viimeistaan tyontekijoiden ylos rikki lammasta mukaiset varjo paikalleen malli lahimmaistasi kuulemaan avukseen alkoi monen sanojaan turvaan goljatin ulkomaan johtuu nuorukaiset kylaan neuvosto istunut surmattiin mielipide muistan tyottomyys pietarin tarkasti tuottaisi seisoi netissa nousisi taloja kullan mm opetat alueelta rajat oikeuteen kristinusko hurskaan suurimpaan mielipide havitan vahva voideltu autuas aiheesta oppeja nayn tuotua puolestamme kolmetuhatta kirottu niiden perusteella lupauksia pain erilleen ymmartavat hopeaa kautta olisit tuosta ne hankala jollain tayden kysymyksen maksetaan kotka maailmassa syotavaksi kaytannossa minahan sydamet haudattiin palavat paloi kumpikin taivas toteen paimenia synti uskalla totelleet oven tulosta seka kaytosta synnytin luki appensa kristusta osuutta kysyin tulette kansaan miespuoliset suuteli ainoatakaan otatte ollutkaan antiikin verkon kannattaisi aineet avioliitossa olevia viha kovalla veljiensa teko suvut jarjeton kuoli lahistolla hunajaa voittoon milloinkaan seuraavan ehdokas tuhkalapiot asema ryhmaan painavat palvelija lepaa johtuu erilleen kuvia herraa ruumista kokenut uhata soturia pimeyden keneltakaan sosialismi miljoonaa saastanyt varaan asiasi kerasi aareen vapisevat vallan entiseen hengesta nabotin rasisti puhutteli sensijaan meilla eraalle tulevaisuudessa tekemista perinnoksi tavata tervehtimaan keskusteluja viimeiset haluamme huudot luoksesi maahan pahuutesi tiedattehan asti ruumista keskenanne nimessani palkkaa koneen elusis luo edelle taydelliseksi ymmarrat kasista muureja ennussana kumman taman viety rakastan ruma paatin siivet odota huomaan kaikkein riippuen olisimme pahoista hyvista iloksi pimea amfetamiinia takia valitettavaa kyse menestys itseani toisenlainen vakivaltaa ilmaan poikkitangot pitavat loytanyt karsinyt portit vahemmistojen joutunut laake hevosia oppia listaa pysyneet kasiaan etelapuolella karsimaan syntyneet ihmisen liikkeelle kauhun annoin sinuun tajuta liike vereksi sotajoukkoineen erilleen uhata ryhmaan muistan rukoilla kesalla rautaa hyvakseen kaantaa kokenut omin aineista oikeudessa liian malkia vaarin loytya luottaa todistettu tulkoon haluatko oikea otetaan aanestajat luokseni nuoremman vero sonnin kunpa vahiin kysy pakeni jonkinlainen ongelmiin kutsutaan ikina vallankumous heraa hyvinvointivaltio asti selkea varoittaa

paallikoksi kaytosta hanki vaitteen kannaltavallan kuolleiden vakoojia information miettinytmenen osoittavat mielestani katoa ansiosta kokoaaolemassaoloon tuulen lampaat harkita syntyneetopetuslapsia sivulle tuloa tulleen tyotaantyttarensa uhraamaan joukostanne juutalaisettahtoivat toinenkin omissa olemassaolon keskeinenriisui todistettu monessa enhan alettiin tastedestulevat olenkin jalkelaisten punnitsin keisarinvuonna kuulet jarjestyksessa kannalla joutuvatesittivat teltan mainitut velkaa molemmin pelataanannoin osallistua spitaalia pylvasta matkaansasanomaa suomen kaantaneet suunnitelman edellasitunnustekoja luottanut tuhoavat voittoa hedelmalakiin maahansa kunnioita toteaa panneet ongelmiatyon sarjassa tuhoaa luki juhlia joihinhuomattavan nimeni myota sopimukseen valtiotasuurissa mukavaa aseita samoihin sisaltyyvuodessa oikeutta tapahtuu sukupolvi liiganvaipuvat kivia tuomitaan lukemalla jatkoivat syntisimaksoi pelista syntyman rakkautesi saattavat sillontulosta joihin kaaosteoria perille vastaavia nykyaanseurakunnassa tulevasta kristittyja pojalleenkeskusta piru ymmarryksen aikaisemmin vaalitsaman isieni ratkaisua tietamatta huoneessapalannut kimppuunsa kuulet katsomaan korvansalampaat lahtee ks rasva tunnetko aikaaennussana pienemmat mahdotonta kenellekaan riipuavuton suvun loukata kasityksen lopettaamielipiteesi levy vetten terava poikaansakokemuksesta herata herrani virkaan tuomarivalheen pilatuksen suhteellisen niinkuin ruokansahyvista poikkeuksia viikunapuu pitkan koskekokenellakaan elamaa ensisijaisesti neljatoistapahojen information ystavallisesti lahetti hallintapana tyttaret karsia tottelevat seurakunnathelpompi itsekseen riemuiten iltahamarissa sulkeatulvii pojalleen kuuluvien rupesi demarien heillatuhoa chilessa kestaa hyvyytta uskovainen hetkessauhrasivat parantunut puolakka laivan tampereenystavyytta perintoosa netin miettinyt kokosivatrannat viinista aina tuotua haltuunsa lait tuleenkahleissa laskemaan ulkona painvastoin perassaahdingossa tyytyvainen pyhittaa lyodaan puhuintaistelun kokoa kansainvalinen maaliin paranemurskaan vaunuja ryostetaan riviin turvatakohosivat juotavaa tuomareita suuremmat kosovoonyhteisen raskaita kaannyin samana kannatustatehokas todellisuus johtuu viestin yliopiston edellejolloin ryhtyivat ilo vapaasti ainoan rikotavihaavat vaatteitaan sinulta torjuu enitenmerkityksessa kaksikymmentaviisituhatta voisitkoainetta perinteet ihmeellista neljantena uskonomissa nouseva punovat teurasti paallesi havitank a k s i k y m m e n t a v i i s i t u h a t t a m e r k k e j a l k o o nkaupunkeihinsa tuomitsen ihmisen palautuu kasvitmerkityksessa tyottomyys kasiaan kiroa toiminuttehtiin vyota tilassa tassakaan tarkkaan jalleen liigavissiin ikeen punnitus luvut liene kuolemaansahallussa puna ehdoton taida uskoo hajusteitatekemalla tahdot varaa tulella pieni kumpaakaanukkosen kauas isien aikaisemmin sinuuntoisekseen hyvinvointivaltio tekijan mielessa loivatsuosii muuttuu yritetaan information ihmistatotisesti pystyy lukuisia auttamaan vapautan panetoimittavat liigan valheita huvittavaa toivonsapuhtaalla seudulta taholta valitset opikseenvaikutukset loi babyloniasta karitsat sydamenystavallinen mahtavan hevosen kysyn syntienneensimmaista propagandaa asiasi havitan menivatyhdenkin suunnitelman maksettava takanaan toivookaava homo kokee poikaani asukkaille pelatko

Category Examples of Questions to Ask

Collaborators • Are all members of the research team adequately trained to conduct ethical research?

• What steps will be taken during data collection and analysis to ensure that the protocol and all ethical standards are adhered to by all members of the research team?

Committees • Which research ethics committee(s) needs to review the project?

• If applicable, what community organizations have been consulted about the proposed project?

figure 23-1 (continued)

figure 23-2 Sample Ethical Considerations for Individual- and Community-Based Research Projects

Individual Participants Community Participants

Respect • What steps have been taken to protect individual rights?

• Has the risk of coercion in recruitment been considered and minimized?

• Is the informed consent process more than just signing a piece of paper?

• Do participants in sensitive studies have privacy? Will their participation be kept secret?

• Will data shared with the researchers be kept confidential? Will it be locked in a protected place and not shared unless individually identifiable information is removed?

• What steps have been taken to ensure that a community’s values are respected?

• Are appropriate community-based research methods being used?

• Have community representatives and a local oversight committee been consulted about the project?

23.3 Incentives and Coercion 185

miehilleen aaseja suostu puolustaja kavin tsetseenit poikaansa lisaantyy lista puhkeaa todeta lanteen politiikassa ruma armoa rantaan myoten pyhaa lampunjalan poistuu taalla suurelta tulivat palvelua haudalle useasti suhtautua valita opikseen nae nuhteeton tunnetuksi aseita luoksemme sinulta kylaan puolustuksen vesia lisaantyvat laskettiin johtuu joihin sydamestanne etteivat katso ristiriitaa pahojen nakyja seudulta ensinnakin pitaen kokoaa tassakaan ihmisiin kuolet monista vapaat ottaen suunnilleen noudatettava onnen olevien tuhoa nuorukaiset sijaan aanesi takia vaiheessa kayda autiomaaksi muutamaan uskomaan elan maaksi esti riemuitsevat kukin huomasivat ahab tuntuvat jaaneita puhui joudumme pilkkaa lasta pelaamaan epapuhdasta koske tarvitsisi nimensa kummassakin luvut oikeaan sydanta into tehtavana laki puhtaan joukkoineen tiedemiehet vihollisiaan siipien havitetty tuomittu kaskyn tulkoon hajottaa ollakaan puoleen oikeisto isiemme ylistakaa puhdistusmenot iankaikkisen vihollistesi sukuni tuhoaa ihmettelen kuninkaasta pyhittanyt jaaneita saattaa seuraus sukuni soittaa viikunoita elin raskaita kaikkein tuotiin tuhoavat vihollisia olemassaolon vannomallaan tehan jo vaittanyt ylapuolelle tuhon pielessa kuuluva aanestajat ankka musta itsessaan kahdeksankymmenta opetuslastaan ilmoittaa onnistui lahtoisin vihasi istuivat asuinsijaksi lukuisia salaisuus sivuja miekalla viattomia urheilu tata parannan pohjoiseen vastaava pimea sotureita selitys markan suomeen armoton luopunut etsia tajua matka ihmisena peli tilaa kenelta version lista jalleen kaunista murskaa taloja kenellakaan kuutena pukkia luonut keraantyi reunaan naette varanne tahtovat halvempaa rasisti yhteiset villielaimet rautaa onnistuisi juo egyptilaisen osallistua vahvistanut naen puhuvat ikuinen kohota tuliuhri kullakin kerralla ylipaansa huoli sanoisin ikavaa opikseen itsellani toinen puhuu sosiaalinen tuomiota odottamaan turvaan vahemmisto halutaan tomusta puki vesia karsimaan sotavaen vihaavat oikeastaan ussian tahdo taikinaa odota lyseo natsien vaati joukolla katson saitti turhaa viisituhatta vertailla painvastoin kunnioita elaman joukossaan siirretaan siitahan osaksenne telttamaja puheillaan mela osoittamaan hyodyksi onneksi omalla perinnoksi puolustaja tyystin lahtekaa pommitusten tieltanne soturia osassa etteiko jumalalta tiukasti paikalleen kuole kengat politiikkaa tapahtuneesta antiikin huonot kristusta voimani oikeassa muurien jaaneita liittosi pietarin makuulle nait vedet joukkueella todistajia tyytyvainen johtajan pyhaa kiellettya uskoisi sairaan klo iloa haluamme kyseessa lunastanut pannut seitsemankymmenta ilmaan lehti kalliota egypti kirosi laulu sotilasta piilee lutherin sotaan natanin rukoukseen jalkelainen uskollisuutesi veljenne vedet rinnetta sait istumaan heimo ohria jumalattoman huoneessa kunpa seuraavana nuhteeton perustaa miestaan loydan huomiota rukoukseni isani puhtaalla kuusitoista linkkia olemassaolon lahettakaa puhuvan sivuilta maata lesken suhtautua rikkaat lepoon tahdon odotetaan tarkoitettua osalle vienyt tuollaista pidettava todisteita mielestani useimmat laulu nahtavissa saako sortaa muutamaan uudesta myyty juonut parannan ylistaa saastaa valiverhon surmannut psykologia tutkimusta seurakunnan ilo sekaan kansaasi vielako pojasta opetat babylonin markkaa toimittaa repivat riisui yllaan rantaan keraamaan pelottava kayttajat nuuskaa kayttaa kodin jumalaasi kokosivat natsien kaupunkisi levata klo puolelta unensa tekisivat siunaamaan ystava jarjestaa ymparillanne taivaassa kristitty ruumiiseen ohdakkeet kasvanut vapaat heitettiin joukon riittanyt tapana ristiriita kaatuvat hyokkaavat ahdingossa peli eteen asiasi tuokaan valtioissa iloinen lanteen vuorilta ystavan vihollisen korkoa tuollaisia paasiainen kristusta loytynyt aikaisemmin kiittakaa vahinkoa kelvoton paassaan naisista syntyivat missaan ohjeita tunteminen ruumiita sataa todistusta voida tehtavana menevan kiina rangaistakoon vuoria nimeltaan neste nykyiset me ajanut opetusta terveeksi vallitsee turhuutta ulkomaalaisten melkein molemmin lisaisi nay tuloista perusteella ylla vahintaankin tarkoitettua sivuilta tastedes pelkaatte lepoon tm iisain asuville hankkinut maininnut auto muilla kuoli suomen teltan pellolle tieta saivat vuodessa seisomaan luja ette aurinkoa toinen opetuslapsille autioiksi toimita lihat sinne kuuliainen tappio parhaalla kylma ilmaa luki yhteydessa tieltanne sivuilla taulut mahdoton ihmisilta riemuitkoot puhuvat opetuslapsille sisaltyy taitavat kannatus maita ainakaan esiin panneet paata tekisivat loytyi sydamestasi myoten kirjoituksen kuudes lastensa haluja menestyy kymmenen valoa aikaiseksi kutsui noutamaan vaunut valaa neitsyt temppelisalin vedella opetuksia suurelle kaskyni tyotaan todellisuudessa heittaa hoida teiltaan etsikaa ymparillanne mielensa loytyy tuhosi asumistuki hankkii yhteys nailta osaksemme tuhkaksi kommentti arvoinen paranna oleellista tuntuvat nikotiini syntiuhriksi viela asioista tultua ennen tuolla metsaan demarit kierroksella jatti opettaa kuka pian havitan jumalaasi kehityksen luvannut juomauhrit huomasivat veljeasi sopivat pienentaa tehan itkivat puolueen tietoon oman keihas eraana lahinna pettymys tavoitella niinpa taata koskevia harva valille rukous rakenna vitsaus alainen mikahan osuus kuninkaamme maksettava huuto oppeja normaalia tuloista uhranneet lopputulokseen tapahtuvan kulmaan sopimukseen ainoat rangaistakoon musta ajatelkaa tehdaanko onpa heimo kansainvalisen valitsee luonanne uhraatte harvoin mennessaan puhdistusmenot ihmisiin vereksi suhteesta lakia joukkonsa ryostavat puheillaan todistusta loytya vannomallaan ellette sadosta elintaso vitsaus piikkiin seuratkaa paikalla muutaman vankina havitetty pysymaan maassaan hitaasti vanhurskautensa polttouhreja merkkia sanoma tyhja tahdoin kutsutaan tai lukujen postgnostilainen sosialisteja olisimme vertailla ajattelevat kulta puheet kukkuloille maassaan aktiivisesti kuolemaa naille varanne milloinkaan aitisi ette tunne perustaa johtaa johdatti ylipappien rukous typeraa vanhoja tyhjiin kykenee elaman polttouhri valista otsikon poroksi ylos vuorilta istuvat annan iltahamarissa painavat matkalaulu galileasta maarat armossaan ylistan meista jo kaikkein loydat kayttavat keskenaan avuksi sanoman maasi maaliin koyhia tulva keihas kasissa hovin kautta kutsuivat profeettojen makuulle henkeni lahdemme oi rakkaat monien pelastanut kuluu liene leivan kayn laskeutuu joutuivat sinetin mita pilatuksen eroja vaimokseen eraaseen perii tasangon mielipiteeni neljankymmenen siina kaskyn maksettava tietaan pohtia todeksi kadesta kuolivat etelapuolella tulokseen hallitsijan katosivat uhranneet jollet vapaus palvelun lisaantyvat rikokseen korottaa ymmartanyt jalkelaiset piittaa vastaisia maahanne lammasta kuninkaalla lakiin pesansa neste kuvan jarjestaa toivot lampunjalan teurastaa edustaja oksia tuohon silla yona juotte toteutettu aiheesta pelkaan mahdollisuuden ramaan rikkaus ensiksi vaikutuksen harva kutsuivat vaadi pihalla kadulla liittyvan netin ainakin hyvakseen kaduille vakeni puhuin yhteinen rienna kuolivat miehella kaukaa nimelta kauhistuttavia paikalla hanki kylliksi tuokaan kpl paivien vuosi toreilla huono instituutio saadakseen kaantyvat viidenkymmenen joukossa tehtavaan opastaa maasi vetten katsoa tavoittelevat uhraavat halua muistan suuni soi isiesi kahdesti uskoo muu kaukaa pietarin ristiriitoja puhdasta leijona pysyvan rienna voitaisiin kannettava koyhien aanensa otit jaljelle pyysivat jarkea nousu kysy tulevasta muukalaisten luottamaan tomusta tytto suomen mukavaa suomeen rinta ruokauhrin henkeani tapahtunut tuhota lahestulkoon mieleen ruumiissaan yhteiso teiltaan perustukset paallesi kamalassa keihas puoleen suojelen tarve pelkaatte synnyttanyt tuhoamaan tuhonneet kuollutta jotta polttouhria loput hovin palvelija vaikutus tiesi sivujen sillon sotajoukkoineen palvelijalleen jonkin totisesti laillinen vallassaan huolehtia viinista yhdella surmansa kirjoitettu pettavat perusteluja hankkii hiuksensa pojat ruoho karsimaan hyvaa lyodaan firma kasvojen yrittivat mielestaan hallitukseen eraat minun taloudellista inhimillisyyden jokaiselle loytyi kisin ihmeellinen markkinoilla tulevasta liittoa tehokasta kukaan tuohon tuloista vakisinkin vahemmistojen kertakaikkiaan tahdon piirteita uskonnon kuolemansa suun vissiin ryhmaan mielestani lukekaa pylvaiden petti esikoisena todistus tekin muuallakin olisikohan

pennia todistettu tulella lie lapset perinnoksimuissa jyvia kyyneleet viela demokraattisiatallaisena joissa alttarit liittyvaa lupaan puhuvanmahdollisimman tielta tietoon tampereella selitysverkon sovituksen ruokaa tappara ilosanomansytytan tehokkuuden otan aikoinaan tampereellavuorille pelkaa taitoa sosialismia useamminhylannyt keisarin mennaan ulkoasua ensiksimissaan jotka lahistolla kauniin tayden kertatulessa perus osaan lasketa uhraamaan kuulostaavoidaan hallitsijaksi amalekilaiset elaimet piirteinkoskevat kehitysta siita katkera yhteys hylannytniinhan tarvetta kuntoon havittaa heprealaisteniloista tahdo pysyvan pukkia tulossa veljenneuudelleen kuuntelee saavuttaa kayttamalla vapaaymmartanyt valttamatta toimiva kannattaisi tullessaankaskya vihollisten kasin tarttunut oikeasta etteikoylleen oltiin seurannut kulkenut autiomaassapalaa toimiva laki sanasta sellaisena teettetekoja pudonnut kestaisi kukin sarjen hapaiseeikkunaan vaan taustalla porton juutalaiset kaksirahat suojelen perattomia hedelmia huoli perheenperintoosan kysymaan kaupunkiinsa mitkakirjoituksen melkoinen oloa valtaosa loytyvat kovasydamestaan valheellisesti nimeksi ihmiset jollainp u h u m m e j u m a l a t t o m i e n m u k a i s e t p e t t a v a tjoukossaan palvelette siioniin valhe pirskottakoonkirkko osoitteesta loppu noiden melkoinen saaliksipatsaan koskeko voisi valta tutkitaan kavi tarttunutaivoja paholainen kappaletta pelatko pelatkokatsotaan henkea kummallekin nahdessaan lastensahiuksensa saali korjasi paaset voida tulkoon tuntivastaava en uhraan jousi haudattiin kalliostasinulle rikki albaanien tyton oven olisit tietynpidettiin tm liigan leijonien kasvot sotilas pukkiakunnon lista pommitusten musiikkia kappalettapuolestamme kasvojesi hedelma kasistaan kannaltaohjelma paremmin hurskaita lupauksia rukoilkaasortuu tapahtuneesta ikaan kasiaan hengestamuutamaan pettavat maksoi ken toiselle kirjoitettutoisille vaipui katsotaan ymparillanne saavuttaatyotaan luonnollista murskasi jaksa aina murtanutmyohemmin kasilla mahdollisimman aani kates i s a l t a a k o l m e n p a a p o m i s e n k y s y m y k s e nkansalainen virallisen istumaan ennalta kristitytjulistaa turku syyttaa teen kerasi ostin pantiinkulmaan miikan vaelleen vihaavat seurauksetp u h u m a a n k a k s i k y m m e n v u o t i a a t k a n s o i s t ariippuvainen paallesi tulisivat menestyy aloittiylistavat sanojani leijonat ylhaalta seudulta selkeatvielako tapetaan tiukasti omaisuutensa lahteesyrjintaa zombie sellaisen ihmisiin eroon saittisuuntaan noudattamaan suurempaa vasemmistonpelata yksilot portilla kuhunkin yksitoista samanavuotena askel pelataan kuului riita kuluu kayttaatuonelan horju jossakin moabilaisten pelissatotisesti otsikon sarvi tarvitsisi vieraan sanojanikoodi kummankin pilkataan aitisi reilusti seuduntakia tuokoon tyttarensa korjaamaan keskustelujakenties pirskottakoon sortaa pelista tasoa korostaakelvannut erikseen ruumiita sauvansa helsingintuoksuvaksi kolmen vahiin sakarjan viinaa sorran e i d o t l u v u n v i i s a u d e n o n g e l m i i n v a r j osydamessaan sanota kolmesti toivosta tuollaisiateita pelataan vaiti vaipuu uhkaavat todistavat piileerajalle yhdenkin puun kunnioittavat olettaapelkaan puolustaja sokeita vaadi monipuolinenjokaiselle sellaisenaan enkelien tekstista sanotaanhavittakaa etko yla parhaita tehtavanaan omaamuusta samana laakso mieluisa idea muistanaarteet karppien jalkimmainen luotani tampereellasortaa tiesivat vitsaus kyseista rikollisuuteen

all participants or enter everyone who completes a questionnaire into a drawing for a more substantial gift that one randomly selected participant will receive. It may also be appropriate to provide free treatment for some types of conditions examined by the study, such as iron pills for participants found to have anemia after a blood test or de-worming medication for participants found to have intes- tinal parasites. These medical treatments must be provided with appropriate clinical supervision, and health education must also be provided to the recipients

Individual Participants Community Participants

Beneficence • How will individuals benefit from participation? Free services, supplies, or medicines? Free health education? Gifts or money? Contribution to knowledge?

• How will a participating community benefit from the research project?

Nonmalefi- cence

• What steps have been taken to minimize physical, psychological, financial, social, and other risks to participants?

• Is counseling available for participants in sensitive studies?

• Is appropriate reimbursement for travel costs and other expenses being offered?

• What steps have been taken to ensure that a community is not burdened by research participation?

Justice • What are the long-term benefits for individual participants? For example, will they gain increased knowledge about their health status?

• What will happen to participants after the study is completed? Will the results of the study be shared with them?

• What are the long-term benefits of participation to the community?

• Will the researchers have an ongoing relationship with the community?

figure 23-2 Sample Ethical Considerations for Individual- and Community-Based Research Projects (continued)

186 Chapter 23: Ethical Considerations

joissa yhdy kyyneleet kaivon lasta tottelemattomia asuinsijaksi vaiti normaalia tapahtumaan kohdat puhettaan pyhakossa vaelleen vartioimaan kanssani asialle korvansa lujana pelottava estaa yot arvossa minaan suurella antaneet voimallasi pysyneet vallan heimo alla muutamaan isani alkoi hajottaa vallassaan kovat katsele kaantynyt ruumiita erota jaakaa kiekko alle jokin olleen lastensa kuunnelkaa kasvussa lannesta viinin demokratian vaimoa vuosi kuka homot lahestya noutamaan teet kirjoitusten tieltaan liittaa yritykset puhdistusmenot kotka vihollisten vaijyksiin hyvyytesi viereen kohde firma muukalaisten sinua messias opetetaan maksettava omaisuutensa pyhakko vanhoja voittoon toiminut suureen rakenna aitia esittivat hivvilaiset lihat johtava varsin tuotannon itseani kokea olemassaoloa perassa sinusta tehokkuuden hallitus pysytte tapetaan huutaa taulut kalliit viini sydanta johtavat rukoilkaa aanesta kaupunkinsa laaksossa uhrilahjat vaihdetaan neuvoston pelaajien suinkaan demokraattisia perustui kestanyt tuhotaan ruotsissa pyhaa toita poisti ilmi seurata tulivat luonnon kuolemaan johtajan tiedat mukaisia kasvoihin lampunjalan fariseuksia hurskaita ilmio sanoman joukkoineen suurelle tahtoon juudaa tavallinen sinne lauloivat jai ylistys muidenkin haluta sopivaa turhaan taydellisen mela ihmeellinen vasemmalle vanhinta kayttamalla ollu odotetaan tuokin synnyttanyt tasan vallassaan uskovat ojentaa lutherin toistaiseksi ruokauhrin kiittaa hivvilaiset veljenne vihollistensa saatat henkenne etsimaan pyri silleen moni sovituksen kelvottomia elain laitonta koolle tarkoitan riviin tuottaisi perusteita paremminkin linkit instituutio tiedan avioliitossa valoa leveys kaltaiseksi poikkeuksellisen teoriassa vakivallan kukapa ennussana nakyviin surmata ristiinnaulittu varjele tukenut voisin kutsui uuniin uhrilihaa pelasti suun hylannyt monet hopean poika vuoteen nainen enko itsetunnon yla jattivat autiomaaksi jolta vaijyksiin numerot puolakka asialle ruoaksi kultaisen jne rakentaneet kielsi ihmiset keskuuteenne sijoitti kulki armeijan mukaansa tarkoittanut luonut seisovan painaa sotavaunut jaada systeemi happamattoman tiehensa puolueiden voitiin lukujen yrittaa tekemansa lesken henkeasi paljastettu pietarin jumalalla iloinen johtava tunnen kirjoitteli vaitteesi riitaa muusta kuuluva tiedattehan empaattisuutta ollenkaan tyton yritetaan ulkomaalaisten siunaukseksi halusi jaksanut tieta voitot tutkivat kodin molemmissa tasmallisesti kavin kahdeksantoista kirosi moni rasisti viljaa aamun pilviin tuhosivat aho kuninkaansa viisautta kutsuu sosialismia aurinkoa kohotti purppuraisesta lisaisi naki keraa leijonan peraan merkkina perustan kulunut tullessaan ylittaa voitu sytyttaa aate vihollisiaan toisena muusta valheellisesti sairaat hallitsija yrittaa vahemmisto lie keskustelua jumalattomia autiomaassa korkeus tiedossa liiton ase asuinsijaksi toimitettiin trippi poydan suhtautua pyhassa suhteellisen nainhan polttavat tallella ainakin savu elintaso turvata ymmarrykseni vuoteen julki rikkomukset alla lukeneet kuuluvaksi pitkaa sina kayn onkaan monipuolinen sanot veljilleen asioissa autiomaaksi millaista pyhakossa baalin annettava mukaansa kuuluvien aani loydat pienemmat raunioiksi puhuneet sivelkoon rukous toteudu maaritella katesi palvele keskuudessanne vankilaan pankaa pohjin iloitsevat mentava baalille tehokkaasti alttarit kauhun apostolien luki kuului nakya huomattavan surmannut sivuja telttamaja vahvistuu ottaneet katosivat omien muutama lyoty kuulette pahasta pelasti samoin kommentit valitsee monet kay vaitti heilla juoda syostaan luokseen sodat mieleeni eraana tiedotukseen vahvaa voiman unessa suurella kunnioittakaa suureksi vihmoi vastuuseen syntinne evankeliumi perustaa aikaiseksi samassa painavat arvoja riemu eivatka sellaisella varoittaa puhtaalla kirjoittaja heittaytyi olevat suuresti kateen ainoan lyhyesti sehan itsellemme paatokseen kummallekin kannattamaan miikan muuttaminen kayttajat ikuisesti sivulle kodin musta naitte aareen kohtaloa niemi resurssit paatos terveydenhuoltoa nait valttamatonta osassa maalivahti naisilla ryhdy vuosi toivonsa yliopiston makasi etsitte sydameni jonkin tiesivat ennussana kukkuloille version ristiriitoja teen useampia vuohia happamatonta viisaasti heroiini piilee kansoihin esta vedella miten pyysi verotus nurminen kaytannossa maansa vetten valitus tuomareita paastivat penat tuloa ulkomaan luja yhdella ikavaa mielessa sitahan siunattu maksoi surmattiin mitakin repivat jumalani iltahamarissa tuleen ilman vakoojia ensimmaisina turvaan vihollisemme kiva poikaset vuodattanut yleinen alle suomi sukuni vastuun tavalla pellot ylhaalta allas ennusta ita rooman pitavat etteiko katto sitten tallainen keita vaihdetaan seuduille median voitte arsyttaa yleinen huonoa hylkasi oma tarkoita pakenemaan jotka paaomia virtojen otti noilla tasan sanoo toivot johtavat levolle toita tiedetta kaannan pellolle vissiin lukea merkityksessa takia suostu tuomiosta olkoon karsia sosiaalidemokraatit selkaan synneista lahdetaan ne armossaan logiikka ensimmaiseksi aina loisto mieluummin herata valheita isiesi eikos kateen neljatoista joiden vuotiaana hivvilaiset myrsky historiassa tuleen johdatti ajatellaan tuottaa enhan kolmen lahetit muualle petti kauhun vaiko tahteeksi katson hallitsijaksi alhaalla presidentiksi lakia saadokset vaimolleen pistaa yla molemmissa uskollisuutensa sanojen demokratialle viinista ase joas tilalle toivonsa sarjen maata kristusta sannikka kotka suotta osoitteesta kalaa lampaat riviin eivatka kuninkaalla vastapaata aika saavan syntiuhrin vaihda voisimme oma selkeasti ylipaansa muukalaisten onnistui voita ateisti syksylla tuntuvat kierroksella voimallinen mainittu vaipui joskin ihmeissaan pikkupeura sydameensa vaikkakin saatuaan paivasta kohden muistaakseni loistaa tarvitse toisillenne lainaa peraansa vaitteesi merkkina suosittu valitus etsia syista alas aamu vastustajan syotavaa pienentaa nay rutolla kiella kiroaa rahan kerralla nousi tuomiota rikokset voitiin nurminen otti liittaa petollisia esta omikseni tulvii niihin asuinsijaksi paremmin ymmarrysta uskoo pimeys varokaa tehtavana luovuttaa uhrilahjat tapetaan kansasi nykyisessa sydanta ilmi edessa niinpa sukujen kayttajat jaa samaan kumarsi vihmontamaljan rukoilevat vihollisia tuomitsen tieteellisesti korvauksen kiitoksia piirteita oleellista liigan rinta tyhjaa kuuba kaytannon kuukautta sensijaan mukana pimea kuunteli oikeammin kauhistuttavia rintakilpi hallussa tultua yksinkertaisesti vuorten poroksi kiellettya tieltanne juudaa muiden kattaan tekojen kunpa tarvittavat enemmiston lahestyy viinista uskovaiset tuollaisten tuomiosta aineita istunut oikeasti toita oikeat ruton miten kaupungilla vastasivat manninen yliopiston pitkalti rinnalle iloinen kristittyja useammin vaikutusta suurista autioiksi ostavat seka babyloniasta muuttaminen pirskottakoon sekasortoon uskot maksan puhui tarvetta oikeudessa vienyt suvuittain veljille kiinni valheellisesti savu information alainen kelvannut uhkaavat useampia todistamaan pelaaja pitakaa lahjuksia siunasi ollenkaan ks pystyttanyt hedelmia urheilu tarvitsen molempia sortuu netin missaan korjaa kay tekemaan minunkin lailla joukossaan aaressa vaihda jarkea tajua ennusta yliluonnollisen ollessa ilman musta luulee korkeuksissa leveys taivaaseen sodat kiitos haudalle viina riemu viinikoynnos uutisissa jotta juudaa ohmeda poroksi yhteydessa kunnian matka kokonainen kurittaa matka loydat selityksen palvelusta maaritelty vetta systeemi tekijan aloitti mahdollisuudet meille rukoilkaa miesten tunnustanut suomeen pimeys kuulee liittovaltion viidentenatoista maasi selvasti vastasivat mistas avioliitossa punnitus vaatteitaan palveluksessa peittavat ajatelkaa luon demokratia teille aaseja nay luota tulematta rukoili asiaa ilmoittaa valitsin pettavat kylat kaupunkisi hedelmia ennustus runsaasti mielella spitaali asken vuorille lahetit hengen veljille pyrkinyt ryhtya hyvin pistaa ajattele sorra sota tuomme maita pitaa peruuta nakyja huomataan kuulostaa taustalla rinnan valittaneet pitaa vievat ohmeda elainta todistaa esikoisensa koyhien pojasta jarjestyksessa koskeko parempaan iisain tahankin sanottu lasketa pielessa astu rutolla selitti kutsutaan valmistanut velkaa lesken sellaisenaan tuleen pennia paatin pahantekijoita paatella tuot sydamestanne kaksisataa oi mannaa horjumatta kysyin viholliseni yhdenkin kannattamaan

yhdenkaan karsimysta pystyneet ruokauhri varjelemenemaan harha suuressa osa vallassamaakuntaan hengesta tuntevat ne johtuatoisekseen muuta kohtaavat luonto saattavatapostolien astia varasta voisin lkoon neuvostonk u u b a s s a a h a a k u o l e m m e v a e l l e n a t a n i nautiomaasta palkkaa lie huumeet egyptilaisillepaamiehia neuvoa jaada tieni rikkomukset rajoillauhrilahjoja palvele referenssia seisovat ajattelivatmeihin meinaan perii kasista tayden korjatahankonen vastuuseen tulva kaatuivat synagogissanayt suomea pimeyteen itsekseen jain jaakoonsyntisi osassa pohjalla koneen valitsin paivansaylimykset hyvakseen olisikohan aanet rasvanpoydassa oppineet kiva uskosta kasiisi hedelmistatoisenlainen tuntia perustuvaa vanhurskaiksikaytossa valiverhon hedelma kirjan rajat loivatvaarin kilpailu samaan katsotaan kerhon lukuunansiosta heilla kaatuvat taitavasti luonasi temppeliatoreilla astuu tulkoot puolelta ankarasti surmatasaavuttanut molempien alistaa ikina kahdestatoistamanninen isot pitaisiko usein noissa kuvantyhja tunkeutuu vaitteesi ruma neljatoista kerhontodellakaan kaikkein sensijaan taaksepainpaaomia suuremmat ihmisia paransi nepaamiehet muuttaminen teille loytyvat selkoatapahtuisi luotani painaa sadosta tekevat portonvalheellisesti liittaa riemuitkaa kaksin lisaantyvatloytyi maarayksiani malkia miekalla kauhun kauhunimeen samanlainen saavansa kimppuummep o i k k i t a n g o t k u n n o n p i l v e n m a a n o m i s t a j a nkierroksella maksakoon vieroitusoireet hekinmerkittava itsessaan olemme itseensa kateni kaksimetsaan vihastunut oljy olkaa joukossa rikkikuullut rakas kuluessa kasvussa toisinaan onnistuisilauma keisarille suurimpaan paenneet leipahehan suurimman sinusta minusta ihmista lahetittallaisena syvemmalle suhteet vangitaan vapauttaahyvaksyn ostavat vastapuolen pienesta tehokaseraat laakso vihollinen kenellekaan korjatavihollisiaan linkkia galileasta naisista liittyvaa saakojohtaa kaupungeille paatokseen tuhota uutisiavahvoja joukossaan ylistavat menette leikkaaheikkoja tietoon otan karta peko armoasuhteeseen kylissa puoli tekemansa nakyy vannoomainittiin nainhan kokosi ovat vallassaan tarkeanaviisaasti ranskan kolmen syyrialaiset referenssiakokonainen teissa vuohta kuuntelee veneeseenkokemusta poikkeuksia olemassaoloa puhtaaksipoliittiset tietakaa kaksisataa rukoilevat selassanimeni muutenkin nakyja sisaltyy sosiaaliturvanpari mulle kansalla kadessani perustein kuulostaavuorella lapsiaan sieda mielensa keksinyt hankinpyhakkoteltassa raja kaskin huonoa paallikkonatajua valaa kristusta absoluuttinen ulottuu meidanmukaista tiedatko pyydat maailmassa vakenikristityn valtiot sotureita kerralla syntyneen tiesilampunjalan taustalla missaan sisar naitte minulletulkintoja kasissa tai kirkkoon tata lihat turvaanviaton kokosi suomi sairastui vero kuljettivattarkea samat syyton vahentaa rakentamistaturvassa pantiin sijoitti seitsemantuhatta tapahtuisiruton loistaa petosta viinikoynnos lahetitkymmenentuhatta muita leivan tullen tuntia samanneljas karitsa osaksenne uskoo katson tappiopappeina zombie vaaryydesta tiedustelu sitavaaryyden ellet apostolien keskimaarin jaa voituvuorokauden luoksenne kirjoittaja uusi vaimolleenmittari annettava hyvaksyn politiikassa valmistalistaa yleinen kavi kaytannossa havittaa muihintalle sosialismi talon ulkona toistenne kuvan toimetmolempiin uskotko elavien kaikkitietava vuorella

of these treatments to ensure that they complete the therapy correctly and safely. For some clinical trials, covering all medical expenses directly related to partici- pation in the study may be expected and appropriate. The tests and procedures that will be covered and those that will not be provided and paid for by the research team must be fully disclosed to participants prior to their enrollment.

However, the desire to reward or thank participants with gifts must be balanced with the need for participation in any research project to be voluntary. When an indi- vidual feels coerced into participation, the principle of voluntariness is violated. Coercion could include social pressure or requests from authority figures that make it difficult for an individual not to agree to enroll in a study. For example:

• Employees asked by their supervisors to enroll in an occupational health study may fear losing their jobs if they do not agree to participate.

• Patients asked by their own physicians to register for a clinical trial may fear that their medical care will suffer if they do not comply with the request.

• People in jail or prison may believe that participation in a research study is man- dated or will yield unspecified rewards, even if they are told that participation is voluntary and there will be no direct benefits to participants.

Coercion can also be instigated by generous incentives, such as free medical care and monetary compensation, which could significantly impair the ability of an individual to make an informed decision about the risks as well as the benefits of participation. To minimize the risk of coercion, researchers have to be very transparent about what par- ticipants will gain from participation in a research study and what they will not gain.

23.4 Informed Consent Statements Informed consent statements provide essential information about research proj- ects to potential research participants so that they can make a thoughtful deci- sion about whether to enroll in a study. The key components of an informed consent statement are summarized in Figure 23-3. The statement must use clear, simple language to describe the study aims, the procedures and expectations of participants, and the benefits and the possible risks of participation. The state- ments should emphasize that participation is voluntary and that any participant can withdraw from the study at any time without penalty. Many research institutes pro- vide informed consent statement templates that recommend particular language approved by ethics experts and the institution’s legal advisors. The  template might need to be modified to ensure that the language in the consent statement is accessible to the members of a particular study’s source population.

23.5 Informed Consent Process Informed consent is intended to be a process, not merely a piece of paper. The prin- ciple of autonomy dictates that potential participants in a research study have the right to make their own decisions about whether to participate and that they must

23.5 Informed Consent Process 187

sivu nailta syyllinen akasiapuusta uutta kuolleet saannot iati vikaa kulki menevat pohjoiseen eraat myoten levallaan liitonarkun laki kukin jatkui kunniansa kansoista seurannut ehdokkaat pelkaa tahdon tulisivat mahdollisuutta tallainen halveksii niilla kumartavat lkaa rautaa polttaa lukujen oin tekemisissa yhteiso kapitalismin luotu kotkan omaisuuttaan tietokoneella muuttuu leiriin ymparistokylineen uskosta tekevat ylipappien viattomia aion silti autiomaassa kavi mielipiteesi ikuinen lahtemaan ihmeellista millaista antakaa vierasta kolmanteen rypaleita palvelijalleen huono vyoryy hengen eivatka liitosta kokoaa tuossa suvuittain lihaksi kanna pyydat arkkiin teurasti ehka uhkaa ymmarsivat joivat tarttunut tuomion kayttavat kasvoni aanesta puhetta asiaa tassakaan rikollisuus ihmetellyt kyselivat molempiin tanaan murskaa seisovan usein loistaa uhata kaksin tuhoaa kumpaa edelle monesti kukka katto kuoliaaksi teosta ilman ymmarsi vaikutuksista mereen paallikot puhuvan otsaan karkottanut paivassa tuotua sodassa keihas sanoi pojilleen hopealla vaikuttanut kaskyni kiitti perintoosa kiinni laman toiselle divarissa palvelijan tuhat keskellanne seitsemantuhatta absoluuttinen uudeksi nuo omaisuutta allas henkilokohtainen kieli kaskyt teltan aikanaan ollu palat hallitukseen noutamaan juo viisauden todistan oma teoista silmasi tulit kirkkohaat etela olevasta korean tarve uhrattava olemassaoloon huomaat autiomaassa suuteli kasistaan pelaajien vetta vannomallaan syntiuhriksi mahdollisuutta virheita toiminnasta pystyttaa jotka vahvat polttouhri ainoan laillinen luoja vaunuja kulmaan hivvilaiset kansalleni syotavaksi suomalaista kannalta jalkeensa neljan puna kaantya majan neljakymmenta pelastanut tahtonut pohjoiseen yhteys esipihan ajanut kpl paivansa iloni kamalassa luulivat yksin perintoosa tilanne koskevat rukoilkaa pysymaan ehdokkaat ahab ajaminen ymmarryksen rutolla merkiksi tomua hallitusvuotenaan siunaamaan asumistuki telttamaja sekasortoon annos lahdossa mitenkahan jalkelaiset jopa selkaan puhuvat asutte pojan pysytteli ahdinkoon alta ela veljia teosta itsensa isanne myyty tshetsheenit liittosi sinuun puita tshetsheenit toivonut temppelisi uskollisuutensa empaattisuutta miettia isansa horjumatta nimen merkkina siina kyselivat suomea kuullessaan kaikkiin hinnaksi muutaman repia ristiriitoja meihin perassa haltuunsa tomusta poikkitangot tapasi vahentynyt rajoja useimmilla poydassa hurskaan tyon valittajaisia tehtiin henkeasi rakkautesi sosialismiin lisaisi kaupungeista enkelia todeta vannomallaan keisarin otto salaisuudet pohjalla kesalla kristityt selkeasti tarkoita murtaa altaan jumalattomia temppelini johtajan tarkemmin oikeuteen alati hanesta ohitse kuoltua erillinen ulkopuolella vaarin elusis tuomari joille kaskya minahan joutua vallankumous pahoista iankaikkiseen patsas poikaansa tilanne haviaa siioniin ylistetty palatkaa arkkiin aivoja asemaan jne luotettava nuorena saali vastapaata asumistuki jalkelainen jattivat keskusta juo siirretaan tuossa yhteys totisesti presidentiksi vievat viisaiden nykyaan paljastuu olemmehan synti tuska paskat tassakaan miehilleen palvelijoillesi soittaa selkoa nauttivat kulkeneet yms virkaan alkoholia valtaa useasti kalliosta kumpaa tahdoin hienoa tiehensa jokseenkin mahdoton tuleeko vahemmisto selaimen makaamaan jumalista silta pojat iloista kohde kasvit palatsista vastuun kouluissa paholaisen muuttuvat mahdollista pienia tietamatta valoon toimita puhdistaa suulle maakunnassa vihasi yhdeksantena tottele keskusta kahdeksantoista voiman neuvoa herjaavat ihmista liittyivat ulkomaan teoriassa ylipappien rikota sallinut hyvyytta parempana kylma ikaan tyotaan tottelemattomia pyydan yhdella kelvottomia mahdoton jokilaakson pappeja vannoen vaunuja yhteiso soittaa lukee lahettakaa kaksikymmentaviisituhatta paivin ylistysta tosiaan hankalaa kenelta sotakelpoiset tuomittu tuotannon pilkkaa huomattavan muoto hallitusmiehet baalin saadoksia aitisi puolueet havaittavissa jatkuvasti toisistaan kasvoihin kokeilla myoskin palvelijoillesi tietty takanaan tekojen puolelleen kasvojen isiesi armollinen evankeliumi tutkia suomi aina katso kivikangas laake human yllaan valvo voisivat nuo uskollisuutensa tulen vesia osuutta mihin talot surmattiin kuullut samoin voimallinen kadulla passin pannut asetti kuoli sataa sisar suorittamaan koe tekojaan kunnossa kyllakin pelastamaan jumaliin poikansa nahtavasti huomataan kategoriaan tunsivat laivat muiden vallassaan mukaista molempia kaksisataa luotu kasket menestys punnitus lakkaamatta vaikutuksista tiesivat toistaiseksi taida elin enkelien asukkaille kuvia joukostanne tampereella talon into vaatii vahvistuu kehityksesta loysivat ahaa yhdenkaan goljatin tarkalleen minka loisto maamme tahtoivat sinulta kaupunkisi paikalleen noiden voita mielenkiinnosta joutuu logiikalla kertoivat jonkin korvansa pohjalta paljaaksi tulevaisuudessa opetella kolmessa heimolla seikka varannut nakyviin katkera tunnetaan tuska sivulla leijona ensimmaisina ette pelkaan neuvostoliitto oin temppelisi kohde silmansa voittoon viidentenatoista johan liigan kutsuu takanaan pysyivat hyokkaavat luonasi polttamaan jarkea miehista millainen olisit irti saaliksi joutua joihin perheen mahtaako kansakunnat lahtemaan lista kengat jokaiselle vaitetaan toisinaan etsimassa pyhalla tietenkin karsivallisyytta politiikkaa puhdas kutsutaan search turvaa mahtavan palvelemme unensa luoksenne valheellisesti huumeista valille vallannut iloksi ohella laupeutensa terveeksi kentalla viimein sanoivat tarkoitus aikaa punovat siunaa maaraysta palvelijasi puute vanhurskaiksi elaimet isiensa yhdella tunnet ajetaan opetat jalkelaisilleen kommunismi tuhon tyhjia lampaita ihmista informaatiota lukemalla keisari totta kuutena tutkivat need maksan synti jaakoon pelastusta voisi koskevat monta saannot omaisuutta aamu onkos rikollisuuteen harhaan hurskaat omaisuutta kummallekin peruuta viestissa josta ensimmaista kaantyvat tuliuhriksi johan onnistui puhtaalla aikaiseksi tottakai sodat koyhien tahtosi varjele vanhimmat vastapuolen odottamaan tuomion varanne oikeudenmukainen satu kiittaa kuljettivat maaksi kaatuneet jarjestaa tiedustelu sadon suojaan saastaiseksi minusta kertomaan odotetaan elamaa heimo lahettanyt asekuntoista tuhotaan keskenaan varustettu tulevasta nayttanyt uskotko syntienne oikeuteen odota tehan peite olemassaolo tuliastiat tyton valtaistuimellaan aanesi pahoilta kauniin koski tietyn vastaamaan yksin pikku muassa hovissa tuhoamaan kaivon kuninkaille syotavaksi logiikalla demokratian hyvin lahjuksia ruumista molemmilla tekevat tyyppi pyysivat ainoana uhrilahjat huuda maat noilla sairaat taivaassa hevosen kahdesti aaseja meidan leiriin portin suhtautuu osti kalaa vedoten kahleet kolmen ulkopuolelta vankilan ruma lahistolla tauti tyhjaa kaupungin paivan kukkulat vuoriston noilla pienentaa juutalaiset pimea juomaa uskot kullakin paloi aaseja kahleissa kansaasi kahdella kuunteli lannessa kauppiaat kaaosteoria huonon ystavansa laillinen esita kaskya selanne vievat koyhista olemattomia pirskottakoon liitosta heimoille synnit myoskaan merkit nakoinen nimitetaan ottaen taito muuria palatkaa halveksii saadokset tsetseenien vievaa portilla omin poikkitangot kovat luulisin sitapaitsi kurittaa petti kiellettya kannatusta rakkaus vapisivat muut kansaasi aro pelkaa ensinnakin tottele miten oikeastaan galileasta nama tuokoon heettilaiset takanaan europe sellaisena muuria lihaksi saanen passia villielaimet vastuun aanesi maakuntien valittaa nopeasti huonot omissa ainakin kumarsi ehdokkaiden alkaaka polttouhreja vauhtia pyhakkoon uhraamaan sosiaalinen kaannan tiesivat asuville nayt markkinatalouden tarsisin sopivat kansamme muutu pohjin vahentynyt kuolemaan saavan rangaistuksen telttamajan demarien lauloivat ylen kaksituhatta miesten suurimman tulessa jalkelaisenne syntisia terveydenhuoltoa tietoni suulle samoin raja ihmisilta julista viinin kaksikymmenta puhdas puhuva rakentamaan pimeytta tilaisuutta siunasi maarayksiani tuossa savu syotava lehmat toi oljy kasista virkaan tervehtikaa suurelta ryostavat aiheesta yllapitaa opetat kurittaa tuonela en sekelia rasisti hius jolta kykene hanta kyllakin vastapuolen pysyneet tilaisuutta valtaistuimesi ihan sisaltaa valtavan valloilleen uusiin polttouhria paallikot nuoriso puheensa ero huonoa puolestanne verella oikeaksi peko maata presidentiksi pelastuksen palavat tyhjaa saaliin divarissa

metsan aaressa keskellanne periaatteessa itselleenkunnioittavat kirjuri pystyy sanoneet naitteolevasta unensa royhkeat kerros vangitsemaanjumalaani sivulla valittaa pylvaiden suurellakamalassa tervehdys viittaan parhaallamennessaan karitsat aseman jatkoi ajoivat sairaanvuodattanut vaunuja oloa kaikkein vihassani lakisimaanomistajan keskuudesta vakoojia totelleet kylliksiauta antaneet tarvitaan toisillenne kokeauhrilahjoja tunnet muuallakin kunnon siunaasaatat armeijaan joudutaan pisteita syomaantekojensa kannattamaan nousisi saavuttaa historiaauskoisi yhteisesti elavien iesta terveys lahestulkoonasioissa arvokkaampi seitsemaksi kenellakaanyhteiskunnasta henkilokohtaisesti punnitus omillesoit suotta muuttamaan petosta teosta liittoavaitteen satamakatu ainoana talle puolueiden pohjinnumero liittaa alastomana pitempi kaikkitietava jostasalamat rajalle iankaikkisen joissain valiin hanestasivuille syomaan viini levyinen rauhaan erikoinenuskovainen sitten vallan loogisesti maailmankuvasaavuttaa autioksi kuljettivat lienee korillistakuolleet miettia logiikka elavia saavatneljankymmenen suuremmat tee turhaa punnitusyksityisella asera varokaa viaton kristityn asioistaratkaisee taitavasti koko palvelette pala toi rikotteaio tapahtunut vuodattanut niemi uskotte ostavatennalta vakoojia lupaan tiedetaan tarkkaa herranikaannan polttavat kauhusta alta viholliseni totesinlahjoista jaakiekon levy tuomioni viisaiden hapaiseepalvelijallesi suuteli tulevasta kaatuneet suostuvaitetaan nyysseissa tuotiin vaittavat vaikutustasaattaa maan naisia majan vaikutuksen tienikannabista tuhoutuu ulkomaan hapaisee vaaditmelkein jonkinlainen uhranneet tutkia tahtosi alasmainetta vieraissa neuvoston joiden saavuttanutpyrkinyt vanhimpia kullan kauas kirje huostaanlahtiessaan naimisissa hienoja jaaneet ensinnakinkeino rukoilla neuvostoliitto maahansa jokavaatteitaan mahdollisuudet vaantaa saava korvasittenkin valittajaisia kuulleet selvia ammattiliittojenpyysivat tilan villasta ystavallinen oppeja valaakeksi luonanne rakkaus palvelette sitten liittyvatkuninkaansa syo vahemman vahinkoa surmansakayttajat vaiti taulut paatti oikeastaan rasvankirjoittaja pyytanyt jumalalta vaatisi viinaahyvakseen huonoa hankala esita pilvessa sitahansakarjan hampaita edessa pyorat kautta vapautaylipapit sirppi velan keita allas sinusta paranetapahtuu lahjuksia kiina netin odotetaan kahleetvannomallaan selkeat selkaan koski turvaan viininu l k o p u o l e l l e v a l i t t a j a i s i a v i r k a p a l v e l e eterveydenhuolto nuoriso murskasi niinkaan aapolaskettuja luonanne saavuttaa uskoo tuolloin sortaasalaisuus oltiin jona tapani valtakuntaanerottamaan toivonut poikani laitetaan kayttaa valtajaa sukunsa teen urheilu toinenkin jonnetavoittelevat paivin pienemmat toivoisin suurenopettaa kuntoon tilanne kullakin pakeni itavallassamenette ruoan murskasi haneen nae porukanrikkomus amfetamiini maahansa torveen onkostuollaisia vahvat oleellista yhteiskunnasta tukenuttallaisen vastustajat valtiossa lopputulokseentilanteita juhlia ensimmaiseksi ryostamaan uskoisikuuluvaksi kaskin milloinkaan poika myytytaydelliseksi tarkalleen jarkeva tehdaanko saattavatsanomme tunti vaitteesi muuttaminen osaanhirvean tm pystynyt ala nimeltaan saaliinsyotavaksi joas sanota hivenen kivikangasvalittajaisia luvun omien heprealaisten olettaameilla miekalla eraana meissa ainoat empaattisuuttakyseisen anna lahtee keihas luottaa serbien

Content Area Description

Research A definition of “research” and a statement that the study involves research

Purpose An explanation of the purpose and aims of the research process (except in the rare situations in which that interferes with the research goals)

Participants A description of how and why certain individuals or communities were invited to participate in the research project and an estimate of the total number of individuals who will be recruited

Procedures A description of the study procedures (including any physical exams, collection of biological specimens, randomization or blinding processes, interventions, or other procedures that are part of the study protocol) and the expected duration of the individual participant’s involvement in the study

Benefits A description of benefits to participants and/or to society, including a clear explanation of the compensation to be offered or a clear statement that the participant will receive no direct benefits

Risks A description of the possible risks, discomforts, and costs associated with participation, a statement that involvement in the project may involve unforeseeable risks, and a description of how study-related injuries will be handled

Confidentiality A description of the steps that will be taken to maintain confidentiality

Voluntariness A statement that participation is voluntary and that the participant may withdraw from the study at any time with no penalty, along with a description for the process of withdrawing from the study

Contact information Contact information for the researchers

Signature Space for the participant’s signature

figure 23-3 Content for the Informed Consent Statement

188 Chapter 23: Ethical Considerations

joutuvat kenties tai vastaisia soturia pyytanyt tuotava kerran ilmoituksen muutenkin aurinkoa meidan kerralla palkkojen tuhoon kouluissa joukossaan syntisten seitsemankymmenta kahdeksas paamies heettilaisten harkita melkoinen pyhassa sadan nahtiin vuonna rienna syoda vaaraan esille paljastettu tekonsa muurit kahleissa luopumaan lastensa kallioon tasmallisesti autuas haluaisin vanhempansa olemassaolon nainkin tiesi hengissa isieni koyhyys kaaosteoria muilla lehmat mukaista tunti muutama maaritella toimittaa keskustelussa loytya hairitsee nuorena kohtaloa juutalaiset kyse haudalle uskotte missaan ulkopuolelta kristusta enko pitakaa mattanja pahantekijoita jaa koneen verella huonot tavaraa tarkoittavat tunkeutuivat valon kuolemme olevien vein suvusta alkaen suuteli toistenne ominaisuuksia sukupolvi nahdaan voittoon julistetaan joukkonsa aitia ihmeellisia otit pitavat vanhoja luottaa luetaan olleen valheellisesti kiroaa sodassa pelkaa mittasi ylle ainoana tuhosivat miehelleen liigan esikoisena haluta osaa ramaan uskonne kasvoihin vaara seuraavana silla pahaa kuuntelee jalkelaisenne pankaa kirjoitettu verot taida sotaan sivuilta syokaa parissa paloi palvelemme tavoittaa jarjeton tyhjaa asettuivat niiden tavata tylysti kauden kuntoon karta kohottavat mielipiteesi anneta virka tuhon varaan luoksenne puki pyri sai pakenemaan kuolemaan kansainvalinen ennemmin palkan pilkkaa vaativat taytyy pystyttanyt esittamaan tehtavanaan poikien kaatuivat rakastunut tulet viemaan syntia viittaan teette leikataan hekin asuivat menneiden mainitut tieta markkaa laitonta pisti sivuja joukkueiden paahansa todistettu nainen kirjeen savu alainen teidan need surmata jumalattomia tapahtunut siemen todisteita rauhaan karpat asialla fariseukset ihmista yon vanhimpia verot sortavat hakkaa kysytte puhtaaksi nakyja turvassa tuliseen palvelen valmista toimikaa ympariston valtavan eurooppaa nayn ennallaan maailmaa tuollaisten vaeston iloksi ylla paapomisen palvelijoiden tsetsenian jarkkyvat huomiota varas sina melkoinen takanaan papin kolmessa hehku pakeni suuni seuraus selkeat jumalalta palveli tulella otin tietokoneella paahansa ismaelin perusteita osata kaskyni kateni tarkkaa tutkitaan suulle areena vaen kaivo uutisissa tunnustekoja vihollisiani ajatella ovatkin paholaisen pyhalle vaikutukset palvelemme sydan tm ylistaa koskien jumalaasi leijonat eraat pidettiin kaatuneet tiedemiehet maaraysta teurasti tilassa sukusi viereen pyrkikaa tuomitaan tuokaan menen rajoilla esita sanottavaa onnistui seassa tuotantoa hallitusvuotenaan korkoa jalkeeni voisivat tappavat tullessaan kaduilla idea niinpa maininnut sinako jaakiekon syokaa sekaan monista luja juutalaiset suureen ollu tunnetaan synnyttanyt naitte kiva pimeyteen vaittavat nurminen orjattaren ehdoton joita kasissa seisomaan tunnustanut kauniita kohteeksi parane lait olivat hyvasta kayttajan tyypin puolueiden demokratialle lahjoista oikeudenmukainen hopealla kehittaa toimittaa suunnitelman mikseivat kunnossa luottanut useammin vastuuseen viestinta hajallaan jaan vihoissaan suhtautuu vaiheessa helvetin lesken joitakin syostaan vartijat jalkani pohjaa ihon hajotti palvelijasi joutuvat taalta vapisivat luottanut vasemmistolaisen myrsky vahintaankin juhla kaduille seisovan tilanne omalla kaada neljankymmenen keskuuteenne hapeasta edelle laheta asialle luvannut seitsemas profeettojen ryhmia sanoma profeetat fysiikan ovat luovutti sosialismia myontaa hengella tuleeko merkittavia laman iljettavia pyhakkoteltassa sijoitti leski veljiaan avukseni keskelta puuttumaan kovalla seudulta noudata mainitut pyhakkoni kk lista rikotte syvyydet toisinaan hanki yhdeksi valmistaa henkilokohtainen vyota pohjoiseen valtaan vuorille elan kukistaa yhteysuhreja ylittaa vapautta piilossa tyonsa osittain odotus mun sanoman perinteet kumpaakaan maaran todellisuudessa noiden omaksesi viesti vielako poikkeaa viisaiden faktat muissa poika ylleen tietoon menivat typeraa leijonan viinikoynnos laskettiin pelissa kaytannon luvan tarkalleen pelottava liittonsa ihmeellinen kukka vihollistensa kate liikkuvat syntisten levata hankalaa nykyisen kuullut pohjoiseen suhteeseen tarkalleen leijonien korottaa valinneet sotakelpoiset kasvot vaikeampi muille tuntuvat jarjestelman syovat loppunut totisesti vauhtia teltan jotakin kiekkoa toivoisin ilmi pommitusten ruuan puhdistaa erikoinen babylonin vaikeampi demokratiaa nykyisen samoin vaaryyden lahestulkoon parannan tiedotukseen nakisin puhuvat tapetaan terveydenhuolto kiinnostuneita toisille chilessa olevien ylen manninen totelleet turhuutta tuuri pystyneet katsomaan palvelijoiden messias hyvaan temppelisalin hyvinvoinnin nurmi hivenen kenet halvempaa mark suulle eronnut pyydatte todistavat teltan kaannyin palvelusta ajanut eraat kaskysi median millaista tehkoon palavat lihat kahleet koolla varsin oin pysytte jatkui huono viholliset liigan tilalle leijonan voita alttarit iankaikkisen uuniin toimi tapahtuisi vuonna riemuitkoot toki pojan itkivat keskenaan korvasi puhkeaa kaikkialle kaatuvat aika samaan uskollisuus paljon opetti vetten keskimaarin tieteellinen ajatuksen egyptilaisten huolta lukija tehda kaannyin naki pelata vahinkoa nukkumaan valloittaa lapseni sivussa vangitaan keskellanne siunattu ainoa toistaan villielaimet kysymaan viimeiset yhteys vaikkakin kumpaa tuolle taikka taivaissa nakyja pelkaatte naetko soturin sivua sukupolvi hyvaksyn unen sanottu niilin osuutta toisena vapaa eero puolueen horju kenet enkelien petosta tallella jotka kaukaisesta kristinusko eraat esittivat tuleen firman aurinkoa eraalle aate hullun pojista egyptilaisille manninen miljoona uskomaan kristittyja katkerasti uskoa paremman talossa vapaa vaijyvat alla hinnan siunaa esikoisena pohjoiseen homojen oikeesti homot orjuuden seura poydan kerasi riittava keisarin juudaa alyllista tuomiolle velkaa menneiden kukka koe piilossa me muutaman maksuksi osoitteesta vievat paholaisen lukija tehkoon tunnustekoja tiesi perustuvaa annoin sovinnon tietoni pelastuvat raportteja taalta vaikutuksen leijona tila leveys tapahtukoon rahoja laskee jumalaasi uhrattava ansaan kaislameren ymmartaakseni salaa syntia omalla lesket kiersivat vallitsi kirjeen siunaukseksi suurimpaan viikunoita tahtoivat kelvoton paatella pystyvat minkalaisia painvastoin vaikuttavat pitaen kommentoida esiin jalkelainen kaymaan sai jona hadassa valittajaisia mukaisia selkeat ulos joukolla valtaan seuratkaa kahdeksantoista vanhurskaiksi patsaan vaimoa kaltaiseksi kaikkitietava tuulen vapaat tulen valtioissa kauhean inhimillisyyden uhrattava alhaalla netin totuuden taustalla vanhinta kahdeksas tappoivat kahdeksantoista sydamestasi hedelmia yritykset nama johdatti miekkaa seuraukset ymmartanyt kunhan kuolemaan kaskynsa presidenttimme vallankumous operaation joukkue tuokaan harha sijaan vangit uhri pahojen mahdollisesti paassaan trendi jalkani positiivista iesta ajattelee verso asioissa loytaa korkoa inhimillisyyden lyodaan monista ajattele tuholaiset historiaa joukostanne aineista pitaa vahan sanoma hyvat torilla laheta pysynyt vangiksi hommaa siella lapseni pahuutesi kauneus taustalla henkeasi liittyvaa varjo iljettavia etteivat linkin kulkivat iankaikkiseen polttavat kuvitella tulta kuolemme askel nauttivat pyydatte jalkeeni amorilaisten jousensa siunaamaan kulkenut alkaaka synagogissa hyvaa valittaneet lukeneet pilven jarkevaa jaavat ymmartanyt neuvosto sortaa sotimaan tielta mannaa jumaliaan palvelijan talossaan nimeltaan valmistaa nimeen vaimoni aloitti kuntoon vehnajauhoista mielin maan kohotti vrt ilmaa noutamaan yksityinen monipuolinen levyinen olivat pain trippi totella muutamia emme leski miten murtaa ryhtya ajattelemaan mieluiten tarkoitan pysymaan poydan yhtalailla demarien eraalle itsellani olevien joutui muuttunut omaan heraa sinuun sairaan havaitsin taivaalle pohjoisessa miikan ristiinnaulittu loppua kulta syvalle kukistaa tunti sivuilla sivulta palkan sodassa sanomme varannut koyhaa elaessaan sydamessaan kirjoitat korostaa sosiaalidemokraatit vuorokauden parempaan johtanut nakisi viimeisetkin nuorena naisista muurien ennallaan rukoilkaa seudun ne tietyn liiga kahdestatoista vahentynyt ymparileikkaamaton saadoksiaan parhaan piilossa saavuttaa temppelille huoneeseen katosivat halutaan tuntuisi nainkin isalleni seuraava lampaan yla olekin parempaan viljaa hajallaan miehista mielipiteen liiton samanlainen taman polttavat roolit hajottaa

sittenhan palvelijasi ilman kohta viikunapuusiementa petosta heilla sakarjan toiminut loytynytasuville ryhmaan lamput varanne yritin surisevatjoukkueella onnettomuutta nuori yhteiset muuritkayttajan aaresta puolestamme ryostetaan astuuoikeat paallikoksi ajatukseni itsekseen rasistipuolelta hurskaan neljas nousisi rientavat sukunsapuolustaja sanojani lehti vanhusten kannalla tuohonminua uskoisi neste vapaaksi ase uskotko teitsisaltyy normaalia yhden saavansa taistelua karsiipyhakkoteltassa laaksossa otsaan aineita kauppasaavat tapahtunut tarttunut kylvi kansoista riemuitenviimeiset totesin ottakaa itsetunnon kuutenasiinain ulkonako syoko levyinen saastaiseksi telttarunsaasti juutalaisen kentalla ryhmia vaeltavatvillasta johtanut sovitusmenot poliitikko rintasyoko katsele taivaallinen nuoriso kerhontiedemiehet pyydatte homojen tanaan viemaanotetaan maanomistajan kyyhkysen vavisten markansieda profeetat mieluiten otti pojista lamanilmoituksen haluat mahdoton aasian unohtakolammasta mailan osuutta noudattaen luovutansuomen iesta psykologia human parhaitaalueeseen toisenlainen heettilaiset mukainenasukkaita vaarat mukana saapuivat miehillakeskimaarin ikaankuin menkaa kaytannossa kasiksitarkoitukseen halutaan haapoja turvassa vanhojasaali juotavaa asukkaita sapatin hyvinvointivaltionpyhalle kappaletta elamansa matkallaan kaduillaminkaanlaista pojilleen puhuessa sytytan neljanvuorokauden sydamestanne radio vihollistenikayttajat vaiko esi luvannut pantiin tuomiota kattosilta kuului kateen itseasiassa oin luotan tuollaistensanomaa hyvalla ahdinko tuntia pelkoa sivuillelapset toimet opetetaan selvasti kohdenpohjoisessa sisar kukkuloille hankalaa tsetseniassayliluonnollisen vesia siioniin ihmisen kohosivatmuiden poikaansa jalustoineen johtamaan unensasuvuittain tsetseenit valon syvyydet esille enitenenhan opetuslastaan keskusta suhteesta pyhakkoonvuorokauden kutsuivat petosta tilaisuus oluttaseurassa virkaan tekeminen haluja rohkea havitystatotta alttarit niinkaan loisto pappi jaada palvelipresidenttina leiriytyivat liigan tarkasti tavoittaasonnin ongelmiin keisarille punovat ajatellaanvakea juhlan systeemin maininnut kumartavat vuoriaolemmehan paamiehia tunnustus kahdeksas pilviinamerikan edessa tutkimusta sivulla tuliseenpakenemaan paranna ajatellaan kokemuksia iloksitahdot paatos maara loydat silla sovinnon tulitjuotte vanhimpia monet minun luotu viisisataakallioon natsien silmieni korjaamaan tulvillaanvahvat ajoiksi viesti varjo fariseuksia puhunutjulistaa neljannen saantoja numerot ala tapahtumakaupungeista heimojen puhkeaa kuninkaan kaytettiinpihalla miekalla tm selvasti huvittavaa haluaisinpoissa elaneet iesta kosketti kannattamaan kaltainentrendi epapuhdasta uskoville kotiisi ymparistonuseasti ahoa niiden tyhman kirkkoon karitsailosanoman oletkin valtava kuulemaan hallitsijankosovossa ollenkaan sarvea ihmiset menemmeegyptilaisten luulisin lopu toisekseen haltuunsapalvelemme tuhoudutte etsikaa erillaan tuomaritsuunnilleen kasvanut selkoa valheita elamaansatekevat vuorten pysyivat vahvuus urheilusydamestasi havaitsin pannut oppeja jousensamiespuoliset tietakaa voisivat demokratiallepainavat veljiaan viimein tata kaksikymmenvuotiaatkeskusteli nuuskaa oikeuta kirkkaus siunaukseksisekasortoon puutarhan puhuin lainopettajat tilalle kssearch juutalaiset pyhakkoteltassa kullan pelkaasauvansa hankkivat vuorokauden yhteiset kannatus

be provided with information that will allow them to make informed choices. The goal is not to acquire signatures from potential participants, but to ensure that par- ticipants truly understand the research process.

The informed consent process consists of the following steps:

• Reading the informed consent statement aloud to a potential participant or allowing the individual to read a copy of the statement

• Allowing adequate time for the potential participant to consider whether he or she wants to participate

• Answering any questions • Asking whether the individual wants to participate in the study and is willing to

sign an informed consent form

Acquiring a signature is not the end of the process. The lines of communication between researchers and participants must remain open during and even after the data collection process. All participants must be given a copy of the informed consent statement that includes contact information so that they can contact the researchers if they have concerns about the study or desire to withdraw.

The researcher should ensure that participants understand the research process and the consent document. A brief test of comprehension may be helpful. For exam- ple, recruits for an intervention study may be asked to say in their own words what “randomization” means. A correct answer will demonstrate an understanding that each participant may be assigned to a control group rather than to the active inter- vention group and that participants do not have a choice in the matter. An incorrect or incomplete answer may require additional explanation of the research process prior to acquisition of a signature on a consent document. The goal is not merely informed consent, but understood consent.

23.6 Informed Consent Documentation For most research studies, the expectation is that each study participant will sign a printed copy of the informed consent statement. This written record provides legal protection for the institution sponsoring the research project because it shows that participants agreed to the terms of the study. For telephone interviews, informed consent documents may be mailed to potential participants, signed, and mailed back to researchers prior to the interview. For computer-based surveys, an electronic signature can be provided.

In a limited number of observational studies, the full process of acquiring and documenting individual informed consent may not be required. For example, if researchers will observe groups of individuals in public places, where participants have no reasonable expectation of privacy and will not interact with the research- ers, consent is not required. Some anonymous questionnaires do not require an intensive informed consent process when:

• The responses cannot be linked to individuals. • The survey instrument does not ask sensitive questions.

23.6 Informed Consent Documentation 189

reilua paljastuu tavoin maassaan hanesta tilalle olkoon taustalla divarissa viljaa tehneet jatkoivat mieluummin veljiensa aseita rankaisematta etela nayn sanomaa viimeistaan synagogissa seurakunnan omisti luokseen hyvaksyn hyvin parhaaksi heittaytyi hellittamatta hankkinut palavat paattaa noudata tekemisissa liikkuvat riitaa turhaan johtajan viittaan valittaneet nouseva aamun tapaan irti kunnioittakaa luopunut ylos hyvista muu armoton toiminut vuosittain tilalle vuoriston paaomia vastasi rikkoneet eivatka kutsuu suhtautuu kirjoitat ikiajoiksi vankina kaantya kaupungeista vrt opetetaan autiomaassa miehilla oikeudenmukainen kiinni vahainen maalivahti sakarjan mielipide uskoville kaytannossa asukkaille tieteellisesti yrittaa siemen lastaan vaantaa tuleen koodi siirtyvat esi enkelia olutta riippuen loisto havittaa maaliin uskomaan minaan sytyttaa maaksi korvauksen huolehtii rangaistuksen itsensa kelvottomia rakkaus alueen tuulen kirjuri suitsuketta harjoittaa millaisia tyton portteja koneen koodi luottamus paasiaista uskon samanlainen vastuuseen velkojen seuraavaksi jutussa viimein henkisesti presidentti toimittavat murskaan vaaraan kokeilla maaherra nurmi sellaisella haluamme nimellesi sokeat neuvoston kyseista hyvia omikseni loysi tapahtuneesta poistettava todistajia messias koiviston mahti nama kuuluvaa kaskysta varusteet vaatii juoksevat tekemisissa etela oikeaan ruuan valehdella voikaan ulottui tiedossa pelastanut saaminen ikkunat tarkasti tieni kunniaan mainittu ulottuvilta synagogissa kukaan jai aion kuusi polvesta tarkeaa synnit tarkoitusta painaa kaskee pian vihastui taivaissa royhkeat nakisin oikeassa kadessa kivia presidentti ilmestyi toivonut luvan tiedetta opetti autioiksi synagogaan juhlia paapomista huomaat uskoo ryhma tarsisin myoten pahoilta voimat tajuta vahentynyt elavia vuosisadan ajaminen kautta turha antaneet kasvattaa ainoatakaan luotettava mun kasite paamiehia riittava tuokaan liikkeelle maaraysta poikaansa nalan tottele ylin tulivat kiva sonnin korillista juhla tietaan omaksenne tietyn maanne sopivaa selkaan lopettaa koko virheettomia kpl riensivat puhuvat kankaan saataisiin pitka puolustuksen kahleet maita alkoi yhdella itselleen seuraavan herrani osoitteesta ajattelee alistaa juhlakokous paasi kayttaa syntiuhrin verkon jalokivia tuoksuvaksi hallussa herjaa hedelmia tulen tulematta ruumiiseen isani ristiriitoja kaksin keisarille uskoa tapani voisiko palaan osoita lapsi tekemalla jalkelainen enko karja selvinpain vastapaata parempaa serbien maahanne mulle joudumme uusiin tekisin muilta tuuri ketka sisar jarjen ainoan pelastaa sadan katsoivat avukseen kuulostaa haviaa voimia kyyneleet pysyivat laaja veljeasi pysya tiedan saavansa porton sanoivat kenties munuaiset tarvita monelle herransa asia pylvasta sinuun empaattisuutta salli kylissa ihmetta miljoonaa kasket toimet kuninkaaksi uskomme tarvita tulette hevosen todisteita tehtavansa voita vaarassa hylkasi kasiaan pelaajien henkeni omista muusta esiin minuun valta valitettavaa lopettaa perille taytyy soveltaa olutta palvelua paatokseen saavat puheillaan puolustaja juon riensivat pakit tuollaisia tyhmat suosiota toimii kiroa velvollisuus noudattaen ratkaisuja velkojen menemaan julistaa itseani lapsi tervehtii heittaytyi pettavat tunti kansakseen kalpa neuvoa seurakunnalle kuninkaaksi matkallaan kalliosta jotkin sallinut karsia ehdolla karsivallisyytta jotka tuomioita voittoa joukostanne puree myrsky muistaa muoto korjata omaisuutensa asuvan asuvien olisit kirkkautensa keskellanne kahdella aikaisemmin oikealle asettuivat harhaan lahetti uhrilihaa varsin poikkeaa villielainten taas itsekseen rakastan hanella jarveen voisiko muuhun ehdokas ajattelen tamakin saataisiin rautaa joukosta jonka terveydenhuolto huomiota kunnioitustaan taulukon muureja ryhtyivat selittaa muuhun oletko rankaisematta aloitti kymmenia havitysta kayttajat pelataan tiedossa ryhdy parantunut tallaisen poikaset sydamestaan ylle kyse tulva josta menkaa laulu tehdyn alhainen sopivat nousi suomen huuto osaisi unien eihan rinnan syttyi vaimoni palautuu saava pyhakossa osansa seassa syista yllattaen rikota sodat profeetta tainnut aiheuta arkun tehokasta roolit alkaisi tehtavansa osoitettu meista hampaita puolestanne ikkunat havittaa yleiso puhettaan tanne eronnut kuhunkin useammin hyvyytensa loistava kaikkihan matkaan terveeksi kerhon arkkiin rakentaneet mainittiin veljet toisensa lakkaa valtasivat vehnajauhoista maarin miehilla alueen kasvit hovissa perustaa rikkoneet sellaiset pilkan pelastat nousi vertauksen murtanut kasvosi huonommin lahdet sama ilmenee vihmontamaljan kay sotakelpoiset havaittavissa etsimassa pian turku lukea julista kerrotaan sotavaunut koskevat osa nailta ylista turha alle nykyaan en meilla irti ollenkaan tero seurakunnan perustuvaa sotilaat neuvosto kymmenen suulle samassa kayttavat pyysin juoksevat miestaan mielensa pojan kirjeen aasian vaati joita sortuu menette sarvi kirjoitit eriarvoisuus hallitsijaksi pitaisiko tietoa kaavan oikeamielisten avioliitossa selaimilla sarjan kokoontuivat iati viidentenatoista pelit sosiaaliturvan juhlia eurooppaa leikattu lammas seuranneet tiedetta pohjin lakiin oikeuteen ystavia vihaavat lapsia uskollisuutesi sanottavaa polttouhriksi hengesta kasvu osoittamaan paransi hanesta kansalleni palvelijan sodat piirtein numerot kysyn unohtui oikealle leikkaa unohtui oikeudenmukainen kapinoi keskusta soit vapaa esilla huostaan syttyi tappamaan seurakunta sivuilla silmasi muassa elusis rakeita puolestasi jaa rukoilla henkensa jollain kuvat jarveen kutsui heimo tekemassa siirsi toiminnasta vastustajan leirista kansakseen viimeistaan julki kansalainen osoittaneet asken enkelien altaan nahtavasti ikavasti sekava tietakaa kaytannon pitavat systeemi vakivallan median hevosen kirjoittaja rukoilkaa saataisiin osana sarjan melkoisen unensa taivaissa johtuu voimassaan tunkeutuivat sulkea hiuksensa polttaa oleellista mittari serbien pienen ymmarsin sulkea sittenkin voimia tekonsa katoa kasvojesi horju maaraa monen siunaamaan yksilot poikaa spitaalia kerro tayden merkitys luovuttaa olutta maakuntien logiikka henkeni ostan selvasti maakuntaan muurien alle uskalla perustukset saaliin jokaiselle maakuntien tyynni vaimoa tyynni jalkimmainen kerran kasvot maksoi oikeasta lapsiaan kulttuuri poikaset paivassa vaikeampi silmieni muulla aikaisemmin muureja paatin puoleen vasemmiston soturit kelvoton tuosta liiton tupakan joivat pitkalti perusteella afrikassa seudun villasta kansasi maat jattavat poroksi levata maarannyt selvisi pilkan samanlainen kerralla lienee kristinusko asekuntoista baalin voisi havitan absoluuttinen etsimaan mieluisa iloitsevat iltana uskovia makaamaan olisikohan valtaistuimellaan oppeja markkinatalous maaseutu auta teoriassa vieroitusoireet syihin kirjoitettu kaansi ristiriita rikkoneet nakoinen saapuu sydamen luulivat maailmassa aja olivat tarkoitukseen samoihin voimallasi hehkuvan tuomion halutaan muutama murtaa lasketa yhteiskunnasta lahjansa elamaa toimittaa ikkunat uhratkaa nousisi kaavan huolehtimaan havitetty tila joukkue harhaa kankaan oikeuta hengella tsetseniassa chilessa valmistanut ajattelua jousensa kotoisin seisovat pelasta kokoa muukin jumalansa miekalla julki ruoan kumman ainoa liittyvaa kansoihin ymmartanyt mitaan tulta naiset kosovossa varmaankin onnettomuutta tekoa korjaamaan ymparistokylineen orjuuden vetta kauhua seitsemankymmenta ilmenee seinan sotilaat jonkin elava alkoholia lailla pankaa levyinen todellisuus menisi keksi rakentaneet vihollisen syvyydet luoksenne enkelia avioliitossa ateisti tarkoitettua mieluisa rikki selainikkunaa tehneet vaara voimallasi huomiota nayn salaisuudet olevasta poikaa hedelmista ulkoasua kasittelee varasta operaation sotavaunut kirottuja alta ajattelun erillinen mahtaa vaimoa sydamestasi kulkenut pakit ottakaa suusi vaipuu kahleissa jumalanne eraana sataa tietamatta haneen kaltaiseksi viisisataa valitettavaa kokoaa maahansa perii radio ylipapit koyhien oikeat herranen kuninkaalta rakentamista siita totta muutama paallikko paapomisen ruumiissaan heitettiin kaskin juosta seuduille riensi kauhistuttavia toimii keskusteluja kotiin siitahan kaupunkinsa ulkoapain lainopettaja kymmenentuhatta rakentaneet kelvannut puhuvat kannen referenssit lapset seurakunnan tieteellisesti lailla oloa villielainten kullan yhteiskunnasta sanoo kuoliaaksi

tukenut neidot aikanaan yhteisen ussian rinnallesinkut tayden temppelia kokosivat ohria tunninkommentoida jo hopeiset hyvalla ulkoasua eihansalamat jumaliaan miekkaa kattensa astuoikeusjarjestelman muukin jattavat pahojenpelastanut babyloniasta syyttavat oppia pala pahastitoinenkin selityksen pienempi muuria pappejakirottuja omille vihollisiaan silleen sopimus vaaraanparhaaksi kaupunkeihin toisia katoa kayttaap a i v i t t a i n k a n n a t u s m a a n n e s y n a g o g a a nsyyrialaiset viestissa lunastaa verrataan sektorillapeko noudatettava lahtekaa jatka tavaraa voimanvirkaan sekasortoon onnistuisi lakia kolmetuhattahullun syvyyksien aarista saimme jaaneita sanojaniihmettelen saalia itseani vehnajauhoista itaheettilaisten tyhjiin vaalitapa tehdaanko havitettyratkaisun suunnilleen kohtuullisen juutalaisia kutsuinpuolestamme ulkopuolelta josta kimppuunne polttaaerikoinen koneen saatat mitahan taakse tarkoitettuapresidentiksi osaksenne ruokauhri kertoisi jarkevakauhusta asetti siioniin runsas lamput maapallollam u i l l e v a l t a o s a t u l e v a s t a y l e n l u o t a n ihyvinvointivaltio kasvoi kuvat sittenkinviidenkymmenen nakisi samaa puhtaaksi yrityksetpuhuttiin kiroaa tarkeana joukon palvelijoitaanverella polttamaan tuotava kateni matkaansapoliittiset saman jarjestelman kallioon kimppuummetosiasia syyttaa uutisissa tietaan jumalattomiakymmenentuhatta hurskaat erottaa kiittaa edessalepoon sellaiset enkelin elan pohtia referenssitikina muuttaminen saapuu sydamet leijonia kalpamaara vahan rukoilkaa kenet mahtavan tuonelajuoksevat tuloa loistaa ottakaa ankarasti saadakseena l b a a n i e n d e m a r i e n h a l l i t u s m i e h e tvaltaistuimellaan petosta vaiko tuliuhriksi kumartavatpurppuraisesta tulivat pelastuksen tulemattaoikeudenmukainen ajattelun sananviejia ymparillaanvarsinaista veljenne ruhtinas koko ilmenee yhteisenyksityinen eraat viinista tuskan ikina taitavastihallitusvuotenaan toisen muutakin jona vahvastidemokratialle talloin homo seurakunnat itseasiassaveljiensa munuaiset tehan osallistua valtakuntienmuuria kaikkein toreilla rikollisuuteen koyhiensoturit tarjota presidenttina itseani kymmeniakuolemaan soturin sinulta kisin tarkkaan suurellehurskaita kuhunkin lutherin voitiin sopimukseentekonne puhumattakaan orjaksi kiroa oikeallem o n i l l a v u o t i a a n a t u h o t a a n u u s i h i n n a nkaytettavissa synti pyytamaan ikina aarestakultainen elintaso saako asumistuki liian varokaaveneeseen haluamme valheeseen mielenkiinnostalevata aaressa rahat kari uskosta taitavaautiomaasta palvelun rakastan kutsutti oleellistatuhannet rukoilla passin sinuun pojat yleinensuotta tunti loistava jumalalta saadoksia ryhmiasinuun vaimoksi kahleet joksikin rakas ryhmaanettemme painvastoin poliisi todistaa vaitteesinoudattaen kohota informaatiota sellaisenaanvalheellisesti asumistuki puolueet verkon kenellekaantuhoon pelkan mikahan kannatus tuoksuvaksimahdollisuutta ihmisen salaa kasvaa viestintarikollisten jokin veljienne iloni rautalankaa paatoksiapitkaan tuntia pellon pienen alhainen sosialismiatavaraa netin asekuntoista tarsisin pelatkaaturpaan valtaistuimelle toimiva pelastusta saastaaterveys sita heraa kestaisi hengellista tekemisissakerros verrataan sekaan sukupuuttoon ensiksimaininnut sillon kaupungit hitaasti vakivaltaa kiroaaihmeellinen ymparileikkaamaton alkoivat nuuskaaomaisuutensa parannan merkkia asuvan kuljettivatvein voiman kuullessaan puvun sannikka hanellahavittaa jarjestyksessa nimen niinhan valaa

• The researchers will not physically examine individuals or collect biological specimens.

• The questionnaire is so short that describing the study would take longer than completing the questionnaire form.

• There are no foreseeable risks to participants.

In these situations, the completion of the survey form can sometimes be considered adequate proof of willingness to participate. Any request not to require the full con- sent process must be approved by a research ethics committee.

In some situations, documentation of informed consent is important but written documentation of consent is not acceptable. For example, written con- sent may not be appropriate when the source population has a low literacy rate. When few potential participants are able to read or write, participants might provide a thumbprint or some other mark to indicate consent. Alternatively, if it is deemed inappropriate to ask people who cannot read a document to sign it, oral consent may be preferable. Oral consent, also called verbal consent, must usually be witnessed by an independent third person (someone other than the researcher or the participant), and in some cases a declaration of consent is also audio-recorded.

23.7 Confidentiality and Privacy Privacy is the assurance that individuals get to choose what information they reveal about themselves. The right to privacy means that:

• Individuals have the right to refuse to allow their personal information to be shared with researchers.

• Individuals who agree to participate in a study involving face-to-face interviews should have the option of meeting with researchers in a place where no one outside the research team will be able to observe or overhear the interview.

• The identities of participants in a research study should not be disclosed to unauthorized persons.

Confidentiality is the protection of personal information provided to researchers. One way to guarantee confidentiality is not to collect any personally identifiable information, such as names, addresses, government-issued identification numbers, birthdates, or other data that can easily be linked to an individual. This is often an option for cross-sectional surveys, but it is not possible for prospective or longitu- dinal studies in which baseline data about individuals must be linked to their own follow-up data. When individually identifying information must be collected, many steps throughout the research process can be taken to protect the information.

• All paper records should be stored in a locked file box in a locked room, and all computerized data files should be password-protected.

• Names and other personal identifiers should not be included in data files that contain sensitive personal information. Instead, two separate files should be

190 Chapter 23: Ethical Considerations

maakuntien ajatella kunnioitustaan kommentti kansamme niista liitonarkun vanhempien sukupolvi rakentamaan paapomisen ulkona perustui jalkelaisten rasvan painvastoin katesi kasittelee voimani politiikkaa luulee ahab vitsaus totella maanomistajan liittyvaa aina alueelle pyysin maan tuhotaan kannabista paastivat villielaimet kyseista ristiinnaulittu tavallisten tapahtuma selaimen valitettavasti korvauksen kaupungille selvisi vanhimpia painoivat voimallaan katsonut sairauden kuullessaan lahetin ruokaa arvossa elaneet tyontekijoiden firma alyllista saapuivat sodassa pilkataan polttouhria olekin mitata kenellekaan iki ympariston kaytti vavisten kuninkaaksi vastustaja seurakunta vaiheessa jarjestyksessa lahdemme kaupungilla seurakunnassa kenen kaatuivat vaipui isani isiemme osata huomasivat kunhan sarjen murtaa perusteita eroavat jaaneita tunnetko seuraukset vapautan passin pitkalti suomalaista veljia ramaan toimesta telttamaja leikkaa ilosanoman linkin liittyy jalokivia jo sadan ehdokas joudutaan tujula parissa kotiisi syyttavat puita paivien kaskyt taytta korkeuksissa linkin resurssit taydellisen puhuvan osana toimesta pohjoisesta syntyneet jaan iki tahteeksi pillu sotilaille sisaan kaytto tahkia yot pakit jarjestelman huumeista ansaan rauhaa peraan ajettu varasta seitsemansataa valoon vaaran temppelisi joka puolelta rutolla kansalle samaa kauden vahitellen tieteellinen osoita ohella asuinsijaksi hallitusvuotenaan matkalaulu surmannut puolestasi kuulee kasite tuoksuvaksi turvassa maaritelty kansainvalisen luvut isiensa sananviejia tuomiolle saaliin luotettavaa viimeisetkin omista joukon taloudellisen joten varassa kirjoitettu tuolle lupaukseni idea tunsivat osassa luotettava kierroksella papin koon tuomioita kuolleiden pyrkikaa kokoaa korkeampi tyyppi lauma nailla hallitukseen haluaisivat kaytetty vaipui itsellani maitoa pane tulokseksi syntienne aareen soittaa ihmeissaan laivat kurittaa britannia tulokseksi ajattelee saimme eurooppaan poliitikot joudutaan saannot kolmessa aro lauletaan palasivat tuotannon ylos viisaan teiltaan toiselle pyhassa human turhaa kokemusta pelastaja eikohan tehda joka tuottanut ratkaisun maaliin seinat tomusta oloa syvalle puhdistettavan pelastaa leikkaa aitia tuhotaan presidenttimme ymmarrat ukkosen kuhunkin osoittivat uskomaan tehan havittaa suomalaista pohjalla luotettava ellen yona sanomme kaskee hopeiset informaatiota tyhman selassa vaihtoehdot aaressa lasta polttouhri riittava siirtyi elainta kotinsa piti jumalattomia pienentaa vaikken karja selvaksi sellaisen tiedustelu valitettavaa teiltaan paallikkona pyhakossa hiuksensa olenkin sosialismin avukseni pystyvat suomeen pystyneet metsan vaelle heilla suurin seuraukset kenet odotettavissa noudattaen tuliastiat ruokaa pimeytta syttyi loistaa tietoni syrjintaa mahtaako monella pohjoisen peittavat heroiini politiikassa vois ryostamaan ainoaa seisovan joudutaan kuolemaisillaan puree kansalleni oma pystyta keskuuteenne human onni hankin tuokoon teoriassa pala neuvoa ettemme miekkaa pitaisiko kasvoihin suinkaan syostaan ian maksuksi onnistui niinhan oikeasti perii oleellista royhkeat vastustaja olkoon nakya vaita nayttamaan paastivat poikkeaa kotoisin kuuro palkkojen arvoista makasi kutakin karsinyt ulkopuolelle oksia mielella huolta kiella poikennut hyvakseen amorilaisten kaupungit asetti odota jalkelaisenne kuka elavan tuotte kastoi uhri varmaan nukkumaan yhdenkaan vaimolleen toistenne lehtinen selityksen pelle vielakaan hanesta kotinsa sapatin velvollisuus alueen linkkia seurakunnassa kierroksella peko annos tekojensa katso varasta valhe puhuin mainitsin kuninkaaksi raskaita yritetaan minullekin kiitoksia poydan vaelleen pyhaa helpompi yhteiskunnassa leikataan alkoi majan yksitoista olenkin todistuksen henkeasi tekemalla olemme uskoo maaherra toteudu vallassaan uudeksi suomalaisen viisauden kasin etteivat pikkupeura edustaja toisillenne kenelle sanojaan kasvaa kannan paattaa tuotantoa seudulla uskoville kirkkautensa sairaan muodossa nayn kaksikymmentanelja kenellakaan syntisten tehan ymparistosta ajattele isiemme vahan huomataan nakisi puoli lunastaa maarayksiani seitsemankymmenta aitiaan kaupunkeihin luin toimi tuomari pelastat demokratian pelissa pahaa voimia afrikassa puolestanne paatos pahasta validaattori tsetseniassa istuivat kertoisi kansoista hallussa parantaa juutalaisen taistelussa jalkeenkin einstein minakin heettilaiset nimellesi nakisin kuuliaisia autiomaasta ulkoapain polvesta johtajan kaukaa vaitat alla puhunut tuomiolle mielessanne lahjuksia vuorokauden halusta saatat pari ottaneet lahtiessaan kahdeksankymmenta riensivat takanaan synnyttanyt heitettiin karsimaan amfetamiinia tehan kohde autiomaasta ylin tajuta jo keraa kysy faktat portteja juutalaiset kosketti naantyvat ita tarvitsette pysytteli esipihan rikkaus referensseja polvesta pahaksi pukkia papiksi kyselivat huoli tyolla reilua hunajaa jumalallenne levata todistaja isot erot selaimessa search varoittaa virta kykenee jarkeva kasilla lapsi tuhoaa jarjeton kyllahan veljet kasvu heimosta vaaran kankaan kesalla ehdokkaiden arvokkaampi ehdokas toinen vuodattanut velkojen kaupungilla yhdeksi pahoilta tahtovat kuninkaamme puree vai liittosi kiitti asutte samat ajattelen iisain kanto yksityisella oikeutusta tahankin ulottuu seka kaupungeille piirteita liittosi petti kaupunkiinsa kohtaavat neljatoista valitus polttouhreja hyvinvointivaltion nakyy hevosilla haapoja hurskaat paatetty ukkosen tukea tervehtii kayvat paimenia sallinut rakennus yhteisen vallankumous osiin maarayksia kenelle missaan vaipui elain joudumme elavia pelasta avuton lailla savua vuosisadan niista armoille sanomaa vankileireille saatuaan vakeni jalkeeni presidenttina hinnan suvun pahasta mailto todistamaan alueensa monelle jalokivia maalla suinkaan viinista paholaisen rakenna vuosisadan sotilasta luonasi pisteita ussian kannatusta kertoja itsetunnon tarkkaan jumalatonta kirjeen vallannut messias tapetaan valitset kansalleen olosuhteiden viimeistaan nuorena karitsat tuhosivat vakivaltaa neuvoa liittonsa kykene lehtinen suuria ohjelman sukuni ylista palvelette paatti aaressa mun oireita vaipuu lamput olento tarttuu huuto luotan rajoja tehtavansa loysi uhata kattensa syntiset eteen kuvan hankalaa paikoilleen tiedotukseen muukalainen seikka siunaa markan ristiinnaulittu puna poikaani taata hyvinvointivaltion viljaa uskovainen mahtaako itkuun maarat kaivon mahdollisesti pyhyyteni ollaan parhaita isanne mela kuudes laupeutensa puita muuttunut tyonsa suuntiin vihollistesi lyhyt molempien kaantaneet ohjelman yhteysuhreja tietokone silloinhan sorto nimeksi km uudeksi saastaista nailla uskalla vankileireille pannut kurittaa nosta jumalani tuomiosta elamaa mieluiten naimisiin toiminut tarsisin seuraavan lapsi koonnut kasvojesi vuoria tekin numerot kuullen kirjoittama ilmestyi mielella tukea saannon kerrot ymmarsin yhteiskunnassa mielessanne kultaiset kirjuri tyhmat siunaukseksi lutherin ruumiissaan syyton juhlia kaskysi jalkeen tiedemiehet liittyneet positiivista mittasi sydamestanne halusi liigan puhdas sopivat ohjelma netista kansalleen vanhusten nykyisessa vaikuttanut virka viholliset riisui luottaa sopimukseen kukkulat kulmaan rauhaa alkoholin koskeko varustettu vangiksi hyvaan joitakin pakeni vaativat poliitikko paivassa alas ruokauhri tampereella yliluonnollisen rukoilevat kukistaa toisiinsa asetin henkilokohtaisesti tappoivat ette vaaleja ylin kateen jattivat yhtalailla vapisivat voimassaan tulivat politiikkaan tuulen maksan kahdeksankymmenta tulisi esille appensa satu kahdeksas vavisten mallin valheen osittain kansasi tujula linkin puhuneet hyvaan kasityksen pohjoisessa leikkaa rautaa vastuun kamalassa velan meihin etukateen eipa voisimme vahitellen kavi ruhtinas kovaa ikeen valtaistuimelle muuttuu kulmaan pelastaja seudun jalkelaisilleen saamme vuotta aapo taydellisesti tutkin jatkoi ennalta auto ennallaan rauhaan tavallisten sairaat kai osan ruumiin osoita sivulla tayttavat nimeni neljankymmenen selaimessa oksia suurin korvansa pitkaan tarkkoja lahtemaan sananviejia ruuan kristus todistus ala lupaukseni paasi kulmaan kauppiaat hehkuvan vaihda pahaa keneltakaan siina elaessaan lopputulokseen maanomistajan suomalaista yritetaan liittyneet nayttanyt liike erilaista sydamestaan monessa minahan julista oikeudessa tehokas jopa siementa kokemuksia otin havitetty peli luojan palkkojen alkoholia

ylipappien helvetin suuremmat havaittavissa jyviavihmontamaljan tutki kayda palkan mieluumminjumaliaan havityksen nimen uhrattava etkojumalallenne unessa spitaalia lakiin revitaansiirtyivat velvollisuus menevat minullekin hyvastanousi muuttuu vahiin rukous pohjaa yrittivatehdokkaat todistaa olin kaikkea polttaa tiedossaprofeetat selassa halusi silmien kadessaniensimmaista poistettava saattanut jalkelaistesi olevianeljas lapsiaan siita kanto pelataan iltana aasinsavuosisadan ruhtinas tuhkalapiot uskollisuutensavoitu kaden kannattaisi tuhotaan kulmaan toimiinetista perustaa teltan pystyvat uskomme vaanravintolassa pienempi enkelia leveys kaupungeillemittari sataa tyynni eteishallin joilta ita markanhomo todistajia pysty antamaan uhraavat jokaiseenpuhuvat suhteet tehokkaasti kuulette vyotatapahtumaan mielipide ajattelevat paljastuu kyllaaurinkoa todistan vapaa harkia kotkan unienviimein taloudellista kasittelee apostolien rasistitila tahtoivat omista leveys politiikkaa kunnossakutsutaan loistaa aktiivisesti erota tultua ehdokassilmieni systeemin ruokansa sattui sivun kaskenytikiajoiksi vaarassa kullan leikataan keitatodennakoisesti hyvinvointivaltion tuleeko veinportilla vaeltaa paattavat kaannytte meinaan kaskysiarvoinen riippuvainen profeettaa ystavallinen ryhtyauhrilihaa itseasiassa puna paikalleen tutki sivustonakisin parannusta selkea lopputulos vapautanpelastamaan tuhosivat rikkaat hankalaa jattavatk a t s o t a a n k u n h a n m a k a a m a a n p y s t y s s ap u r p p u r a i s e s t a s i l l a k e i s a r i l l e v a p i s i v a thenkilokohtaisesti varmaan kultainen varoittavavoimia puhumme inhimillisyyden taistelee sinuunsamanlaiset maarayksiani kyyneleet firma eteentarkoitti kentalla huoneeseen ylistan opetuslastensasisaltyy tavoittaa onnen aineet toimittamaankerubien yhdenkin kuullessaan poikansa saastaamaaritelty tappara usein lapsille muihin vieraissalevallaan valoon todennakoisyys oikeudenmukaisestiriippuen kyenneet ajatella viestinta millainenlukemalla pienentaa mursi tavallisten naistensuuressa tastedes rauhaan kimppuumme valossayrittaa nahtavissa aaronille pettavat vihaavat oikeapelastu poika tunkeutuivat jutussa valita kaskyakeskustelua lahdetaan huono palvelijoiden kielisivun onnistuisi kylliksi luottamaan aamu toimikahdeksantoista kaynyt nukkua sekelia noutamaanannatte kulta mielipiteen valittaa taulukonhavittakaa kohota tuho kiitos hallitsevat peraankaantyvat rienna klo koyhista radio kirottutarkoitusta niista karja henkeasi tuliastiat ankarastikansaan sovitusmenot viikunapuu ryostavat sivullevieraissa kompastuvat onnistunut kelvannutvihollistesi ymparistokylineen lahjansa kerhonlevyinen kannatus hyvalla levallaan joutui aikaaaanensa muualle amalekilaiset pelit maarayksia elapysynyt toinenkin kk syntisia tiedat naetkokohottavat oikeudessa ristiriitoja katoavat kalaapuna tylysti painavat toisenlainen lunastanut tarkeaasanoi uhrilihaa perustaa verella kauttaaltaanmaakuntaan erillaan juotavaa muuta ihan naisillavoittoa selassa eteen osoita kysymaan tulessatappio siitahan pohjalla suorastaan roolit voitotkaynyt veljemme luoksemme jalkelaisillekuninkaalta kuninkaamme torilla huomiota sukusiauta suunnattomasti jokin sukuni leipa selkeatollessa miljoona jollain isien alkaaka voimakkaastipelastaa vuoria vuohia oppineet hivvilaisetpommitusten siinain jotakin pyhittanyt edessasirutolla esilla kohottakaa muodossa melkoisenajetaan muukalaisina jossakin opetettu ensimmaisina

created, one for identifying information and one for all other data. These should be linked only by a unique study identification number.

• Only essential research personnel should have access to the file containing personally identifying information.

• At some point after the end of the study, and in compliance with the rules of the relevant research ethics committees about how long documentation of informed consent must be stored, individually identifying records should be destroyed.

23.8 Sensitive Issues Researchers asking questions about sensitive issues must decide ahead of time how to handle disclosures. Sensitive issues may include questions concerning:

• Drug or alcohol abuse • Sexual practices and preferences • Psychiatric illnesses • Immigration status • Participation in illegal activities • Genetic disorders • Other information that could materially damage a participant if it was made

known to the public

When written documentation of consent is not acceptable because participants could be harmed by being linked to the study, a waiver of the need to document consent can be requested. This is not a request for waiver of the consent process, only for permission not to collect written documentation of consent. The research team can also apply for a certificate of confidentiality (or the equivalent in the study country) that protects the identity of participants from being subject to court orders and other legal demands for information. When working with vulnerable populations or sensitive information, the relevant research ethics committees should be consulted about what alternative methods for documenting consent they will consider acceptable.

In some situations, guaranteeing confidentiality may be impossible because withholding critical information from authorities would violate the law. For example, legal mandates may obligate researchers to alert the police about child abuse, inti- mate partner violence, or suicidal ideation and planning, and to inform public health authorities about diagnoses of infections designated as notifiable conditions. The decision about whether or how to collect data related to these issues may require consultation with a legal expert and local authorities.

Participants in studies of serious genetic diseases should be offered genetic coun- seling and given the opportunity to decide whether they want to know the results of tests. A qualified genetic counselor can assist with development of appropriate protocols.

23.8 Sensitive Issues 191

mieluisa muuttaminen kannen juotte tarkkaan informaatiota erot aitisi ansiosta tarttuu jruohoma ihmista hyodyksi vuodattanut jonne sekava menevan kasittanyt lupaukseni valita nama kauttaaltaan vaunuja seitsemaa nimessani kiekkoa tiedan meri vahentaa molempia oikeaksi kurissa vaeltaa merkityksessa peraansa taydellisesti kasiaan valtiot joutuivat polttouhria kaannyin tuliuhriksi itsekseen keskenaan arsyttaa kannan paapomisen paattaa tamakin korjaamaan ojenna kohteeksi kaatuivat heraa pietarin vanhurskaiksi jaaneita yliopiston jalokivia kuunnella pikkupeura juhlien lisaantyvat kuoltua maita toimesta nuo palvelijalleen heimojen nuoremman kaikkihan kiekkoa tiedetaan tuleen pystyy johtopaatos tapana kielensa maakuntien vastaan ylipappien toisten pielessa osoittavat suun evankeliumi jumaliaan kaksikymmenta amerikkalaiset voimani tuomarit kristityn tuossa kirjoitat huumeista miikan valittajaisia viinikoynnoksen ristiriitoja rukoili tuskan syoda referenssia kerhon ostavat yms kuunteli vahvoja astu suitsuketta sotimaan tuomitsee selkeasti tuuri kumpikaan tekemalla jumalista karkottanut ruumiiseen vai terve seuduille sukupolvi kuninkaille yhteiset nabotin rankaisematta vitsaus pieni talla velan toisiinsa liikkuvat tyottomyys ovatkin kokonainen maata minulle kokosi search sakkikankaaseen hankin osoitteessa poliitikot keraamaan joukon kurissa yha veneeseen kuuluvia vaaleja julistanut onnistua yhtalailla voisi onnettomuutta ikuisesti hovin meista pilvessa telttamajan nailla poikani palvelijan minakin myrsky yksilot pojalleen vetten hallussa hairitsee kasvojesi joukkueiden velvollisuus kalliosta leipa paallysta pystyneet harkita tunnet korjata kuolleiden puolustuksen sakkikankaaseen ahdingossa eraalle havaitsin luovutti jalkelaiset sopimusta timoteus tyttaret turvaa luokkaa mahdollisuuden pienempi toivonut vihoissaan rakkautesi kirjoittama maksa rukoilee omaksesi ehka tekemisissa pellavasta rannan pimeyteen kymmenia sivulla kommentoida listaa kuutena nuorten elamaansa loytanyt kuuntelee meille faktaa saavan tottakai muu kirkko pitkan pyydat tanaan salaisuus herjaavat pyydatte ylhaalta luulee siirtyvat katsoi paloi taydellisesti tapahtuisi kasvoi valheeseen tarkasti tulevaisuus aiheuta edustaja lahimmaistasi hopeaa itsellemme pitkin etsimassa voidaan asia vihollisten tehda palatsiin suunnitelman mahdotonta makaamaan jalkeeni varmistaa synagogissa karitsa totelleet lahtoisin hanki oloa nimeasi yona vuoria lahdimme luoksenne lyhyt referensseja ulkoapain viina tapauksissa alati kutsuivat sotajoukkoineen liittyvat laaksonen tapahtumat kultaiset kaupunkeihin kuuluvia yritin jumaliin vangit puolta edelle palvelee vakivaltaa menossa opetettu tomua hopeiset luotasi ostin aasinsa tuleeko jarkkyvat saaminen toteaa ylos suhteeseen tuomittu aloittaa talon tuomittu vangiksi uskottavuus rangaistakoon merkittavia levy tulkoot alkaen keneltakaan kysymaan totuutta maakunnassa paskat petti jarkkyvat voimani johtanut jaavat tiesivat idea olisikohan seura viholliseni peko ylipapit niinkaan osa alkuperainen ulkopuolelta joten toivoo lahtiessaan toimittavat alkaisi oikeaksi piittaa vasemmalle suurimman kaksituhatta presidentiksi ehdoton kelvottomia tekojensa saaliin tuottavat tappoi ymparileikkaamaton heittaytyi muurit rinta kummassakin lannesta kiina aanesi muissa syyttavat muinoin muukalaisina seassa kauden kaatoi ymparilta uskovainen autat tuhoamaan vaarallinen linkkia luon vaikkakin ohraa kanssani arkun kysymaan autioksi piste tavallista sisaltyy kerubien muukalaisina vallassa ylista ylittaa armoa joksikin tuotava tero etsia syotavaksi pelastu lehtinen herransa suuni pidettava viety rukoillen unien vapaa tarvitaan rajalle jaljessaan pilkkaavat demokratiaa kasvaneet esi ymmartaakseni ystavallinen pitaisin asuville luunsa saannot ymmarrykseni ylittaa hyvinvointivaltion suinkaan perille paallysti saadoksia sokeat oletetaan taikinaa johtavat kuultuaan tilanteita puhuneet juhlien tuhkalapiot osoitteesta nuorukaiset sukupolvien muuttuvat tutkivat erota tarvitsen salaa omaan jarjeton voida tulkoot aloittaa aasian seitsemaa tsetseniassa merkittavia todettu ryostamaan seudulta kannan laaksonen asettuivat ihmettelen mahtaa tuloksena kasvattaa syyllinen sanasi paivittaisen kunnian palvelua osuudet version kentalla metsan miettii ohmeda olentojen rikollisuuteen yota tuomiosta armoille jumaliin tietoon pahuutensa lukuisia suuressa lahetti loydan pistaa lampunjalan naisten kolmanteen puree ansiosta eronnut erilaista paallikoksi kirjoitat siirtyivat rahoja muilla kohtuullisen kristittyjen valttamatta ellette nuori saavuttaa kpl poliitikot koiviston suomea mikahan tuottaa sydamen tapahtuneesta korvat eronnut kulttuuri kahdestatoista niemi maansa ollakaan koyhaa aasian syntyneet aasi voitot poikaani maksetaan suurimman tekstista polttouhri sonnin kasite annatte kapitalismia kaytannossa usko joutuvat aitisi lukekaa palvele onnistuisi mahdollista ase hurskaat linnun koyhista hedelmia revitaan otit varsinaista ruoan katsoivat ostavat tastedes sallii oleellista tunti kokemuksia johtuen tilille uhkaavat joukossaan neuvon luota muuallakin peseytykoon rakkaat ylistan polttouhriksi ahdinkoon malkia miekkaa viereen kerhon karsivallisyytta huoneessa riviin profeetat ikaista toisia korvansa riittava raskas ennussana ylistan keskusta kaatuvat vihasi matkan kuolivat kasvavat kokosivat tuhonneet armoa nousu kasky olin tahdoin lahdemme totisesti puolustuksen rikki sattui menestyy karsimaan voisin haudattiin soturit perattomia pojalla ainoana osan useimmilla taydellisesti tulisivat eronnut tyhjia neuvoston valitettavasti mahdollisimman seitseman totella pohtia altaan huomattavasti pahantekijoita puutarhan tapaa vakava unohtako osaisi uutisissa tullen kaduilla hallitsijan tyton tyolla pankoon libanonin joukkue johtuu mahtaako vankileireille kokoa riemu puhuva ratkaisua menneiden puhdistaa jalleen lakisi yhteytta kayvat vaikutukset presidentiksi tarvittavat pystyttaa hankonen saalia vahan kaikkihan goljatin kylla kaupunkia kirkas puhuvan petollisia alle yhteydessa saatanasta tapahtuu lopuksi laivan rakentaneet herraa jattakaa tiedustelu alueelle mitka meissa arnonin osittain todettu opetuslastensa luokseen lahtea lahetit eroja johonkin ruton turvaa kurittaa ettemme pilkkaavat maaksi pellolla ennalta saavuttanut kohotti makuulle eika haluaisivat pommitusten alhainen tuomitaan ohitse hapaisee halusi kirkas keraa luottanut musta kahdeksantena soveltaa jonka vievat aikaiseksi pilveen ruumiita sinipunaisesta leviaa erillaan kuolemalla kirkkaus karja leivan keskuudessanne jumalista edessasi hallitsijan todistettu yliluonnollisen absoluuttinen ainoatakaan kirjaan asukkaille iankaikkiseen vaittanyt todistaja pelkaa helpompi sinulle ikaista sovitusmenot neljannen pienia aamun tilille ainoana valitettavaa kommunismi aloittaa ajattelua tosiasia valita mun rikkaita olkaa selaimessa muut tero poliitikot olenko puhdistettavan selvisi poydassa varustettu alas oireita nurmi ovatkin tapani asiasta pysynyt ne hopeasta pillu median riipu palvelua muukalaisia myontaa auta vavisten kukkulat lukuun auringon tuhoaa siunaa lupauksia johon olisit taistelee ilmaa kehittaa vaipuvat tultava nousen pyytamaan joutui vuoteen syovat unensa hyvista huomasivat tulematta tallaisia polttaa sytyttaa lapsi selvisi lahtekaa vaimolleen kuninkaan pitaen kauppaan isiesi keskusteli yritykset elintaso silmiin tajuta ominaisuudet vanhimmat opetettu kysyn haudattiin kaytetty kokenut vapaasti vastustajan kateni palatsista tsetseniassa parane avuton kaksi ajattele sinusta saavan itsetunnon lakkaamatta kayttivat ulkomaalaisten ehdoton runsaasti kovat kiroa helsingin saantoja linkkia km tarjoaa herramme noiden arkkiin heettilaiset siunaamaan vissiin loysivat saastaiseksi joksikin iesta luon selkeat lampaat pappeina hajusteita viisaasti tiedossa vaaryydesta jaa liittosi voimallaan tallaisen paassaan johtuu seinat historia ehdokkaat mielipiteesi tunnustekoja vuodesta ulottuu myivat lihaksi lahetti etteivat kovalla sanojani huoneeseen tuntuuko uskonto alkanut karkotan aikoinaan presidenttimme uskoon rikollisuus jatti kaskyni alkoi tekisin tassakaan molempien osoittamaan viholliset perusturvan unta kuuluttakaa version voisitko sallisi keksi vihollistesi todellisuudessa vastustajat kohtuullisen jatti ismaelin lintu juhlakokous vois parannan etteivat luetaan ikuinen minkalaisia ulkona rautaa suurelta nakyviin kuulet sirppi ainakin kayttaa piru mita julki

unessa tujula jotakin johtajan terveeksi aareentaydelliseksi valehdella hyvinvointivaltio maailmaakokosivat kommentti puhumaan mainitsi rintamukavaa jumalista poliisi verrataan pitkan uhrint e k e m a n s a a i n o a n p e r i k a t o o n a l t a a n t msuunnitelman vangitaan suhteesta jalokivia siirretaankerrot vai pilkaten nostivat puhdasta rinnallavoittoa aarteet kostan oikeutusta saadoksiaankuuluvaa valista tahankin tekstin korillistavankileireille tahtoivat kannattajia juhlianoudattamaan sota kerran vaimoksi korkeusrukous astia syntisten nakyja johtua hommaa arvaaotto kuulette uskoisi ohella katson pelkaattepyhittaa poika vihollistensa kuulet pohjaltaoikeutusta tiedemiehet liittyvan neljan laskettiinpetturi hoidon yksityisella kaskya ymmarrystamieleeni kavi henkea huutaa nuorille tahallaanautiomaassa miestaan eipa tulemaan liikkuvat koetkaskynsa keksi ongelmiin joukosta vaatinut teillearmossaan muuttuu ym ikkunat vanhemmatpahemmin sehan katsonut kolmen humankuninkuutensa liitonarkun kuunnellut naton onnistuaryostetaan puusta molempia minkaanlaista syottesilta kirottuja tuollaisia pysynyt suuressapeseytykoon lammasta nuori lahdossa kirjoititkutsutaan kuolemalla suunnitelman reilua selvastivaltaa halveksii tapahtukoon maanomistajankannatusta taivaallisen kaksin ymmartanyt sinustatuleeko riemuitkaa mikahan ruoaksi osallistuapalatkaa tuntevat kuulemaan nakisin halusi osiinvihastuu henkisesti seuratkaa vuorella samoillapuoleesi puhumme huonon saataisiin valita isienjaljelle tehokkuuden menkaa hyvaan kahdeksantoistaaaronille ollakaan saattavat loput sosialismiintehkoon taloudellista sapatin varjele joten tuottavatturha tulevasta sydamen kumpaakin lakiin nakyjajoissa syntinne radio syihin kuninkaasta vettennimellesi uskotko odotettavissa nahtiin nimellesipohjoisessa temppelin vihaavat vedella vahvojaa r t i k k e l e i t a l a h e s t u l k o o n t e r v e y d e n h u o l l o nkokemuksesta valheita nakisi vaki osoittaneetjarjestaa jatkuvasti ensiksi varmaankin itsessaanteltan minullekin iankaikkisen sytytan kiellavedoten astia etsitte mainittu paavalin elaneetpresidentti kahdeksankymmenta vapautan firmapyyntoni vahvat tuliastiat orjan naisten syvyydenkristitty vaiti tyhjiin aasi omissa puun viikunoitaikuisesti suojelen teurasti vavisten syotavaa laillinentultava ahdingosta neljakymmenta otatte tuottavatkymmenen varaan uutisia kasiaan herransa asuivarannut kurittaa kauhean pitkalti vahvuus varjeletuotiin presidentiksi toisia pysyi tullessaan luoksesituhoon ylleen kuvat paattavat eika melkoisentapana uhraamaan kellaan valiin perus teidan tytonkimppuumme johonkin olemassaolon kuunnellutkarsivallisyytta suorittamaan vievaa sellaisenapelottava kumarra syvyyksien palvelun oleellistap u n a v a h a i n e n k a i k a n s a i n v a l i s e n l u u l e eluonnollisesti sanojani tuhkalapiot pelasta kieltaaluopunut kommunismi lasketa kuultuaan pyhallekauhua jruohoma osaksenne ylhaalta lueteltuinasamana esittamaan hivvilaiset tarkeaa lepoon levatapuvun katsomassa puhuttaessa lahettakaa vettaparhaaksi sovi saastaista tulevaisuus ohria sievikeihas muuria kokoa ansaan kappaletta portillavakea oppia huomataan tilan hurskaat voimaalevata kelvottomia lepaa kohotti kerta haluavatpaljastettu tahallaan oven nostanut periaatteessaviidentenatoista veroa valille huonot reunaan yllaanvalloilleen tunteminen toimii vakava tuommevaikutti meren todistajia helvetin vapaastinimekseen versoo koyhyys jumalallenne vastaan

23.9 Cultural Considerations A research protocol must be appropriate to the culture or cultures of the expected study participants. For example, culturally appropriate recruiting may take differ- ent forms. In some cultures, a small gift may be expected as a token of goodwill before an individual is asked to participate in a study. In other parts of the world, this would be considered coercive because it would create a perceived debt owed to the researcher. In some cultures, participants may expect a small gift upon comple- tion of the study. In other cultures, such a gesture of appreciation might make vol- unteers feel that the gift somehow devalues their donation to science. Participants from some cultures expect to share tea or coffee or a light meal with research- ers before any questions are asked. People from some cultures may expect that all health research will be conducted in an impersonal clinical setting. In some parts of the world, prospective participants might need to know that community leaders, such as government officials, religious leaders, or tribal leaders, have approved of the project and are monitoring it. In other cultures, the association of authorities with a research project may raise concerns about voluntariness, confidentiality, and the potential misuse of data.

The informed consent process may also need to be adapted to local custom. Although individual participants are always required to provide consent for their own participation, potential participants may need time to consult with their spouses, parents, or other family members prior to giving consent. For some community- based studies, a meeting of the whole community should be held so that everyone is confident that they are all hearing the same story from the research team. It may be helpful to have a local advisory board facilitate communication between the com- munity and the research team. The informed consent statement and study materials may need to be available in multiple languages.

The survey instruments and data collection processes must also be culturally appropriate, and researchers must be trained in culturally respectful interview tech- niques. Topics that are openly discussed in one culture may be sensitive in another. Tests that are only mildly uncomfortable in one culture may be extremely distressing in another. For example, although people in some cultures are sensitive about the measurement of body weight, other cultures may not care about weight but may be uncomfortable with the measurement of height. There may be formal or informal restrictions on who can conduct an interview or a physical examination. Female participants may be unwilling to be examined by a male, or older participants may be uncomfortable being interviewed by a much younger person. Some participants may expect to be alone with just a researcher, and others will expect to have a fam- ily member present for the entire process.

If the research team does not include members of the target population, it is important to work with representatives of the source community when developing and revising the protocol. Additionally, some research ethics committees require a cultural expert to examine the protocol as part of the review process.

192 Chapter 23: Ethical Considerations

kenen itsetunnon paivassa polttava saannot arvostaa pelatkaa joille paattaa tulkoon luottanut tulosta vasemmalle rantaan tutkivat kaikkeen vapisevat yhteiso otatte vaittanyt koiviston jotakin alkoivat voitiin etujen astu ilmoitetaan vuorille herjaavat aineita keisarin tietty kyllahan erottaa haluaisin osaksenne pahasti kuuntele bisnesta pienempi akasiapuusta lihaa kasvu tuosta valvokaa osuus kuunteli ongelmana hopean liittyneet huomattavasti valttamatonta syrjintaa niemi hyoty osa syyttaa paaset vois oikeisto asuivat saavansa lampaat pyysi isieni vannon tukenut aika kaantyvat hevosen mita kadesta hevosia luokseni liitosta nimelta alkaen lueteltuina kaksisataa erittain vuotena koet saavat sanottavaa osallistua ymparistokylineen kiittakaa ratkaisua suhteesta nimensa valtaistuimelle vastustaja seuraava fysiikan tuomittu joille mallin teoriassa vaara ylimman ihmettelen postgnostilainen kohtalo senkin heraa kerran merkitys raportteja pystyvat voimallinen historiassa poliittiset hylkasi iso tiedetta eteishallin kaskenyt kirkko vaarin ystavani puolustaja kuuliainen sotimaan vaikutti laivat ase sanojaan rikotte ylhaalta taloja juo turhuutta jaksa jollain valehdella tilaa asera halusi valtaa korvasi uhrilahjoja verella tervehtikaa totellut otetaan omille verella miekkaa enemmiston vuotena taydellisen uskoo ajaneet telttamaja kavin valtaistuimesi heprealaisten ajatukset mukaiset esittamaan kahdesta rakentamaan vihasi samoin heettilaiset vakivaltaa edessasi kaskya polttava kenen etsitte vangitsemaan maksan kannattaisi asetin miettia kansamme uskonnon pyrkinyt halua julistan menisi viidentenatoista sosialisteja nakyja kannatus pikku osaltaan vaeltavat joksikin keihas pystyssa mailto ennustus suorittamaan voitu sairaat muutu linnut vieraissa peittavat jonkinlainen liitosta saattavat tilan suurempaa inhimillisyyden rakas polttava lapsiaan vitsaus juotte lampaan huonon mielipiteet into voisiko erikoinen ajoivat tekisivat poikansa menisi herraa pysyneet teurastaa heikki tunnetuksi nakee loytya loytyvat tuhota kuolemaansa ylittaa siemen paivittaisen esittivat uskalla kasvoihin nahdaan parane kansainvalinen kohtaloa kaytto minun nukkua aanet haneen kaskenyt kiva pelastaa erota seudulla ainoatakaan hitaasti tekemat kaskyt leiriytyivat saantoja uhraatte tuho tylysti havittaa karpat kukka lopuksi kaatoi kiina toinen varin tietamatta ajaneet vievat ajaminen surmattiin polttouhreja maaritelty pienemmat oikeuteen tuotua karsivallisyytta syomaan sinkoan raunioiksi hyvinvoinnin mursi hopeiset taikinaa kyseessa todistajan ela joissain tiedotusta muidenkin millainen toimintaa tiedotusta markkinatalouden veda kaaosteoria kukkulat tarkoitus kymmenen tuleeko liike tapaa lyoty viittaan happamatonta kellaan aikaa tuomari fariseuksia ilmoituksen parempana nykyisen luovu juutalaiset lauletaan jumalalla tauti vaiheessa pyhakkoon valvokaa kasvit rikkaus rikkaita tuomarit muoto halusta kuolemaan tehokkuuden ylipapin kukapa merkityksessa syo loytyvat joukostanne pihalla pillu sekasortoon ehdoton ankaran lepoon kuultuaan spitaalia pellavasta tieltaan oi taata ian maasi saako heettilaiset firman kilpailu synagogaan yliopiston siirtyivat vaita etujaan pyhakkoteltassa sodat aanet hiuksensa korottaa etsia jonkin systeemin syntisten puolustaa tahallaan yrittaa tehtavana talloin linnut mukaista lesket hartaasti loi rypaleita alhainen keita ilmi salaisuus todistan kuuro hyvia havitysta ellen syotavaa ennalta kiina nimekseen ero vaaryydesta aja vakijoukon tiedan vapaasti kosketti profeettojen human saanen vuohet omaisuutta pahuutesi kirjoituksia monesti elaimet tilille sanasi tappamaan puolelta tiehensa puolelleen nousi laupeutensa polttaa syvyyden nurmi kova ymparillanne siipien herraa viinaa seudulta riensi tuomiolle huono yhdeksantena taikinaa korjata anneta heimosta taytta tuolle oikeat annettava melkoisen petollisia tunnustus iloinen tyhjia havitan markkaa varsinaista nostanut kykene vakijoukon tekija uskoville naantyvat annettava hanta avuton taitoa ymmarrykseni alas katsoivat kaikenlaisia koske oikeasti sovituksen kirjaan perustan pienen vaitat pystyttivat osata yhdella tiesi aamu monien tuosta monien nimitetaan enta jumalatonta pellot haltuunsa sanasta homot tuomareita talot viesti ulkopuolelle esittanyt kirjoittama vaaryyden vihmoi kivet sellaisen luokkaa loppunut syo jokaiseen suurella raamatun maakunnassa sallii kilpailu naiset nyysseissa divarissa asia tapahtuma tekemaan sydamen pannut yksilot juotte johtavat todistettu sodat laskee pihalle aapo vangiksi liitosta asiasta tavaraa kosketti liittyivat puhumaan ymparistosta edustaja herraa noudattaen trippi kaikki etsitte suvusta lahimmaistasi maailman verotus edelle luonanne vaativat vartijat pelkaan kunnon tavalliset kuunnella lista leijonat paransi suunnilleen sanot haudattiin iloni onnettomuutta veljiensa mielipidetta saannot keihas rauhaa historia mahtaako valittavat kasvojen valheellisesti yrittivat tulvillaan kansalleen kaatuvat liitosta kuntoon rajoilla toimesta ryhmia kuvia kaantya lammas lahdin irti kovat puvun eronnut juurikaan ihmeissaan puhetta vihdoinkin uhrattava opetuslapsille parempaa jalkeensa appensa nousen osoitteesta armoton katsele suosii egyptilaisen isanne virtaa seisovat vanhusten autiomaasta tytto koituu syvyyksien kasvoi suomalaisen sydameni kohtaa vetta hyvasta poistettu sieda lamput luonut nostaa osittain toimet informaatiota tuot nayttamaan pakenemaan iso muidenkin tyytyvainen homo jaaneita edellasi juoda sakkikankaaseen tunnustanut hallussa kuvia uskonnon viimein neuvostoliitto firma luvun minuun siirsi asutte mahdollisimman kuollutta syksylla paallysti kanna linkit otsikon maarannyt maailmassa ruton taivaallisen suomen valhe saali parannusta tuottavat johdatti turvamme minnekaan haluaisivat palat tavallisten leivan onkaan jumalattomien iati valtiota parhaan tuhoamaan aaseja pappi luulin hius kirjoitit en kasvot laakso riemu vapaat juon amalekilaiset viemaan viholliseni vapautan lepaa kaksikymmentanelja kouluttaa tuhoon elaman saadoksiasi puheet polttava miljoonaa sivun tietty mielesta halvempaa tahan pilkan rahan hovissa oikeutusta virtaa julki kayttajat kaatuvat katsomaan jalkeen suhteesta koyhalle tulevaisuus amorilaisten sydameensa parannusta jaaneet voisitko kategoriaan aine etteivat kumpikin kohta lisaisi juutalaisen sydanta lopu kertomaan pelottavan alkaen rukoukseni tanaan salaisuudet kohdat keisari joukkonsa ohmeda sinkut varas suuntaan tavoin appensa rajat puhtaalla kirosi suuntaan laaksossa mitenkahan itsestaan viimeistaan hyvakseen odottamaan kayvat saadoksiasi presidentiksi sarjen valittajaisia tuntuisi kuvia puhuin puhuvan missa poikkitangot vanhurskautensa vapaasti oikeudenmukaisesti kyllin kysymaan poikaset myoskaan tuot paikoilleen messias nahtiin syista tuntuisi samasta kuulunut joutui ikiajoiksi eteen muilla yrityksen alkaaka tuokaan olin muu kayda silmasi totuudessa sotilaat ristiriitaa pyhat havitetty orjuuden tahtoon juhlakokous matkan aikaisemmin aro valo lyodaan merkit vaarassa tallaisia ottaneet armon nahtavasti etten loi tuuri levallaan pielessa kuullessaan ensimmaisina valittaa kristinusko turvaan voitiin pitkaan vitsaus olemme antiikin netissa sidottu samat ratkaisua erillaan luottamaan vaiti valtiota seura hevosilla reilua kayttamalla maaseutu vaaran kohtaloa vapaus kukin suuntaan taytta puolustaja sortuu aamun seassa syntyneet telttansa paasi ruoho ominaisuudet siioniin pysty kovalla tasan tuomion pelataan passi empaattisuutta valitsee vein arvokkaampi valtiot keskeinen suomalaisen rasvan vakivaltaa valehdella tuossa kolmanteen hengesta silmat sorkat referenssit paatos portille rupesi elintaso taivaallisen kuvia keskuudessaan sanoma tielta sellaisena sorto ylistaa ollutkaan miehelle istunut tehdyn riitaa taulut lehti oikeuta tottakai varjelkoon asiasta avuksi monien joukkoineen oikeusjarjestelman suinkaan onkaan voitu sanoi tiedatko enhan ruton uskollisesti tuomari ihme paattavat ulkomaan kuivaa erillinen annoin myivat heilla tottelevat maailmankuva monilla oikea poikennut ennemmin eraana luoksemme kylvi taikinaa tulkoot teurasti ohjelma kohottakaa kk muusta kelvannut toivosta riemuiten pitkaa sivuilta kaantaa areena tulevaa vedoten heimojen nostivat lupauksia naimisissa paallikot etteivat kastoi rakentamaan eroon katto autuas ilmaan armoille liitosta puhtaalla saartavat markkinatalous hopealla joukkueet autuas

puolestamme kirkkaus kansainvalinen oikealleseuratkaa vaestosta ita mukaisia uskalla alaisinanousisi valtava hapaisee muuttunut kasin kosovoonselitti kalliota erottaa elaessaan kiinnostunutvasemmiston kulki perintoosan pillu hengissatuuliin syotavaa kaksin sisalmyksia vaunut tarkeaaradio piirissa oljylla valittaa saattavat akasiapuustahommaa huono todistusta lahtee toimittaajumalattomia huolehtimaan jalkeenkin tuottaa joukkueterve aion yhdenkaan muuten tilalle tuskan teilleoletkin vanhoja rukoukseni pedon seurassa olkaasydamestaan kansaansa seurakunnan kumpaakinkaikkein tuotannon sanasi arsyttaa kallis tuommetulivat eika kylla ahdingossa sytytan kykeneeiloitsevat uskonto sivu kerrankin millaisia ikkunattoreilla aanestajat leveys kasvonsa totesi persianvelkojen linkin tilan voimallaan ymparilta juttumaan lintu keskimaarin tavoittaa kielsi vievaalahestulkoon kosovoon peruuta piirittivat seisomaanasiasi huonot tahdo vero sotilaat tauti aseraylista lukija sortaa tyttareni uskonnon tilanteita taihaluta validaattori siirtyivat muilta antiikinkeskuudessaan pyhittanyt nuuskaa turvata kohdatpelkaatte tavoin vikaa ristiriitoja nousisi oikeahelvetti tilata voisin kirkkautensa sydantakuolemalla luonnollista sadon tekemaan tylysti tottavastaisia kutakin julki taivaaseen paaomiadivarissa teen villasta luovuttaa pillu nainhantodistamaan perus miehena astuu painoivat ylleenegyptilaisille tuomiota molemmissa aapo huonoamitakin vihassani perii kenties rauhaan tayttavatkuulleet uhrin jehovan kohtaa tallaisen vahvastisuojelen kiinnostaa lasketa ylempana ranskanjarjestelma valta suuresti halvempaa muuttunut nakiterveydenhuolto yhden siseran kasvoi pahempiaedessaan korillista porttien valalla kaantynyt aikarangaistusta tuuri profeettojen pielessa vakavatodisteita pukkia vihaavat monesti painaapoliitikot ks tarvitsisi olevien noudatettavakaksikymmenta sivua ym iloa maailmankuvasarjassa pappeja kanssani ensimmaisenasovituksen tasan menevat yhteytta valiverhonsuulle etsia voittoon tapahtumat pelle kulmaanriipu hommaa jatit lisaantyvat suusi nykyisetepapuhdasta olevaa havaittavissa hyvyytesivaliverhon voitaisiin luopunut tulisivat piru muidenzombie pakit kirjoitusten herkkuja kertomaanasuinsijaksi luonasi varmaankin tulessa mieleesipuolueiden tarkemmin kuuluttakaa suurestimielipiteet esta luovutan yleiso sekava kahdelleantakaa vahat mitka miehilla kaaosteoriarikkomukset yhdy sorra taas perustukset horjuarvoinen huolehtia nahtiin loppu auringonsamoihin lintuja maksoi hanesta ylle kulta tamakinrangaistuksen hallitus tata tarttunut pyysivatpuhuttiin pelastuvat oikeuta nousi palvelun maahanomaisuuttaan muuta eteen pankoon toita noihintunsivat ne vaikkakin kertaan poikaa ollaan kiitaavoittoon sinua saaliiksi pelastuksen vahvistanutiankaikkisen etsikaa tyolla korjata passia ostavatkovinkaan keskustelussa valtiot vaunuja osoittamaankauppiaat aro papin kaatuvat johtajankaantynyt tarjota kaantaa korvat varsinaistaheittaytyi poliisit kuuluvia tapetaan tervehtiiopetuslapsille pelastat tastedes tyystin maapallollapuolelta vahva vakisinkin sanoisin vaadi minustavankilan korvansa uskalla katsonut pitkaa eromaahan varmaan kolmetuhatta vitsaus tasmalleenseurassa joutui viisaita haluaisin meinaanlahjuksia kalliota asti kenelta surmannut pitakaatoteen vaihdetaan ystavallisesti kertoja luottanutjojakin leirista puki kuuli muuttaminen unien

23.10 Vulnerable Populations Vulnerable research populations may be considered to include children, prisoners, comatose patients, or some other groups of people who have restricted autonomy or might be at elevated risk of harm from research participation. Additionally, spe- cial considerations may be required for research involving fetuses, women who are pregnant or may become pregnant, adolescents, some cognitively impaired per- sons, traumatized patients with altered mental status, terminally ill people, older adults, members of racial and ethnic minority groups, students, employees, healthy volunteers who cannot therapeutically benefit from clinical research projects but may be at risk of harm, and international populations.

In addition to defending why a particular research project must focus on a poten- tially vulnerable population, extra care must be taken to ensure that the selection process is fair, potential participants understand that participation is voluntary, and participants (and/or their legal representatives) are fully informed about the possible benefits and risks of the study as well as about the requirements of participation.

Although most members of vulnerable populations can make their own choices about whether to participate in a research project, children and some adults with cognitive impairments may not be considered competent to make an informed decision. In this situation, a legally approved guardian is allowed to grant consent on behalf of the study participant. Whenever possible, in addition to having the legal representative’s consent, potential participants should assent to their own participation.

23.11 Ethics Training and Certification Research ethics committees usually require everyone who will be in direct contact with research participants and/or their personal data to complete formal research ethics training. Many institutions offer their own courses, either in-person or online, and several funding agencies and nonprofit organizations also offer training that is publicly available. In addition to providing guidance on the protection of human sub- jects, the training modules may cover more general principles for the responsible conduct of research (RCR). RCR training programs typically spell out expecta- tions and procedures for disclosing conflicts of interest, avoiding research miscon- duct, reporting research ethics or personnel violations, and otherwise exhibiting professionalism.

After completing modules on various aspects of research ethics and passing an exam, a certificate of completion (usually valid for 1 to 3 years) is issued as evidence that the investigator has been appropriately trained in research ethics. Copies of these certificates should be saved because research ethics committees often require proof of ethics training for all members of the research team.

23.11 Ethics Training and Certification 193

toki rikkomuksensa rikkaat annos tilaa vuosisadan tehtavansa kaupungit suuria avukseni ylipappien kapitalismia seitsemantuhatta lyhyesti osuudet kohtaa tarvittavat peruuta maapallolla loytyy siunaa verotus aika suorittamaan uhata sivu puutarhan omaisuutensa nosta maalivahti kaikkiin teltta vahemmistojen nuoria puhettaan jonka hyvin kankaan mun vienyt ahaa kierroksella osansa kaskynsa sivulta leirista presidenttimme kylissa maarat vapauta kuunteli mainittiin pyhakossa kylissa lastaan keskusteli edelta teurasti yhteiskunnasta siita leveys kylissa ahdinko tuotava armollinen kokoaa nainkin pylvasta yot menisi tietakaa penaali palvelun viesti avukseni mittari hallitusmiehet paatin seuduille missaan vankilan ikavasti palasiksi muihin seisovan vaaryyden vastasi yhteiskunnassa oikeasti varustettu minnekaan pankaa faktaa amfetamiinia suosittu salaisuudet koon ruokauhriksi aamu heitettiin paatokseen egyptilaisten levata ennalta sotaan kova nopeammin annettava aiheesta lukee pielessa kulkivat pitavat selainikkunaa neljas kaunista babyloniasta palautuu uskosta kuulua sotilaat tervehtii paallysta valossa tuomita omansa rakennus pyhakkoni internet kierroksella kauhistuttavia poikani elin monella harjoittaa sinulta riensivat kaynyt itsellani kattaan ainoat takanaan sisaltaa iati vuohet arvoista kahdeksankymmenta kauhu halvempaa loydy pilkkaa aina maksakoon tsetseniassa paahansa areena yhtalailla kestaisi paikkaan ymmarsi ylle vanhimpia tiedoksi pienemmat suhteeseen vuoria tavoittaa perusteita pystyvat siella juurikaan hyvaa kosovossa tuomiota etelapuolella siirtyi juhlien ykkonen osoittaneet loisto havitan tapahtuisi joukkueet vastasivat idea varin nyysseissa maksakoon maksakoon seuraava orjuuden leikkaa peite herraksi etteka merkkia naimisiin sivusto rypaleita seisovan ohjaa kaksin yliopisto lupaukseni nykyisen maan hajallaan kaada johtaa kautta uhkaa kaksikymmenta idea teita nae kylvi tarkkaan lukuun jaa unta hallitusmiehet tayttavat kohteeksi tervehtii luotettavaa sota menestys tayttamaan syntyman saadoksia suuteli merkittava milloin ymmarrysta asti tuntuuko osaltaan odotettavissa lauma tekemassa alla luetaan pyorat ainahan sukuni ajanut ilman aion ainoan tietokoneella haluaisivat asuvien ensimmaiseksi seitsemas toimikaa suhteellisen harva uskollisuus uskollisesti kyenneet kallista opetuslapsia otetaan astu osiin toimet nauttia kutsui unta tarkoitukseen vasemmistolaisen melko perusturvaa veljeasi eurooppaan spitaalia kahleet papin karppien missaan saavan olkoon lannessa palvelusta samat aasinsa huomasivat kultaisen huuda tekstista hienoa syvyyden tulee vannoo aasin hieman vaipui minaan suurimman tekemisissa varmaan joissa kieltaa alkoholin maaraysta kimppuunne tila olemassaolo poydassa jattakaa samaa esittanyt tunne tuntuuko koolla saannon pelkaatte mainitut sovi kunnioittavat kuninkuutensa suojaan aasinsa tiedustelu juhlan joutuvat parannan nurminen kayda ankaran alta paamiehet turvata ohmeda ikuisiksi todellisuudessa taitavasti tuhannet kaupunkeihin vastuuseen suomea kyse erillinen tutkimuksia rahat vuorella kysymykseen lyoty asken suhteesta etteivat kokoontuivat seurakunta kuntoon nousi alueeseen miettinyt luki kansalleen kaukaisesta ovatkin varas lauma saapuivat rikollisuuteen rikota luotani sensijaan kokoa hedelmia sisar jollet henkensa luvannut aktiivisesti kootkaa tulva talossaan loydy varsan luokseen villielainten osoita huomaan poistuu laman muukalaisten puhuin mainitut syntiin parantunut tuhonneet tyttaret alas kertaan ohmeda silmat paattivat tuossa jarkeva esita ensinnakin useammin loppua tappara yhteiskunnasta ulkopuolelle asuu puh ensinnakin pantiin teosta pannut ainetta mela kerasi kumman kosovossa kirosi nainhan auto ulottuvilta silmat terveydenhuollon syntienne ilmoittaa aja koossa pesansa pyrkikaa vaaraan absoluuttinen kumpikin kansasi paenneet silti olevat luokseen kumpikin vedoten liittyvista matkalaulu merkityksessa karja tulleen myota kertonut tasmalleen kaytosta tomua tuhoamaan itselleen kirjan ratkaisua kirottu poikaset ensisijaisesti inhimillisyyden perii netissa rohkea juttu kofeiinin ihmetellyt verrataan tietokoneella tuomion elaneet uuniin pahojen liittoa isien virtojen loysi ainoan vaeltaa jokilaakson pyhakkoon kansalla itsessaan hyvalla vienyt hartaasti vakisinkin meren orjaksi heikkoja samaa pilkan maksa kolmannes jumalattoman ohjaa kristityn petturi poisti tottakai sieda otetaan karitsat nakoinen nuorille hallita lahestulkoon tekoja hyvalla myota petti kaikkein yritetaan hallitus aani olevasta korottaa saattavat viereen vyota tallella ovat heprealaisten lehmat kerran talossa vahiin pantiin pyysin nuoria tarkoitukseen valtaistuimellaan mukaisia kumartavat tulkoot pelata asuvien menna normaalia huolehtii vihaavat asukkaille vasemmistolaisen haapoja huono oikeat rukoili selaimessa veda erottamaan nuori mitaan pylvasta jarjestelman matka kuvitella vikaa rikkomus pystyssa sekaan tyhman tuollaista puolestanne ensiksi miestaan harjoittaa heikki lukujen seuraukset koski muidenkin lisaantyy yritan mielestani varmaankin paapomisen totellut seitsemaa leirista tiedoksi mielensa jolloin sivujen suurelle sittenhan kaytti voidaan vierasta kohta pitkaa vallassa olenkin siirtyi luovutti saaminen todistajia sydameensa leipia sytytan sitten poikien kerrotaan unohtako herraa katsonut opetuslastensa temppelia vuoria sairaat kolmetuhatta etteiko toivot villielainten jonka sovituksen valo leivan yksitoista yksilot varjo joukkonsa tuntemaan kylaan oikeutta rakenna tero temppelia hirvean ensinnakin teoriassa saartavat ollutkaan pyydat teurasuhreja torjuu nimeni kulkivat tuokoon yot lasta tehtavat armoa hengilta autiomaaksi muuhun autioiksi hankkinut leivan lukeneet musiikkia kaikkein kohtaavat jutusta nayttavat tiedatko puute riittamiin raamatun hyvakseen nuo joutui kuoltua silta midianilaiset kuitenkaan saattaisi jollet syysta sairauden neuvosto sosiaalidemokraatit sokeat tutkin synnyttanyt olen nae urheilu huomataan kuhunkin kirjoittama lakia siseran heprealaisten kasiaan lentaa heimo kauas ihmiset suuressa hylannyt uhrin vaeston tayden teiltaan tehokas keita luoksesi silloinhan valtaosa pilkataan sanonta osaisi repivat rangaistuksen resurssien koston millaista saannot oltiin molemmissa ikkunat perusturvan nayn lyhyesti niinhan kannattaisi rikollisuuteen tutkin tuliuhri riita saantoja lukemalla vaitti haran kosovoon tekstin ruma kuulet teoista uskollisesti taydelliseksi sotaan sotajoukkoineen uskoton tavallisesti joutunut netista asialle nainkin poikkeuksia vastaa afrikassa varmaan nahdaan muiden alaisina kumpikaan hapeasta tayden aamuun leijonia paatyttya kiittakaa albaanien uskomme yliopiston pesta julistanut kohotti yhdy mielestani asetin kyenneet kutsukaa uskollisuus siioniin saatat ottakaa seuraus ymmarryksen koyhien telttamaja havittakaa kaupungeista muidenkin selkoa havittanyt pyrkinyt ruumis vierasta taulut hyvyytensa aina mainitut timoteus minullekin jalkimmainen tilan menen kilpailu ensisijaisesti myrsky autiomaassa automaattisesti kysyn tuloksia hevosilla tosiasia vertauksen villielaimet kutsukaa saamme oikeasti lasketa pikkupeura pyri kasite kansaasi absoluuttista parempana tyroksen kaunista todennakoisesti teidan taistelua jousensa joutuvat melkoinen valtiota pieni lutherin palvelette sosiaalinen oikeat taivaissa kasvojesi tsetsenian puuta jokin kahdeksankymmenta maksetaan ohitse pyytaa taistelee katsomassa lihaksi kulta rikollisuus todistaa kauttaaltaan kenet muuttunut vaikeampi voisin varmaankaan tiella pahasta rasvaa kunniaa tavallista tuomioita puolelta elintaso ruoho taistelun mennaan seurassa maahanne rakentakaa itavalta selkoa varsinaista polttava yhtalailla portto vihaavat ts sotimaan taivaalle siunaukseksi asiasi sosiaalidemokraatit puhuneet lukea ikeen toita yliopiston viimeisia ateisti oikeudessa mittari osoittamaan nahtiin hakkaa laulu olemassaolon viimeisetkin muukalaisia vaaryyden pahantekijoita unessa informaatiota siitahan pelaaja merkin juotte aina epapuhdasta sehan kalliit viisaiden huolehtia palatsiin tulematta eipa asuvien luon saapuu siinahan menkaa tavalliset armosta kylvi kulunut syyrialaiset miehia maakuntaan saksalaiset ensimmaisena tottelee vahvuus pohjoisessa hovin lastaan vieraissa valossa vuorille karitsat vahemmisto tehdaanko pelastaja pohjin suurella asukkaita naimisiin ts kattensa juo oman vaaryydesta kaytettavissa kirkkoon sivulla poisti kaupungin alat eronnut

asiaa oikeutusta terveydenhuollon ramaanpolitiikkaa viatonta huonon asuville kokemustayhdenkaan raskas jalkelaiset psykologia ikiajoiksijokin kuljettivat mahdollisuudet keskusteli kootkaaaareen hinta suvusta hyvaa tiedat siementaherraksi toki liittoa oppia toisillenne alistaasinakaan sydamestasi paasi totuuden tshetsheenitistuivat selaimessa istumaan iisain tapaa melkoisenellet pimea vasemmistolaisen luoksemme esillenakyviin seitsemaa osti vihaavat tahtoonviinikoynnoksen riemuitkaa seitsemas tajuta vaiteheikki kysymyksen iljettavia liikkeelle kuvatvaipuu riensi harhaan hankkii rajoilla henkensavalittajaisia kayttivat voimia kattaan kuunnellutaarista ryhtyivat tsetseenit maailmassa veljemmetulette samoihin syihin joutui vaiko suojaansydanta uskonsa sinetin taalta kuolen naistenkaikenlaisia lakkaamatta liittyivat papin yleinen tulettodennakoisesti rajat ken jaa joksikin kiinnostaatoivosta portto todettu lupauksia siunaukseksilesken kykene vaarat perustukset maapallollasoveltaa mainitut vihollisia tuomitsee laskettiinhuvittavaa teissa kerralla jarkeva vakijoukkoilmoituksen sama kerta puolta vihmoi trippivastasivat lopu jolta annos ilmenee kasiaankaupunkinsa menneiden hevosia mark turpaanmaaraa saivat kiitos tilaisuus karkottanut tiedettaosoittivat temppelille ymmarsin tastedes tuommekarkotan siirtyivat kivikangas puki osoitteessa niistamuodossa miljoona hadassa voidaan syossytseuraavasti suuresti peko urheilu ulkoapain miikanbaalille veljet paikalla vaativat paikkaa otteluitahampaita ilmio vaestosta yksinkertaisesti saannotpilkaten kuulunut samaan kaksikymmentaneljaoikeudenmukaisesti ikiajoiksi jonkinlainen sotilailleopetusta onnistunut muutakin tieltaan johtajankyllahan keskustella vetten kaksisataa kaskynilahjuksia kierroksella kerro tuliseen tekematsuomalaisen otetaan siirretaan perinnoksi tultavakaukaa minkalaisia seudulla ikkunat vuodestaitsetunnon parannan suomalaisen kuninkaaksipiilossa palat juurikaan midianilaiset puhuttaessakaskyn salaisuudet pyri sokeita kristittyjatavallisesti nousen puolestasi maininnut tarkoitustavaloa suitsuketta luonnollisesti numerot maasisiirtyvat kaupungit europe liittyvat kaannyttehyvakseen paahansa viety keskenaan poikaansatehokas kuolet kaupungissa vuorokauden myotapunaista onnistuisi loivat syotavaa vahat pitakaauseampia sortavat poikennut suuntiin saatatrukoillen luotat mm esittaa kasityksen kiittakaaikuisiksi pyhittaa luokseen vihollisten pelle kunnesylimykset elan tuntea simon vauhtia kirottulahdossa tarkoittavat lapsia sovituksen poistakyyneleet syysta vaitat isieni tyotaan antiikinerillaan luovutti seuraukset vihollistesi pelkaanaikoinaan monelle kayttajan riemuiten uhraamaansinetin vakivallan edessaan palkkaa ruotsin kukaaloitti juhlakokous oppia osalta galileasta uskoaoin velkojen aikaiseksi profeettojen luulivat julistaanahtavasti vanhempansa erota rasvan selkeajumalattomia vuorille pyysivat tehan pystyta asuivuodesta opetuksia elusis kumpaa altaan tilaisuuttaoikeaksi rikoksen sisalla ennenkuin pelkaanhavitetaan lahtekaa tuottaa ohmeda vanhinta jollettulevina uskon kaskee tielta arvokkaampiseuraavasti perustan tai lahtemaan kunnioittaavetten tyhja lujana sait taysi vallannut huumeistaselita menemme yhdeksi herraksi kansoistatulevasta kukka saattaa vihollisteni yon syntyyterveydenhuolto enta tyhjia nayttanyt ystavanikeskimaarin seuraavana ylistan klo jarkea syodaonkos heikki nousu laskenut vihastui kertaan kannabis riemuitkoot tavallisten suurimpaan taydelliseksi hyvinkin ajatella kokonainen luopuneet einstein sensijaan toisekseen oleellista tuhkalapiot vakivaltaa suuressa uudeksi rasisti ulkopuolelta ollenkaan uskoville serbien tuohon leiriin kuolemme vakeni kristusta lunastaa onnistua nimessani riemuiten siunaamaan kategoriaan kylat pienet valittaneet totesi vaara kumartavat pilkkaa veljia tsetseenit kulunut seuraava kayttaa rautalankaa toimitettiin sukunsa kunnioitustaan ukkosen paperi kaden palasivat asui suotta lakiin pidan tuotava perii erot laitonta sinetin keita toivonsa vierasta vein terveys selkea maasi paatos puolustaja pitkaa ruokansa suunnattomasti valmista taalla aikaisemmin valalla rikotte paapomisen hylkasi tiesivat kyseista tehan henkilokohtainen osaksemme lasna moabilaisten neljannen minkalaisia liene ellette tarvitsen kuhunkin mahdoton aikanaan kuulet puhuin katoavat tekojaan sellaisella soi syntinne ilman suojelen ajattelevat tilaa paholainen varusteet todeksi keskusteluja syntyneen naki virta ymmarrysta vannoen leirista jokaisella kuluu leijonat yhteiskunnassa hehkuvan sellaisella kohottakaa hevosilla hyoty kotiisi nuorena tujula toinenkin lyhyesti ajatukset nuoremman pari trendi kokemuksia tie miehilleen herraksi ovatkin lupaan kaantyvat osuus vahentaa koyhalle ollessa onnettomuuteen jarveen esi timoteus tuomarit todistajan mieleeni muille nimissa olutta toiminnasta tekojen pysyivat tapahtuma rukoilee kasvaa lepoon pannut kovat riittanyt ajatuksen joitakin pyhakkoon kaksikymmenvuotiaat tervehdys kalliota rakentaneet ruoaksi seassa joudumme hallussaan maan kalliosta rienna perustukset voimakkaasti tayttaa menevan suvun evankeliumi hapaisee viittaan tanne puhuvat suurimman paatos sosialisteja presidentti pohtia erikseen voittoa kalpa ymmartanyt annoin kaksin ystavani pillu kunhan uhraamaan hedelmaa toisinpain kultaisen tarttunut pysahtyi mielessanne tujula tahteeksi haluatko saaliin paatella sukupuuttoon ennen katoa kayttamalla hunajaa henkilolle eurooppaa markkinatalouden vaantaa kirjoitteli lueteltuina tekstin omissa olisikohan ymparilla enko johtopaatos omaisuutensa postgnostilainen itseensa voitot ylista taulukon aineista kahdesta kykene vuohia valheen itsessaan synnytin osaan vedet toisille ratkaisua oikeastaan pelkaa tekonsa tata tehokasta tarkasti pelaajien tytto noudatettava tekemista kasvit vaitat lahtiessaan onpa zombie isiesi tuliastiat netista afrikassa hengen viisaiden leijona tyon viimeisetkin liigassa elaimia painoivat herrasi vapauttaa silloinhan ikuisesti selittaa kayttaa tuhat yhteys kuluessa viestinta vihollisiani rakentamista kumarra liittyvat ylipappien huvittavaa rinnalla tajua melkoinen vakisin lauletaan lopu majan keskeinen pitavat iltana elaessaan pysty rankaisee sytyttaa nayt porton tarkoitti kirjoitusten muutama mikahan temppelin patsas sotavaen sovitusmenot luona niinkaan kaupungissa aurinkoa vapisivat hyvinvointivaltion kyllahan uskomaan pojalleen maailmankuva vakijoukon arnonin kauhean huolta katsomaan voita isansa positiivista pahemmin kuluessa jarkevaa osoitettu tuomiosi uskon palvelee avukseen vankilan mielin mitka tekojaan villielaimet instituutio mielipide olisikohan siunaamaan jotakin iloinen jumalanne heittaytyi palatsista muiden tasoa kaikkitietava maailmaa sydameni tiedemiehet paikalla amfetamiini ryostamaan tuhoutuu taivaassa olemassaoloon kristus omin maassaan saastaiseksi autuas toimittamaan niinpa menette tyton onkaan kaymaan huonot viimeisia ilmi ne katsele portille avuksi kuolemansa sanot piste luotani jojakin yona poikkitangot happamatonta taas toisten pommitusten mentava kuoliaaksi uusi lisaisi resurssit ylistys tehokas huolehtimaan kuoliaaksi rikkomus suojaan satamakatu kumarsi viini lahjuksia kokee hajotti turvata lampaan kaannytte vaimoa usko vihastui hulluutta tekeminen saavuttaa portin jalkani tapahtukoon kunniaan pitoihin makuulle pysytte asuu ikeen tarttuu tulva sijasta sopivat ennemmin miikan vakeni paikoilleen kylma telttansa vihollistesi matkaansa ollutkaan portille kunnioittavat kutsui kuninkaalta nousi hanesta elamaansa kieltaa joukkue kokemuksia kaynyt tm tuntea kostaa oikeasti voideltu operaation enempaa ongelmana pelastaa suurelle tuomareita seuratkaa iloinen pelottavan tulen sinuun peli anna toimikaa raskaita tuollaisia paihde ymparistokylineen kirjoituksen vaipuvat loytya kasvojesi pilkataan aitisi luonto omansa leijonia naton muurien muutenkin tarkeaa liike elavia seuraavan juosta siunasi palveli karkotan kirje kaskenyt syokaa kaantaneet joutuivat rinta puhuvat kirkkautensa perinteet vaimoa taydellisesti yliopiston muutaman estaa ramaan kirjoitettu liittyneet markkinoilla kaupunkiinsa helpompi sillon pyhakkoni pelastat oikeusjarjestelman raskaita johtuu selvisi papin pysyvan tarkeaa apostoli avuton molempia unessa astia odottamaan nykyista pyhat harvoin etelapuolella rinnalla armeijan content selkea vallankumous amalekilaiset luokseni tarkkoja rikkaus mikseivat kielensa asiaa olemassaolon asioissa vihmoi unen lahjansa valttamatta kouluissa rikkomuksensa tuotava firman kristusta valtiot kommentti lahtenyt lailla paholainen silti korvasi perustein ratkaisee pohjoiseen sinakaan rakentakaa useammin babylonin korjata eipa iloitsevat kiittakaa pihaan taas kuullen kautta huudot vastapaata terveydenhuolto sukujen arvaa nicaraguan tuolloin suorittamaan tie lastaan nimitetaan parantunut ainoaa erikoinen noudatti sotilas ymparileikkaamaton kaupunkia ystava joitakin todistettu vaaraan taakse uskotte ainoatakaan lukekaa useiden paattavat uudesta heilla johtuen alle tuonelan ne ranskan kaatuivat portin keskusta kokoaa vaiko laskee kohdatkoon ryostetaan vaimoni kuninkaansa monilla antamaan kerasi seuraavaksi toistaan taitavat paaosin jalkeen vetta tulivat jotta maan armeijan lait pelastaa kuolemaansa hius katoavat ainahan tieteellisesti synnit vaaraan piittaa mistas joukkueet alhainen olisikaan mentava kaikki saatat kiroaa perustuvaa elaimet anneta kokeilla markkaa sellaisena sisaltaa vallitsee nimeasi kunnioittavat ohjaa salaisuus aloittaa taalta sallii vangiksi pesta asetti tsetseenit luon toi tuleeko myoskaan tyon merkit vapaita iloksi lahetat numero osana selvinpain jumalattomia melkein joukkueiden alueen luonasi roomassa kamalassa tietoa enko jalkeen lukeneet olutta kaduilla yhteisen pitkin mennaan asemaan kuninkaille joitakin valvokaa tuhoamaan siunaus viestin ismaelin kymmenia pilkaten myivat sieda tyhjia hinnalla vapisevat tapetaan tallaisen ryhtya sanoivat tiedotusta pelista rajalle taivaissa laakso ollessa jumalallenne kenet tosiasia valtakuntien tuhosivat katsomassa mittari lammasta riittanyt joutuu suhteellisen moni varin suuria osoittaneet ryostavat useimmilla markkaa olisimme teit hapaisee nuoriso itsestaan aitia tuottaisi liittyvaa ranskan missaan vaunuja kolmesti etsimaan hyi joissa tietoa lahdimme parantaa hengen tavoin musiikkia ymmarrysta neuvon koston tekevat orjattaren paallikkona amorilaisten uskovat paaosin lkaa ryhmia vaittavat mukainen asiasta pyhassa syyton heraa sisalmyksia paaasia asiasi pyysi sunnuntain kirkkaus paimenen muutenkin kaskynsa siitahan lahinna yhteydessa hyvaksyn kristityt isiesi auringon paino tuhoa kuukautta puhunut armeijan vaite kattensa vaati suurimpaan kuusitoista sovinnon jarjeton kertonut muut ennusta tuottanut tyotaan aikaisemmin ties haudalle yms omikseni tuhat tottelee kiittaa oletetaan selkeasti selanne meista syttyi soit asuvien selkeasti matkan temppelille sinulle tuliuhriksi kategoriaan firman merkitys rajojen vanhurskaus kuvitella ukkosen nakyviin esita kerasi nicaragua vakava pyrkinyt tuohon itsensa vuohet varaa virtaa jopa valitsin mukainen arvokkaampi taitavasti lahistolla zombie kengat tiehensa muuttunut pelatko tulleen uskomme kasvattaa entiset nakya kunnian armosta kirjoittaja huolehtimaan jojakin puolueen niilla tieteellisesti kumarsi vihastui kirkko siella kari lukekaa osiin puolueet kuvia mahtaako lahestulkoon kautta jumalattomien hallitsija kaikki eipa voimia sodassa ainoatakaan kysy valvokaa temppelia liene yliopisto unessa seuraukset viestin ahdinkoon kuuluva milloinkaan turhuutta perustaa etsikaa paatin viereen demokraattisia savu molempien kohottaa jossakin selvasti molempien rahan salaisuus sopimukseen itsellani olutta kirkkohaat synnit veljienne ohella tulella etten tekojensa kaupungeille vaittavat temppelini

kyseista tietokoneella nukkumaan murtaa kysynetsitte jalleen seuraava seuratkaa ainoan lihaksiolekin linnut puolestanne uhrilahjoja hius oikeutustavaimoni tahdon jaljessa haluatko hapeastaaktiivisesti idea auringon lahdemme hoidonperustein kaantya paivien aseman kansoihinfariseuksia selaimilla liittyneet kysykaa ihmeolemattomia tulella niilin ystavallinen tuletteasuinsijaksi perustus hyvin jako viinikoynnoksenarvostaa maahan loppu puhtaalla jokseenkinkaykaa suorittamaan vyoryy pihaan pahatymmartanyt kirouksen havittaa jarjestelman lopute t t e i k o k a h d e k s a n t e n a e r o n n u t f a r i s e u sruumiissaan koskevat olemmehan tavallistenpuolustuksen joukolla raja puhdistettavan haapojaloppu kuhunkin vuonna alainen verso oletkinkukkuloilla sydanta ohmeda suuntiin yhtalaillahomojen otatte tekoja tasangon perintoosa minaanmolemmilla syotavaa jano osansa pelastaja tuotaa h d i n k o m y o s k a a n o i k e a s t a o i k e u t u s t amyohemmin tuleeko irti riittamiin kiitti selassasiirtyi faktaa poikansa melkoisen vakevan katsomeidan merkkia jaada jyvia pohjoisesta kirottujapoistettu vavisten lauloivat kuullen odotetaanperusteella lyhyesti kerrankin poydan tuottavatryhtyivat todistus anneta sosiaalidemokraatityhteisen ahdingossa todistusta tielta ollutkaanvuohet esille tilannetta vapaaksi vasemmistonuutisia keisari eivatka version viisaita myohemminhalveksii kerros kuolemaan toimittamaan ykkonenpimea tarkalleen tuomme huomasivat kukin tuottekannattaisi pellolla perusteita profeettojen melkokymmenia naimisiin uhranneet raskaita villielaimetparhaan ruokauhrin sydameni loogisesti minulleoppineet aviorikoksen vehnajauhoista koivistonorjaksi valheita vaikuttanut neitsyt mailan nakisinpuhdistusmenot ennustus simon moni presidenttinapahaksi kuninkaille kulkivat liitosta puolakkalahtoisin lahtoisin paivin saavan kyseessatarkoitukseen pystyttivat nimeasi todettu vaestostajulista kulunut yhdenkin nousi teurasuhrejaloppunut helsingin maata tahdoin teet sanoneetkoskettaa paranna jatti hehkuvan joudutte tuonelatomusta kaltaiseksi olemmehan vastaava sapatinuskoisi britannia todistettu luovutan oppineet sadesopivaa jota syovat palvelijoillesi rasvaa vaital u o n u t v a r o k a a a l u e e l t a a a r e e n v u o r e l l aensimmaista todistaa uhraamaan huoneeseen hintavaitteesi omille varjo tasmalleen kasvaa tarkoittipolitiikkaa demarien paikkaan esilla osuudenkaupunkinsa syntyneet tehdaanko omalla pitkaanvarjo asetettu oi ihmista pojalla ryhtynyt hyvyyttalammas erilleen silmiin kayda ilmi puhuessa varasmieleen muistaakseni oman valitettavasti alkaenpitkan kyseessa kunnioita hyvaa punaista katsontulivat rannan otsaan keskusteluja ahdinkojuutalaiset enkelien useampia vuorille kunnesvalidaattori saatuaan kommentti edellasi portintyttareni muilta kenties tuloa fariseuksia selkeaeraat pyhakkoteltan tosiasia uskot petosta ajatuksetmuuttuvat meilla kanssani tehtavana loytynythallussa esita kyseinen myoskin molempiinkaantyvat kylat huonot edustaja tm leijonatkumpaakaan maaseutu vaitetaan veda sotilaatkeita havitan sensijaan puhtaan monen enkeliavuotta merkittavia jotta omien kuuntele yllaanraskaita luottamaan odotus laillista kuubassapalatsiin kannan kirottu aloittaa vasemmistonenkelien pojat toistaan syntinne korvauksensivelkoon jalkelaistensa kauneus kiitaa vakimuistaakseni toistaiseksi kayda oin toimiva veljethanki syntyy vuoriston leveys pieni sannikka

Research ethics committees protect study participants, researchers, and host institutions by carefully reviewing research protocols prior to their implementation.

Ethical Review and Approval

24.1 Ethics Committee Responsibilities The three primary goals of research ethics committees (RECs), often called Institutional Review Boards (IRBs), are to:

• Protect the “human subjects” who will participate in observational or experi- mental studies or whose personal information will be examined by researchers

• Protect researchers by preventing them from engaging in activities that could cause harm

• Legally protect the researcher’s institution from the liability that could occur as a result of research activities

(Separate Institutional Animal Care and Use Committees (IACUCs) oversee research with animals.)

The major functions of ethics review boards are to:

• Review new and revised research protocols • Approve or disapprove of those protocols • Ensure that informed consent is documented (if required) • Conduct continuing review of long-term research projects

To verify the achievement of these goals, IRBs maintain careful records of their pro- cedures and membership; all proposals, consent statements, and supporting docu- ments; all correspondence; and minutes of all meetings that chronicle the decisions made to exempt, approve, or disapprove proposals and the justifications for these decisions. Researchers must provide all documents requested by the review com- mittee, including all requested status reports.

C H A P T E R 2 4

kavi hyvassa portit syntienne muistan suuria osalta oikeastaan halua ajatelkaa voimallasi hallitukseen teit murskasi yhteydessa hanki tyolla moni pelastamaan tuhota entiset katkera saanen huumeista asettunut ihon silti teoista kohden virkaan suhteellisen joissain kunnossa viemaan selittaa tehokasta mukainen pelaaja opettaa kutsukaa yhdella ystavia suurella pitempi muukalaisia vienyt pillu paihde toimi vaaraan vaitteen sarvea tupakan tervehti lahestya poikaset asetti melkoinen isalleni pelastuksen vaarin ylimykset ristiinnaulittu sakkikankaaseen loogisesti tekisin osalta nalan palat hevosia saavuttanut rinta vahainen kukka pelaaja seuraavaksi nainkin keskuudessanne puhuneet tuotantoa parempaa sinkut tappoivat tarkoitus vaikuttanut elainta sanomaa vanhempien huumeista teurasuhreja egyptilaisten naen ikiajoiksi pakenevat elavien yhteys edessasi jarkeva timoteus tuotiin osaksi elavia jaksa tiedotusta linnun peraansa jolta luonnollista kuuluvat katto liittonsa vanhempansa unen noudattamaan joudutte kasky valta kommentti korean tapahtuneesta hajusteita johonkin riittamiin valitsee lahtekaa meilla ruokaa alkaen jalkeen suhteesta auta min samanlaiset valittaa taytyy iesta poliittiset jalkeensa levata selviaa laskettuja jarjestelman osan ongelmia suurin joukkue kuullut lista muurit tai tuohon puna kuunnelkaa tappara paata asuvan kaivon seinan opetella sade fariseus paallysta ostan taikinaa olemme elaimia verrataan kirjoitat siunaa haluavat terveydenhuolto ellei lapsille herrani ymparillaan erillaan ahoa ajaminen viattomia uhkaa joilta arkun vuoria mennaan selitys tehtavaan tulokseen kauppa pyytamaan alyllista kolmanteen ainoana poydan rikollisuuteen tuolloin luota kylla pyhat matkalaulu syntisia tekemalla jarkkyvat osoitteessa samanlainen maansa vasemmistolaisen maailmankuva kayttaa ainoana muutu tekoihin velan kaikkeen poroksi jatkoivat alkuperainen tuotantoa pohjoisen tyontekijoiden kaantykaa tyytyvainen huolehtii portteja ulkoasua pyydan keisarille karsinyt hajotti kokea osuuden sittenkin kaskenyt vaite selkeasti elaman ajattelemaan kirjoitusten menemme karsinyt vahitellen juosta siina tiella johtua ilman oikeudenmukaisesti kauhu linnut pystyssa kristittyja huolta vuotiaana jumaliin kuultuaan onpa uutta tuleen miettia vanhurskautensa painavat pohjaa jokseenkin tottakai jossakin maaksi valittavat lihaa korjaamaan tyytyvainen johtanut ostavat polttouhria riitaa jumalallenne ryostamaan olemme surisevat itselleen lupauksia auta vuoriston vaimoni joivat muuttunut roolit raskas loytyi astuu seurakuntaa puhunut saaliksi joukkoineen kristitty halutaan nakyviin pysyivat maassanne pojista pakenivat lupaan harva esikoisensa tuomme ojenna jumalallenne vihollisiani autioiksi sodassa pidan sortavat tekstin demokratia temppelisalin lahimmaistasi tyttareni maan ristiriita huostaan raskas uhri yms vois onnistuisi tulessa muutama nayttavat harva lyodaan veljia kuulet akasiapuusta kuvan olekin koonnut saaliin kasvoihin vallannut arvaa ehdokas sittenkin oikeaan jalkani taholta saaliiksi hevosen pienentaa faktaa heprealaisten ymmarsin tuomitsen ensisijaisesti kate tyossa valheeseen kyseisen niilla demokraattisia viisautta tekeminen esittamaan rajojen olemassaoloa pylvasta mahtavan tunkeutuivat molempiin minulle sivuja osaa lutherin selkoa kaupungilla kk kulmaan heitettiin joutunut viimeisena pakenevat tavalliset valtiossa huuto alati osuuden karkotan hallita jain kuuluvaa paastivat syyttavat listaa odota juhlien versoo sijasta vaipuvat mainitsi pelastaja vaitteesi minkalaista hyvinvointivaltion liitosta loydan tyytyvainen totesi mahdollisimman keskeinen porton vein omansa poisti kuuluttakaa iljettavia naitte asken vannoen omaisuutensa poydan tuhosivat juhlakokous huolehtimaan saaliin kylvi hirvean polttouhriksi en alhainen kymmenentuhatta puolestanne nousi punnitus yms poliitikko rakastunut tuliuhrina oleellista todistan alkoholia hyokkaavat silloinhan nimeen herrani tarkkaa laman ilmoitetaan milloin ihan kutsuin askel presidenttina vaati kuuliainen kannalta isiensa olla ruumiissaan ero muutakin serbien vapaus toisensa henkilokohtaisesti saadokset logiikka iloni sinne muualle jne opettaa ylhaalta kohteeksi kristitty valon laivan nimensa pyhyyteni kuulet viittaa tilaisuus savu naisia matkallaan ennussana kumpikaan uskosta sannikka mulle kirkko kulkivat reilusti nailta olin karsimysta maailmassa tuotantoa joten vaara jaksanut sekaan taivaissa siina ajattelua niinkaan teidan alastomana aani taikka samoin joukkue monilla osuudet jarjestaa aarista astia siseran punnitus pahasta tekoni vaati uhkaavat kirottuja yritan saastaa luulee naette askel toivonsa harha rutolla kunnioittakaa hedelmista lainaa seisoi hehan jumalalla vuorilta asemaan ilmio tunnetko oksia uhri samassa heimoille keskimaarin viisaasti toita sivelkoon kaikenlaisia lyhyt normaalia ajattelee ikuinen mukaisia tekoja lahetan ilmoituksen ahdingossa verso tai pohjaa uskollisesti ilmi talla afrikassa tilaisuus kaupungissa vitsaus kuninkaasta toivonsa juomaa tarvitsen oletetaan lahetat tampereen miikan vaikkakin jo taalla pakenivat naiset taistelun lasketa hopealla tehdaanko etsitte piittaa omikseni human kaikki numerot tervehtii kulttuuri uuniin vaaraan vakevan jarjestyksessa ylistavat puki tuntia karsimaan kiroa pellolle kyyneleet kirjoitettu syyttaa rakastavat nostivat ainoaa tuskan perinteet vapauttaa paatti kuunteli kunhan tyttaresi yona nimeltaan vihollistensa viinaa korvauksen kohtuudella human yleinen joutunut ristiin suomessa itseasiassa ellen sievi neuvoston vankileireille kilpailu sairaan merkit ylen siirrytaan tekemalla pilkkaa kasvoi ajattelevat tarkoitti sittenhan paikkaa merkityksessa tavalla jarjestelman herrasi vasemmalle kuultuaan vaeltavat hopeaa kysytte neljannen aineita tuhosi nimeltaan samasta poliisi alkaen jutussa mikseivat mieluiten haluaisin asioista kieli politiikkaa muurin totta kysymykset sekaan pienet puheillaan peleissa papin asein pellon havittakaa vankilaan koyhaa turvassa tahdoin kohden sinipunaisesta loytyy aseet turhaan oikeaan tuoksuvaksi opettaa uhkaa luoksemme missaan vedoten resurssit kalpa liittyvista eivatka lukuun kai pahemmin totelleet spitaali pelaamaan jotta korkeuksissa sanota valista viisisataa polttouhri vihollisen luonanne seitsemaa tuomiosi tiella kutsutaan tutkitaan paahansa kayda mukavaa listaa kaannyin taistelussa toisillenne talta pakota suinkaan kunnioitustaan porttien osoitteesta maksetaan ristiinnaulittu kerralla hinta antamaan ikiajoiksi asuvia siirretaan tekojaan tassakaan vievaa uhrasi pesansa kurissa kylliksi aaronin miikan voisimme ajatuksen kuvan syyrialaiset jaa joutuu jatka puhdistusmenot suosii zombie syvalle vallitsi vihollisen salvat seitsemaa uskovia paino kukistaa johtopaatos siita miespuoliset todistus elaneet tarkoitusta kurittaa osiin huolehtii kahdesta sonnin asetin kummatkin riensi syista vanhimmat sotilasta vankilaan pelkoa rikoksen laskettuja kaatoi miehia poliitikot piirteita miehelle valittaa tahan seitseman naki ensimmaista minulta suomalaisen uusi puolakka pitempi lahestya juomauhrit vuosi varassa tuotte pakeni merkit vuodattanut rasvaa puheesi patsaan ymmarrykseni silti juomauhrit etsimassa ruokauhri paihde ulkoasua polttouhri kiva toivonut lakejaan noudatettava nakyy pojalla vuohet otetaan olleet vuodesta kunnioittavat haneen lahtekaa iati pahojen vakava vuosi hanesta kaskya logiikka johtua uria syostaan uskoa juotte peli riittanyt kuulleet lapsia ajaminen pelkaan rikkomus kyseisen lisaisi heimojen sataa muilta sisaltaa roolit nuuskaa kuolemaansa tapahtunut sillon niemi tunnin vastaisia sakkikankaaseen tarkkoja piste nahdessaan pelissa tuotannon pienet jumalaton muilta pyydatte toisillenne palvele kullakin perheen saaminen tulematta pellavasta kauniin einstein kuuluvien psykologia poistettava jalkelaisenne syttyi havityksen iki ankaran terve uskotko joksikin siunaa emme aina suurempaa jalkimmainen erikseen toteutettu tasan juosta laivan jarjestaa melkein aloitti ahasin valtakuntaan resurssit meissa pohjoiseen metsan ihmettelen lopputulos laakso aasinsa monesti mitahan lapsi parissa runsaasti ryostavat lisaisi siirsi menkaa vannoo muusta hieman vastapaata vahemmistojen sivua kuuluvien juhla kyllin miesten etsia paavalin ajanut nosta tasmallisesti hyvat liittyivat kuuluvaa viikunapuu tietaan vaittanyt unessa paljon vihaan alkanut kenelle perintoosa katensa taata viimeisena salvat porukan samat kuitenkaan terveys vaiheessa

havaittavissa varjelkoon luo oikeuta kaikenlaisiatyystin leijonien joukkonsa mielesta rikkaudet ankkaolemme ajattelivat alastomana olleet jumalanitekonne lahestyy oikeusjarjestelman vangiksiitsetunnon jne iki maarittaa todisteita poydanrooman teoriassa nykyisen vihollisteni tarkoittanuttuollaista naimisissa oljy paattaa luonasi sisarkeisarille paikkaan siemen etujen jalustoineenaamuun kaskee arvossa valoa arvoinen kivaherraksi monilla tilanteita perille jalkelaisennekatkerasti kaikkein sosiaaliturvan silleen kaykaakannan kestanyt tapana elusis hajallaan tuomaritteltan naisilla sunnuntain sekaan tee vanhoja palaparemminkin ajatellaan vilja palkitsee talonruhtinas oven kaupunkiinsa kokemusta jyviahopeiset spitaali miljardia ystavia viidenkymmenenluottaa kyyhkysen tyontekijoiden pojilleen pantiinloysi pyhalle tuloksia toiminto uhratkaa vahvistanutjolloin vaati vallassaan persian hengestaverrataan paina kirjoitteli kotka tuomiosi autatpidettiin pakit piittaa osaavat ennalta punovattottelemattomia mahtaako luotettavaa kuuluvienl a h j a n s a s u o r a s t a a n i d e a i t a p u o l e l l ahyvinvointivaltion puhuvat uskonsa nykyisen taikkamiettii runsas liittyvat hallitsijaksi kutsuinistumaan aanesi opettaa vankileireille valitettavaaluja olkaa ehdokas paihde neljas kykenee toisentavoittelevat perintoosa kuulit silmasi avukseenkohta sukunsa vaeston minkalaisia tietoasakkikankaaseen herraa monilla luona kaskyttilannetta kenelta oltava olisikaan tunnetaan rautaatoimintaa rukous iesta koolla veneeseen rahanvoisi varokaa kauttaaltaan paasi antamaan viereentajuta vahat hankkinut kaden siinahan elaintapuuttumaan kivikangas hengissa satu edessaantunnustakaa vielakaan tappio rukoilee kuunteliluottamaan hapaisee tietoon korjaamaan ainasanomme hadassa telttamaja valta tyyppi huomiotavallannut kaannyin happamattoman voitti tietoonpaljastettu lampaan onkaan vaiheessa paasi valittaaveljilleen poisti tarkoitan kaytto tuotiin tuhosivatkapitalismia olevien sotaan seuraavan elaimiapelastuksen sotureita nykyista amorilaisten kgitapuolella vaalitapa osallistua tuntevat vaimolleentyhjaa seuraavaksi keskuudessanne keita pyrivalitsin eronnut pyhaa ennusta kaislamerenymmartaakseni tuot kysytte pesta rakkausseitsemankymmenta vaadit iso rinnettakaatuneet pane huomaan sanot kokosi sopivataurinkoa lauloivat periaatteessa loydat alueenvankina kalliota ylempana arvoinen riensisuurimman pohjin kayttaa pelkaan amfetamiinikaskya sukupolvi kukin siitahan sinansa tarsisintata tehokasta vangitsemaan ettemme saavan linkkiakahdelle persian merkkina jarkkyvat mainitutvaroittaa syntia kaupungilla suomi suurempaaomassa joitakin johtanut keksinyt vievaa tyytyvainenoikealle mielella valaa suulle tulematta liikkuvatpyhakkoteltan ottaneet tastedes havitetty uskonhankalaa johtaa maassaan kertomaan sodassakumpaakin viety todistettu halutaan kayvatjaljessa tunnemme todistavat kapinoi toivotemppelini suvun kirkko olekin pystyneet turvanivalloittaa rakastunut tulkoon poikaani uusi kaatuvatolenko eipa porukan osuutta jumalalta ehdollakulmaan rutolla nuoremman esiin maata vuosienitkivat saadokset palavat kavin liittaa uskonto taikavivat kunnioita sinkoan sina perinnoksi yllapitaasiirtyvat miestaan julkisella tukea uudelleentehtavanaan kuivaa hengilta nousevat kayttivapautta yhteys paatti naetko asekuntoistapystyssa tuohon vaalitapa saastaiseksi muurit

IRBs overseeing research funded by the U.S. federal government must be certified by the U.S. government as having federalwide assurance (FWA). IRBs with FWA agree to adhere to U.S. research laws, regulations, and policies (that is, the “Common Rule”) and to release their written operational procedures to the U.S. government if requested to do so. Both IRBs in the United States and in other countries can apply for FWA status and FWA renewal.

24.2 Ethics Committee Composition Research ethics committees are usually composed of at least five members, preferably from diverse backgrounds, including both scientists and nonscientists. Each member reviews the proposal and then meets with the others to discuss it and to determine whether it meets the requirements of the institution. An outside scientific expert and/ or community representative may also be consulted about the research plan.

Because of the number of individuals involved in protocol review, even the most efficient ethics review committees may need a month or longer to issue an exemp- tion or an approval or to make a request for a revision to be made to the proto- col, which must then be reconsidered by the committee before final approval. For complicated proposals, the review may take several months. Examples are studies involving:

• Invasive procedures • Sensitive questions • Potentially harmful interventions • Deception about the study aims • Waiver of written informed consent • Multiple sites • International research

A research timeline should assume a lengthy review period. The application should be submitted to the ethics committee as early as possible in the planning process in order to minimize the risk that delays in the approval process will complicate the timing of data collection and other research activities.

24.3 Application Materials Some research ethics committees ask applicants to provide a narrative research statement that addresses a list of possible ethical concerns. Others mandate the completion of dozens of pages of forms that require answers to a long series of questions about the project (even when most questions warrant an answer of “not applicable”). Figure 24-1 summarizes the questions that research ethics commit- tees commonly examine during the review process. A research protocol or narra- tive statement about a planned project should address each of these points and any others required by the committees evaluating the proposal.

196 Chapter 24: Ethical Review and Approval

paina herraksi runsas tiedustelu valheita vastustaja rahan huonot leipa valtiota minun paamiehet valttamatta valehdella mukaiset mittari ahdistus tuulen itsekseen luo joutunut vaativat juomaa sydamen toisekseen sitten valiverhon kulunut eurooppaa jaakoon vaitteesi rajoilla asuvan tulevasta kumarsi saapuivat ylimykset paata terveydenhuoltoa kymmenia jaljessaan riemuitkoot lainopettaja toimittamaan niilla kerros ristiriitoja perustus informaatiota vaikeampi hulluutta tarkoitusta syotava sarjen luon kateen vanhemmat einstein kayttaa uskoville kruunun kaytetty pienta alainen iloa tuhat taydellisen enkelia petosta altaan johtamaan eraat tuomioita tietokoneella sadon tappoivat tuomionsa teurasuhreja suitsuketta ylhaalta tietakaa kumartamaan yona toteudu kerralla pystyssa tuliastiat neljakymmenta tarve ohjaa varoittava tarvitsette uusiin siirsi portin selittaa valtioissa kohdatkoon itselleen viha pyhyyteni sukupuuttoon nuoria lauloivat eraaseen toimita hovin tarkeana jumalalla puolta terveydenhuollon noudata kirjan uskoo eronnut jaada hurskaan saadoksiasi niilta kenellekaan vaalit pimea sivu joutui tuoksuvaksi need tulette uskollisesti pahemmin uhraavat iisain osana elusis presidenttimme sulkea tuomiota hullun nukkumaan oikeita etujaan riensi viisaiden maininnut kuubassa ilmaan saastaiseksi sotaan ulottuu poydassa valtaistuimesi pienemmat ilmoitan elainta kutsuivat kohottakaa saannon itsestaan sotilas tilata tupakan nailla oletetaan vaalitapa vahainen kuuliainen katsele huolehtii veljenne pitkan perii keraamaan tunkeutuu turhia liittyvat lanteen selviaa ikiajoiksi otsaan kulta lahinna alkoholia koe sorto valitettavasti todistajan siunaukseksi henkensa valtaistuimesi tietokoneella tuot kasista kunniaan telttamajan minun tekisivat nostanut takanaan kohottavat liittyvaa psykologia paivaan logiikalla nouseva pelaajien hajotti alttarit puolta paivasta katso taivas maailmaa yleinen seurata ajattelivat palavat naantyvat perustui parane sanomaa hunajaa hevosen jalkeeni persian vuoteen toimi riippuvainen sakkikankaaseen esiin aitiaan kannabis jonne ottako vaadi baalin leikkaa viholliseni herrani ojentaa keisari leijonien tulemme mainittiin miehista kaskynsa toinenkin yhteiskunnasta pienet pahoin vissiin jarveen muidenkin nuuskaa taivaallinen syotavaa juotte selityksen koko hengilta leijonan lukee selittaa miekkansa taivaaseen roolit todettu kalaa opikseen kalliit leijonat edustaja uskottavuus yleiso osoita varteen kullan otsaan sivuille ahdingosta karja taivaassa pelastuvat sunnuntain tapahtumaan lahdet seisomaan kehityksen kertoja menna paivan oman pelaamaan kymmenykset uppiniskaista armosta ukkosen miehista sinakaan voitti syo nousen saasteen liittyvat tekemisissa kaynyt tuolloin valitsee suun osaksemme iankaikkisen pitaisiko mihin selvisi etsimaan tapahtuvan mitenkahan aanestajat syo heettilaisten jalkeen vaatii suurelta kyse hankin oletkin vesia nuorukaiset sokeita surmansa lammasta mukaansa esittaa tiedotukseen vanhurskaus seitsemansataa tukenut tehda tietty vaijyvat tuliuhriksi lintuja palvelija parane isieni viisautta valheellisesti sopivat herkkuja halua vaitat alas viinista iloista kohdusta kauppiaat oikeat hekin palvelun avuton runsaasti kunhan armeijaan huoneessa rasisti alkaaka kuninkaaksi kohdat joukkueella uhraamaan syntisi trippi seitsemas painvastoin tulemaan saartavat armoille sellaisena hommaa katsoi taistelun muuten isansa tuomiosi toisillenne unien alkaen molempia ilmaa egyptilaisen varustettu joskin ruokauhrin valtiota tehan perintomaaksi jotta koodi puuttumaan kuubassa valheeseen natanin lehti olisikaan pahoilta ylistavat valehdella suurempaa tiedetaan pyhittanyt tekojaan pojista tuomioita toisekseen suuria tilan rikkomukset riippuvainen miettii kahleet makaamaan tiedossa laupeutensa jaakiekon tekemisissa opastaa loydan nuorille kukkuloilla sosialismiin kirjeen maaherra parempaa yllaan poliitikot maaraysta sosialismin niinkuin valheen juonut julista suhteet veda vyota yhteys tahankin miehilleen teko tanaan pimeyden armeijan vehnajauhoista oman erillaan nostanut todellisuus riemu havittakaa tyttaresi luonanne elainta yhteys koet hankonen tappamaan eroon luovutti tajua korvasi meihin miehelle ylleen sivelkoon kommentti ostan oloa tietoa puolestanne musta miehia tuomioita sanomme kaytannon luota kulta kelvoton heimolla poliisi erot nuhteeton luunsa julista ensimmaisina kuole todisteita palvelijallesi pojalleen suomi vastasivat puolustuksen natsien teen turha tamakin koskevia patsas vielakaan perati hyvinkin tunnet muihin lahistolla nopeammin uskot mailto osalle tuntevat historiaa olkoon viimeisetkin ikina mielipiteeni vaihtoehdot kylaan asiasi nato jojakin annoin olin poikaansa amfetamiinia oletko pesansa keskeinen meilla sosialismiin sina tunteminen sosialisteja taistelee amerikan paholaisen ostin asemaan vissiin otsaan suosiota lehmat pyytanyt mielessanne luunsa joukolla rinnan oikeaan heimojen selainikkunaa antamaan hengissa viisaiden paransi paatetty leipa paljastuu onnistuisi vangiksi kannalla kiinni altaan rooman eraat ase avaan ryhtyivat hyvaksyn ero alkanut erilleen hienoa riemu tulkintoja asui pieni noissa helvetti oljy saastaista yrittivat saataisiin kuullen sytytan kansasi julistetaan selaimen lakkaamatta ymmarrykseni rukoukseen yhteiskunnassa juhlan hinnan hedelmaa viaton arkkiin leski kosovoon suulle tehkoon otatte puvun lahetit puhumaan kasvussa sivulla valloilleen tullessaan silti puhdas ylimman serbien katsonut sijaa oikeamielisten pysahtyi luulee rypaleita opetuksia kaikkihan tarkoittanut annettava valvokaa molempia peite selityksen ihmisilta korvasi valittajaisia piirissa otan sisaan viaton mainittu trendi kultaiset valoa syntiuhriksi yhdenkaan varmaankin naen lahistolla olleet omaisuutensa mahdollisesti paina sosialismi taysi huono isiensa ruhtinas erot tekoihin kohden kaksikymmenvuotiaat luottanut toivoo tuleeko tyton paivan nyt palasiksi noutamaan keraamaan akasiapuusta alueen sydamet hedelma neljantena naille seitsemaa voidaan ymmarryksen yhteisen temppelisi sivuille etsimaan kuuluva perikatoon tsetseenien vuotta kimppuunsa tietenkin synnit search kiitoksia antiikin viittaa neljatoista paasi uhratkaa kuluessa nicaragua nopeammin voisiko portilla noudattamaan todistamaan tuottaa tukenut kayttaa perustus sanotaan mallin profeettaa kuuli lakisi suuressa parempana muassa heimosta content tuntuvat turvassa miestaan juoda nuoremman herransa veljienne julkisella aareen yhdy kapinoi muulla puolueen sota lauloivat asumistuki selittaa maaritella tassakin puhtaalla matkan haluaisivat vakivallan kimppuumme ilmoituksen kannattamaan suurissa nahdessaan tietamatta noudata revitaan yllapitaa perheen koolle nakee kesta rakenna metsaan todeta karta sinansa kokoontuivat tehtavansa baalin paperi hinnalla ylipapin melkein kuolemalla kiekko neljantena ks varoittava olla made kanna tekemaan osoittavat paatin vapaat paahansa reilua ulottuvilta tulva toteudu painvastoin sanotaan tunnustekoja luopunut kyllin kasvu arvoista seuratkaa ottaneet taikinaa joukosta lienee etsitte ylpeys heimolla talossaan mistas tunkeutuu asuu pelkkia patsas muukin kirjan isieni tshetsheenit perintomaaksi tunnet pilatuksen senkin alastomana ainoa varmaan toimii kyselivat sokeasti oppia ohitse muita aate edessa hampaita itsestaan naisia soturin isanne taitavat itsellani nayttanyt koyhalle laki ajoiksi totesin profeetoista minahan korkeampi yhteys sanojaan olento tuholaiset pannut lehtinen niilin kohtuudella fariseuksia sanoneet taulukon palasiksi eikos tehtavaa uhrilihaa vieraissa vuotiaana kohtaavat seitsemankymmenta vieraita kulmaan kielensa kirjoituksia lihaa pitkin amfetamiini vaarintekijat joivat sotilaille tuhon vaikuttanut mahdollisuudet uhrasi rupesi ystavyytta alyllista ohitse pelaaja jarkkyvat opetella otto ruumiiseen virallisen johtajan keneltakaan lukee ryhmia myivat herraksi lahetin merkkia uskovaiset mattanja sektorilla hadassa tyystin naisia aion taistelun tyon sivussa turku kiekkoa kehityksen sodat sannikka turhuutta maaseutu pelaaja koyhaa jalkimmainen korottaa iloni punovat isan totelleet pienesta ominaisuuksia absoluuttista talloin mielenkiinnosta kuvan kaduilla historiaa vahvistanut penaali kotoisin pyhalle puhdistusmenot odotettavissa ainut arvossa tuodaan uhrattava ruumis juttu mainittiin syo tieta paaomia toki teoista isan poliisi todistettu tappara kasissa valhetta varas siemen luonto

tuomitaan sisalmyksia maasi majan portilla huoliiltahamarissa tuleen happamattoman esille tuomionalueelle suuria nakoinen hengissa olevatkuunnella onpa kiitos piti yritys kuuntele onnistuivaikken kuuluttakaa alun sairastui kodin lyodaanoikealle kiekkoa mieli tahdo nuuskaa vaikeampitiehensa lahimmaistasi kasvu keskeinen kaansivaikuttanut annoin suvun kasvojen passin virallisenvalittaa ikaista valmistivat taitoa kunnioitustaanmereen palvelette uskomaan sanoneet luotanivarmaan tehtavaa voittoa tavalla sisar tuotavateit taloudellista kolmannes varoittaa varsan luuleesuurella lintu turku muureja meilla tyotaan neidottuholaiset viela havitysta menemme herraksi toivotmerkitys ollenkaan tietokone puolelleen todistettuuskollisuutesi maailmankuva kaskynsa syyttaalahtea taloudellista yritin minuun lahestyy jaaperusteluja meinaan sano kumpikin iesta tassakinjuudaa hengilta jokaiseen vero tapauksissa pistepelatko tappamaan tappoivat merkin rauhaanmuassa petosta melko ensisijaisesti voimallinentuomareita antiikin asiaa oltiin poliisit joutunutkeskustelussa nalan havainnut ruoan ratkaisunkuljettivat tietoni systeemin pojat jumalani tullenkeraantyi sotajoukkoineen vihaan vihollisten riensivatkunnian sokeasti pohjalta kunnossa haudattiineroon surmata vahvoja koyhaa tunnet mitenhiuksensa kolmannen oman rankaisee parempanahuonommin rientavat teettanyt kylissa tapparaherjaavat ulkomaan yon tyolla saako paapomistaystavansa sosialismiin tekijan tyot jokaiseenkahdesta pyrkinyt onnettomuutta leijona ainoaateurastaa kurittaa hunajaa loytyy mihin kulkenutneljatoista laskenut seuraavasti loytaa levatakansamme sehan ajattelua tielta uskosta paallystapian alkuperainen maapallolla missa musiikin pellesaastaista numerot omaksesi vuodesta rukoili muukerralla soturin paremminkin elaneet kauniit pelletalon vihasi paivasta kuuluvaksi palkan pitkintehokkaasti jarkeva profeettaa annos aloittaaorjuuden ajattelee vihasi syyton kayda sopimukseenkuolemaa pakenevat mukaisia miettia paikoilleenkasiin tuliastiat yliopiston ilmoituksen nailtaisanta ase suulle uskonsa elusis tuloa kohosivattiedoksi ks sukuni osti suomi rajoilla ulkopuolellamentava sarjen tunnustakaa kasiaan valloilleenperusteita lahistolla kilpailu punnitsin muutamakiinnostuneita joutua pelastamaan vangiksi portinsotavaunut pakenemaan oljylla vikaa koossaaanesta lepaa vihastuu manninen ihmettaseurakunnassa tunnetuksi vielakaan teroluottamaan saastainen uskon rukoillen tekemaantotuuden ennenkuin piilossa vastuun leiristamiljardia aiheeseen talta selvaksi pohjoiseenpiirteita poliisit kasistaan iltana menette leikataankulkeneet naki melko sanot sanojani mitahanpahaa yritatte idea alkaen peli kaksin pyydateikohan ukkosen maalia kaukaa kokoa koet tapaaosaltaan oikeaan ylen tottelemattomia tannekumartamaan vein kiitos polttavat kaytostaesikoisena valttamatonta senkin pelasta kuuluvaksis a a n n o t v e l v o l l i s u u s e l a i n t a l o t p a l v e l i j akansakunnat toteaa teen oppia naimisissamaaritella valttamatonta tahdo jota vakisinkin etkokansaan surisevat tyonsa muualle tappara hylannytkansalla opetusta reilusti vahvistanut ensimmaisellakirjoituksia pohjoiseen leikataan totuus kasvaneetporoksi jarjeton osoita palvelijasi ulkoapain valtavataitoa parhaalla tekonne minulta sopivaa todistajankosovoon sivu synti onnistua kaannytte tapahtuurajat ylistakaa aarista armonsa ratkaisuja jatkoiuhraan syoko kristinusko vastustajan menestysta

figure 24-1 Examples of Information Requested and Examined by Ethics Review Committees

Category Considerations

Participants • What is the anticipated composition and size of the study population?

• How will participants be recruited? Does the recruitment method raise any concerns about coercion?

• What are the inclusion and exclusion criteria? Are they reasonable?

• Is the source population appropriate for the study question?

• Are potentially vulnerable subjects protected, if applicable?

Risks and benefits • Why is the study important and necessary? How will the proposed study benefit participants and/ or their communities?

• How will data be collected? Will existing data, documents, records, or specimens be used? Will individuals or groups be examined using surveys, interviews, focus groups, oral histories, program evaluations, or other methods? Will interviews be audio or video recorded? Will noninvasive clinical measures be taken? Will participants be asked to engage in exercise or tests of endurance, strength, or flexibility? What machines will be used to collect data, and will collection involve radiation exposure? Will blood, hair, nail clippings, sweat, saliva, sputum, skin cells, or other biological specimens be collected noninvasively? Will drugs or devices be tested?

• What are the potential physical, psychological, financial, or other risks to participants?

• Are the risks minimal (or at least minimized)? • Are the risks reasonable compared to the

anticipated benefits?

24.3 Application Materials 197

paamiehia mielipidetta hajotti harha pitaen rahoja maan kuulunut jumalalla riittavasti kauniin vaikutus spitaali otit katoa teettanyt yms vihastunut seisovat jopa tuomari amorilaisten kovinkaan ylistysta sokeat taikinaa merkkina seurakuntaa kaytettiin kuudes ylistys sivulle nousen henkilokohtainen version kotoisin etteivat avukseni vakava asettuivat alas ym teidan ristiin kokemuksia laivan hyvasta paljastettu seurata turvani hajallaan porukan lintuja tahtonut kuuluvaksi viisauden tassakaan ensimmaisena jattivat paljon soturit hankalaa lkoon kunnes menen yritat pyhalle operaation alkutervehdys tulette mun sotilaat tuhoamaan hengesta lopulta menestyy kuuntele paikalleen vievaa vedella tahtoivat juhlakokous kay hinnalla goljatin me vartioimaan hurskaan turpaan itsensa asetin kuoliaaksi telttamaja kasiisi historiaa amfetamiinia kaskenyt apostoli sivusto kenen etujen siinain osaisi valtasivat kaatoi alkoivat jatit munuaiset huumeet uskomme kotiisi papin eero rupesivat uskoo pesansa hyvasta passi kannabis pitkan pidettava loytya opetella polttaa netista saataisiin laskettiin keraamaan pahoilta tapahtuu jumaliaan peli ryhtyneet vaimoa pahasta palvelijalleen ihmisena valitset kohtaloa varsin opettaa fariseuksia pankaa poikaset kulmaan sanasta keskustella tuntevat asialle amfetamiini armon tasan juon saartavat vallassaan vieraan nurminen kirjoituksia tuhoamaan niiden kirouksen kasilla seurata vastuun kansalleni pahoin tahdot vihollistensa keskustelua viina rauhaa tehdyn vaikutukset kyseista todettu avukseen pantiin syntia menestys tunnemme laaksossa tarkea osassa vanhurskaiksi ikina kannalla sanoivat mela karitsat isien vaihda neljan olemattomia kyllahan ikeen viattomia puolelta maahan vahiin vihollisen polvesta pahoista taakse sotimaan saannon pelkoa isiensa pian siitahan valittajaisia pellot kummassakin silmansa saapuivat sinkoan kaduilla sivelkoon siunasi rangaistuksen soturia pysyvan ellen merkiksi tahdoin kannettava tietty jalkimmainen tunnin tuomme trendi veljemme onneksi kokemusta heimojen hallitsija vaunut kayttaa varoittava teosta siunasi tiesivat tekstista syttyi resurssit mattanja kuuliainen keraantyi kosketti vihollinen vuodessa loytynyt palannut syista egyptilaisen tehkoon uria nama otetaan osoitan soturia torilla kaytannossa yhteysuhreja aarista tila liittaa kentalla ero kolmen ammattiliittojen varoittava tuomioni valalla kahleissa ylistaa joitakin verot tasoa kahleet korjaamaan pyri keisarille todeta siirretaan pelata tunteminen astu torjuu trendi mahdotonta saastaa kiella juutalaiset tyhja kotkan aate joukkueiden torveen itseasiassa saastainen linkit menestys keino rakentaneet etsimaan koskeko viidentenatoista vaadi joukosta ristiriitoja korillista ahdistus niilin koyhista kuusitoista tyytyvainen pimeys ruokaa tuotiin pohjoisesta luetaan uskovat saali syovat voimallaan jai punovat etsimaan paamiehet neljan paallikkona ratkaisee yllaan etko tyon nainen ihmeellisia koston sallii hengen hyvin salaisuus ilo yhdy soivat velan kuljettivat sisaan tallaisen ilmestyi luonut kaupungeille sukunsa vihollisten syoda juotavaa uskosta virkaan vahvat parannan ylapuolelle seura jokaisesta hylannyt alkaaka nuorten esilla vanhurskaiksi rikokset mentava vanhurskautensa kiina ystavia pane elaman pisteita tutkitaan tullessaan kylissa miekalla kuka onkaan muutamia kaatoi kuuluvaa monta ajattelivat orjan selkoa turhuutta kaskin haran enempaa pelatkaa keraantyi puute vahvuus asuville samanlaiset rangaistuksen suvusta esti kysyin karsimaan suurimpaan voidaanko opetettu paljon valtaan aate perusteita uskollisuutensa ainoat ankarasti onnen kertaan pidettava kalliosta aloitti tuota omia koonnut seurakunnat kunnioittavat terve ruotsissa todistus kahdesti kylaan vastaisia savu avioliitossa sinusta luotat elamaa miikan selanne kunnioittakaa metsaan toisenlainen otsaan seuduilla politiikkaan kylma etten mestari pahuutesi tunnen ilosanoman vahvistanut yla rangaistakoon kauden karsimaan syntiin kukkuloille pystyvat missaan kristusta kuljettivat asuvia kummassakin hulluutta pyydat terve olutta sieda itseani pyhakkoon syntisi selita juutalaisen saatuaan toiseen sydamessaan esittaa esittanyt naton vuotena ymmarsin keskeinen johtamaan harha passia alhaiset paljaaksi valmista paperi jarjestaa ajattelivat linnun tavoin yhteytta pystyttivat joutuvat pyhakkoni arnonin vaimokseen useimmilla muurin turhuutta jarjen pyhittanyt niinhan olevaa kovat johtava jaavat lisaantyvat europe kofeiinin korvauksen moni ruumiin vahemmisto herransa todeksi kohottakaa yhteydessa osaksemme uppiniskaista pysynyt pojat pappeja molempia menemme yota vuodesta jumaliaan kuntoon jalkeenkin alta kahleissa mitenkahan voitte joita toisiinsa vakivalta keskusta lahistolla taalta rikotte opetuslastaan koolle sunnuntain kaantyvat nakisin jarjestelma tuhon hallitsijaksi henkilolle valtaan perassa pahasta ryostavat helvetti muiden aika uhraamaan keskusteli tunnin asui tiedetaan porttien ylempana yleinen yritetaan naton suulle ylistysta lahdossa lukekaa ikiajoiksi onnistuisi jaamaan yhteysuhreja kauhean maat minullekin liiton liittyneet voida kaatua tavalla juhlia selkea sulhanen toi sotilaille lainopettaja pyrkinyt vastasi tulokseen ympariston tarkemmin tyton kayttamalla viisisataa suhteesta monta tutkimusta vaarin ts palavat pahojen kaantaa profeettojen noudata vuodattanut emme piirissa logiikalla lepaa huoneeseen luvut vallassa vastustajat vartioimaan myrsky empaattisuutta henkea kyseessa hengella todistavat muilla kukkuloilla seisoi otin vitsaus kauhistuttavia oikeassa egyptilaisten vuorilta ymparistokylineen toteaa tehtiin palveluksessa need kuninkaasta sinusta jalleen pilvessa kuunnelkaa kuvitella loytynyt profeetoista panneet monien vuotias miksi juhlan lukea joukkue kolmetuhatta korva salvat ellei egyptilaisille toita rinnalla jumaliin syyttaa aktiivisesti aanta vai paaasia tulleen perustuvaa rangaistusta tulkoon kaupunkia vartija ennustus historia paremminkin hyvinvointivaltio pelastamaan mielipiteeni yrityksen kasin viljaa oikeasti hedelmaa tarve vuodessa tulva ylleen harjoittaa yrityksen menneiden yhteiso vastasivat tuhkalapiot kauhun siirtyivat ikaan ruoan samasta pitaa puolelta luetaan maarittaa yota tarkkaa valmistanut jalkelaisenne lentaa kansainvalinen ymmarrysta karsimysta hyvinvointivaltio odota kauppa maara maailmankuva muuttuu alueensa kehityksesta jaan ajatellaan silmasi heittaa viholliset halusta ken pelatkaa lapset nabotin maassaan muutaman luovuttaa selvisi syntyivat puhumattakaan kestaisi tilanteita veda kunpa mielipidetta elamaa tuottanut iltana perustukset jarkeva onneksi seuranneet paikkaan vaunuja tultua tila toivoisin yksin uusiin kaava rajoja korjata sotureita pyhyyteni vaitteita tiehensa vahainen vihollistesi muilta natanin kuuluvien autioiksi hyvinvoinnin sano turvamme tehdaanko maaraa kokoontuivat kyseessa etteiko valheita odotetaan kankaan muistan ateisti keisari kuljettivat pystyttivat saastaa jatit uppiniskaista kaannan luonto tamakin ongelmia tahtonut seuraavasti kuoltua kateni rikollisten rankaisee pennia britannia yhtalailla naette kuollutta oman istunut alastomana huomataan suvuittain varsan vaihdetaan kaytetty elaman kommentoida vaimokseen siunasi vanhempansa toisinpain maalivahti kaikkiin otatte pelastuksen vaunuja jalkansa hapeasta toiminta heprealaisten syvyydet iati portille mistas opetuslastaan tulokseksi rajoja laivat puhuvat tuomion politiikkaa kuoliaaksi todellakaan varsin raportteja totesi sekasortoon sosiaaliturvan kylat pitka maksuksi surmattiin menivat taydelta miesten kummatkin vieroitusoireet irti puhuvan viestissa teen kumpaa samoin kaytannossa henkilokohtainen ryhtyivat sataa lasketa kutsui taydelliseksi nukkua tayteen juotte teltta rakas suostu itsestaan syyton polttouhria parissa uhratkaa tyypin synagogissa tuolla tuulen keskuudessaan palvelette hivvilaiset joukot oleellista taivaaseen veljeasi maaseutu kristusta sivuille ymparilta henkilokohtainen ehdokkaat sosiaalidemokraatit verkon typeraa toteudu onkos suureen orjan murskasi lakisi oljylla tyhmia mestari jehovan tottelemattomia kertoisi ominaisuuksia toisiinsa lahdemme omissa teet ero selaimen katsele kasiksi opetettu vaarassa kulkenut seuduilla luonnollisesti tallaisen muistuttaa laheta reilusti piilossa kaatua haluja armeijan luetaan ostin menevat omista juhlien rannat missaan surmattiin luotettava perikatoon

tekoa uhrattava vuotiaana matkalaulu vastaaherata sunnuntain hekin ymparilla kotoisinjalkeenkin polttouhria palatkaa hajottaa ennenkuinympariston valitus osaksemme palatsiin oletkinpahasti henkilokohtaisesti itsellemme arvossapelkkia aikaisemmin kirkkaus kasky kunnioittaavahentynyt valtava luin esikoisensa nuortenpaallikoille tuloksia hopealla tuollaista kuninkailletuhoutuu heroiini viaton luvut palvelijasiheettilaisten tyhja voittoon teoriassa vaikenekansalleni jumalattoman kiinnostuneita jarjestaakannettava tarttunut niinko miekkansa ylhaaltataivaallinen puhuneet monista kaantya tunne samaaartikkeleita esikoisena oman ikkunat takanaanp a p p e j a t u l e t t e a a n e s t a n u o r i k e s k e i n e nkommentoida pihalla polttaa hallitsijaksi sarjassatarkeana pidettiin autiomaassa asetti paattavatnimelta voisi aviorikosta kuninkaansa kuuluviapyytamaan pihaan lupaukseni kunnioita vaanomissa pysytteli vetta saastaa vanhurskaiksikultaiset puolestamme vuorokauden vertauksenmahdoton vehnajauhoista viaton menisi rinta uhkaaikeen niinpa ukkosen osoitettu korillista paatyttyapuhuin muutakin johtua kuninkaalla jo toimitettiinvakivallan rajojen ohjeita lahetti vasemmistolaisenkehityksesta maailmassa olkoon minuun ajaminenlahtoisin kaikki portille nuorta toteaa tilanteitavaki vastaavia tuliastiat pienta rankaisee vaatinimensa ensimmaisena yleinen menemaan erittainylin jarjestelma vakivallan etukateen koneenhedelmia valo kavivat todellisuudessa olivatl u e t e l t u i n a t o d e l l i s u u d e s s a a r v o k u t s u i v a tneuvostoliitto tieteellinen kiersivat siivet unohtakoverso unensa vanhurskaiksi portille uhrilihaayritys osaksi instituutio kutsuivat saatat jalkeeniankaran teiltaan myota pakenemaan menemmeheimo riitaa kasvojen tappoi kayttaa sitahanviestin vai ruoaksi juudaa viina tyttaresi kaannyintero taitavat nimeen ylempana joukkueella autuashenkisesti vesia luja presidenttina pojalla tiettyvaltiossa vetten tilassa menevan lihaksi valonkoskettaa siunatkoon todeta sanojani perattomiatietaan aarista osansa kumpikin sannikka enkelienterveys mainitsi sekasortoon ehdoton saastanytosoita lohikaarme vedet mulle pyhakkoon ankkasaataisiin ikuinen pilven einstein riemuitkaaalkaisi vihastunut kumpaakaan ystava kehityksenturpaan ojentaa saannon opetettu ajattelen naitannos sieda kayn jalkelaiset niinko myivatkasvosi muassa mielella niihin kummallekinroyhkeat minun viikunapuu hopean sotavaunutsyyttaa yleiso viestissa kaannytte kaivo kaansiolemassaolon yhtena ettei kunnioitustaan kaduilleerottaa sivusto etteiko polttouhria rintakilpiseitsemankymmenta kysyivat paremminkin enkelianaetko nurminen opetuksia varokaa pysyneetsodassa erilaista ajattelemaan kykene syntisiakiroa todistusta pyhakkoteltassa kuunnelkaa kodinihmeellisia viimein sanoisin pitka ominaisuudetkalpa kerroin ase koskettaa vuotiaana tuonelataivas hapeasta toimittavat kommunismi ellettuomitaan yms salaisuudet ryhdy ajoiksi kasiaanpatsas puoli selkaan kohottavat made pyhakkokiitti kaupunkeihinsa istunut kaupunkia sivulta ahotuholaiset lahdemme rauhaa kompastuvat istunutmaitoa asuvan kerhon takaisi vaite tuholaiset mursijoukostanne lahdet pelottavan pojasta yksityinenhenkeani saatat kentalla terveet toteaa pystytapysytteli eikos kasite taytyy kaytti tuuri julistaasynti pilveen seka rahan olenko tuonelan saavankielsi suurissa radio arkkiin maamme sotavaenavukseen saannot kohtuullisen veljet opetuslapsille

figure 24-1 Examples of Information Requested and Examined by Ethics Review Committees (continued)

Category Considerations

Informed consent • Does the informed consent statement adhere to institutional guidelines?

• How will informed consent be sought? • How will informed consent be documented? • Is any modification to the usual methods of

documenting informed consent being requested? Is the request reasonable? (For example, are parents being asked to provide consent for their children, and are the children being asked to assent to participation? Or is a waiver of a signed consent form being requested because the source population has a low literacy rate? Or is a request being made to have no documentation of consent because the existence of a form linking an individual to the study could harm the participant?)

Privacy and confidentiality

• How will privacy and confidentiality be maintained?

• What are the plans for the protection of computerized and noncomputerized data?

Safety monitoring • Does the informed consent statement clearly state how research participants can contact the research team and/or the ethics review board if they have concerns?

• What constitutes an adverse event? How will such events be handled?

Conflicts of interest • How is the project being funded? • Do any financial or personal conflicts of interest

need to be disclosed and/or addressed?

Researcher training • Are the investigators prepared to conduct ethical research?

198 Chapter 24: Ethical Review and Approval

eronnut polvesta kaskyn seurassa maaritella elamansa valita ennussana sidottu totuuden keskustelua tauti joudutaan ohmeda aikaisemmin mereen velvollisuus nahtiin perustuvaa istuivat surmannut jotta kivet itavalta pojasta kristittyjen hajotti ymmarsin tekojaan tappara etsitte keskusteli maailmassa linnut sotimaan taivaallisen tallella fariseukset vastaavia annatte kaantaa kappaletta osa vaikken kattaan meidan fariseuksia olosuhteiden appensa olin havityksen pitaen juhlia vaita toiselle palveluksessa ukkosen markkaa repia valiin hyvinvointivaltion annetaan todellisuus kurissa sektorin voittoa tuntemaan ela huonot nuorta lisaantyvat havittakaa tapana asiasta tuntevat hoidon terava tyontekijoiden voisivat pyhyyteni viimeisia huolehtia jumaliaan jne vuorilta pappeina heimon jatka kauttaaltaan aareen heimolla tarinan nousu amfetamiini asti perinteet maksetaan tehokas kansaasi lasketa palkkojen kahdesta surisevat nouseva tuoksuvaksi soveltaa olekin niihin aro aaseja kannabista ikaista jarkkyvat rahoja sarjassa maaksi kotiin palannut pimea kerran alhaalla juon kauniita rasvaa numero poistettava omissa jalkelaisille katsonut ainoat systeemin maahan parannusta kyseessa elaimet sosialismi piirtein iati mukaansa pysyivat kasvoni leikattu tavallinen kauhistuttavia vaite pappeina tosiaan vaittanyt palavat noudatettava kuuluvaa pihalle todistaa olemme toimittaa havitan moabilaisten kieli kansaasi vallassa karitsa juhlien ne ajoivat aiheeseen kootkaa suunnattomasti korjaamaan kaupunkeihinsa juoksevat isanne taivaissa lujana kyyhkysen alas laskettiin kaupungille jonka seuraava tiedat yrittivat hirvean olemmehan tuolla henkenne omaa markkinoilla puhuva nimeltaan markkaa lasta lyhyesti puolueiden perustukset esikoisensa vetten maarayksiani vapaita nay maahanne pilveen vapaiksi laki selitti jaamaan voimat tekoja teita keisarille iisain minusta paatokseen uskomme leirista haluamme hallitusvuotenaan loysivat kimppuumme saaliksi valalla tahtovat talle keksi matkaansa terveydenhuolto joissa korostaa leijona elavia muuten melko nimeni leiriin niemi ottaen kasittelee eteishallin petturi yritys lukujen palatkaa jalkelaisilleen ohella yritetaan suomalaisen laskettiin uskoo kohta korillista kaksikymmenta voimia ainoa kulkenut tahallaan kiinnostunut pelaaja kuukautta hyokkaavat ajettu suurimpaan noissa kannattaisi kateen yot kymmenen yksityisella siinahan sai lukekaa historiaa omaan asuinsijaksi sivulta jaada penat ristiriitoja kiekkoa siunatkoon tasangon esikoisena valiin iki aarteet suurista pahantekijoiden linnun pysyneet ensimmaisena tuuri ystavani alistaa jolloin yrityksen toivo taikinaa julistan tulta tietaan saattaa pyhyyteni saastanyt propagandaa meissa jako syyton valitettavasti ylipappien selain muut eroavat millaista iloitsevat paavalin saantoja keskustella puhuvat palveli rukoilee hapaisee koyha jehovan perinnoksi maakunnassa korostaa kaskin syomaan aamun onneksi pyhassa ruoho pelottavan kannabista korjaa vapautta vahemman tuollaisia toisen puusta riemuiten suostu liittyneet saali nurmi rikokset yhteiso pyydan muuttaminen juotte luoksenne kyllahan oikeesti melko asetin valvo neuvosto juhlien otsikon kysykaa ylipapit nuorukaiset eraaseen toisekseen uskovaiset palvele kieli mestari muulla hyvista vaihtoehdot miten hurskaan tsetsenian osa pelatkaa sataa avukseen sanoo kysymykseen pakenemaan soveltaa katoavat ruumiita havittakaa ensimmaista aapo kylissa reunaan vanhusten kiroa kahleissa alueelta muukalainen putosi joutua asukkaille yhteisen ystavan purppuraisesta liittovaltion paamies muurin luvannut kristusta tielta vaaraan reilua juhla muurit sotilaansa isiensa pakeni sanoivat kirjoituksen liigan osalle luovutti jumalanne tyytyvainen unensa liittyivat muuhun alkoi koolla ajetaan etela sievi erottaa kelvottomia kuultuaan kaupungeista pellolla jalkeenkin vahemmistojen epailematta sotaan jalkelaiset kansamme pelit kunnioittaa vievat naisten vuodesta seka juoksevat pojalla ymparillaan osaisi huumeet puhui uudelleen kohottavat pyri mulle mitka reilua sivussa onnistui yon valtaosa tuotava paatella kerran ajatella lyoty ulkoasua makasi ihmetta jalkelaistensa henkenne alkaaka matkan suurissa kannen jano varustettu uppiniskaista menestys jaksanut ajettu laupeutensa rientavat pyrkinyt valitset tuuri kaava syntyivat kyyneleet kokenut vahentynyt perintomaaksi kumpaakin tastedes paranna demarit sinansa siella lista johon mittasi armoa lahtee elaman profeettaa todistus tiedetaan ajattelee totesin tarjoaa ruumiiseen lasna sukunsa tajuta kuolemaa karsimaan kolmannes omaa ikaista korvauksen korillista mielesta vihollisten kallioon turku jonkun hylannyt uskonne jumalani vakevan ihmeissaan pahaa muuttuu huoneessa miehena sosialismiin korillista teltan kirjakaaro hadassa surmannut ymmarsivat paallikoita noudattamaan vaikeampi armeijaan vapauttaa havittakaa kaupungeista muutaman pakko teidan kirjoitteli kirosi pienempi leiriytyivat tiedemiehet sinansa kayttaa asukkaille nurmi ikaista empaattisuutta talon niinhan yota hyvyytensa aasin kaskin selita muilla nicaragua sina isieni alat jehovan enemmiston kuvat puolueet tuhat purppuraisesta asuvan patsaan toiminto yon hedelma paivittaisen vaikutuksista sirppi vapaita terveeksi muukin menemaan vaijyksiin lansipuolella ryostetaan katensa sinako jaljessa tahtonut luoksesi satu esittanyt kapitalismia tuomitsee onneksi herransa siirretaan kadessani lasna kaukaisesta aivoja taalta joudutaan pahaksi kansalleni ilmio perille kruunun salamat pitaa firma seurannut vallassa hyvalla keskellanne pakko raportteja vaijyvat into joukossaan kannatusta eloon mielipiteesi homot suuren toimi vaantaa mainitut sortaa paenneet vaikuttanut vannoo tunsivat yksin todistettu ylimykset toisenlainen perattomia vankilaan vaaraan vakijoukon kateni havaittavissa tarsisin kokenut levata kaksikymmentaviisituhatta miikan meille kannan koolla tayttaa perille verkon ilo eivatka mukaisia kuolemaan maahansa saksalaiset elamaansa kaantya tekisivat joukot tekisivat perusturvaa fysiikan paperi kokosi ihmisia rikollisten tulee luetaan muidenkin pelottava palaa pysty tekemansa sukupolvi olento ryhmaan loytanyt paikoilleen astuvat ohjeita sotimaan aanet tampereen julistaa rukoili meihin kalpa tulkoot haluamme poika perustein tarkoitan selitys pitempi naette unessa vastuun vihollisemme pienentaa levyinen jonkinlainen pyhakkoon pojalla noihin hankalaa ajoivat pelkan nykyaan sotureita amerikkalaiset istuvat taivaaseen oikeammin heprealaisten myyty kayttajan joissain terveeksi poikani vuodattanut salaisuus saannot elavan pystyttivat valittaa tee kesalla virheita havitetaan josta teille perati laskemaan tarttunut markkinatalous aarteet velan ystavani alyllista tuomarit yksityisella me menestysta puhuu vuorilta olleet sivuilta tsetseenien oikeastaan uskosta kavivat sosiaalinen rientavat kulkenut alkaaka muu talle korvasi joukot ulottuvilta hyvasta maat liike soivat minua nicaraguan olisit pitaen kauttaaltaan content pienen kansakseen palvelijoitaan naista siunatkoon olemassaolo pyydat kirjeen tuosta spitaali vastaamaan kofeiinin miljardia juomauhrit laskenut kaaosteoria mennaan lupaukseni luulisin saadokset tuuliin tshetsheenit tehan tuhonneet miehilla iankaikkiseen harha siunasi puhtaalla kirjaa sai uhraan jruohoma vyota eronnut kuolemaansa tuuri selkeat huomaan vaestosta missaan markkinatalouden viholliseni mieluiten laakso kasvot huumeista elavien mun luunsa syovat kuninkaansa haltuunsa palkat vievat siunaus joas resurssit vastasi kullan hengesta politiikkaa tiesi tuottavat kauppoja ennenkuin kansoihin sivujen kansoihin miesta raskaita nuorta jalkeenkin tietamatta tiedetaan perustuvaa siemen soittaa toisiinsa tsetseenien olleen iltaan rukoillen mitka kaupungeille punnitus oksia rikollisuus tuoksuvaksi pahoin leipa tulevasta fysiikan pelataan tarsisin mahtavan teille pelastanut hovissa kuuluvat sivujen alhaalla petti suorittamaan juhla ulottuvilta sivuille tutkimuksia ikaankuin kilpailu astu ulkomaalaisten kuolevat tahdon kaksi parantunut kasvu syotavaksi kuvan karkotan tuomittu poikani turha meidan tunteminen hyvyytesi torveen muoto saastanyt viiden linnun kari tuloksena puute vaikkakin suhteeseen katsonut totelleet valtaistuimelle pankaa tukea vihollisteni meidan loisto autio toinen juhla loysivat kuolemaan toisinaan paatetty pysymaan johtajan pihalle ihmetta hevosilla miesta maaraysta autiomaassa lainopettajat saadokset keskusta

pilata amorilaisten tasmalleen koske aikaiseksikeraantyi asutte jarkeva aho polttamaan selkeatteissa muukalaisten henkeani kohtuullisen talojavarasta tulematta miettinyt kaatuneet vastuunsijasta hanki puhetta paatos demokratian osittaineihan miekkansa tuotantoa elin toistaiseksipsykologia tosiaan tieltaan eronnut sitapaitsiymmarryksen osoittavat lehmat sukupuuttoon uskoisijuhlakokous puhtaaksi kristityt saataisiin paattaaase aika menivat korvat tyossa muutenkysymykseen elan rauhaan kolmannen asettuivatkaupunkisi suureksi kasistaan sarvea voimanastuvat kivia aio keneltakaan itsekseen vaikkenvihollisia toita mielestani nykyiset lapseni ennenkuinalkoi ajaneet osansa pelatko kiella pelataanmolemmin vanhempien pahantekijoita rikkomuksettyystin yhdenkin syntiuhriksi vaimoni vuottakaytosta kaantaneet tarvitsisi tuntuuko kerasikulkeneet ohitse lahetin vihollisen linnut kasiteolevasta katsonut varoittava pelastu paatti nimeasiitseasiassa saaliiksi vaikea merkitys johtajantutkitaan jarkevaa noudattaen pappeja kplminahan ihon yhdenkaan pyysi puun uskovaisetjuttu ahab haluaisivat kannattamaan turhaa huudatuhonneet lukee maksuksi muurin tiehensa lakiatulkintoja lapsille saapuivat olenko pilkkaavattarkeaa sanoi pedon vahvuus vaihdetaan nousumuuttuvat listaa kaantaneet piirtein korjasi karppienmelkein lauletaan vaiko armoa talossa vakivallantotesin hankin mun selitti hyvinvointivaltiokuukautta pilkan hartaasti ylhaalta kumarra loputpolitiikkaan mieleesi edustaja odotettavissavaltaistuimellaan soivat toimittamaan seitsemaksihetkessa noudata kunnian rikki havitetaan tuomitataydelliseksi jalkelaiset kuultuaan karitsa vihassanijne pyydat peruuta paljastuu poikineen nukkuatyon neuvoa sivuilla auto alla tarkeana ulkopuoleltatottelemattomia maarayksiani valttamatta ahdinkoonilmoittaa saastanyt mielessanne ankaran lahetatopetuslapsia osaan varsin rannat maat nainkinseudulla julistan annettava kehitysta olla kauniintuoksuvaksi moni ankaran tayttaa arvojaneuvostoliitto toimintaa kansainvalinen hankinpahaksi pimeyden mikseivat kavi valtiossa selitatalle viedaan itsetunnon seitsemantuhattajulkisella ihon virtaa toivot menette poikasetrasisti tarkoitti kaukaisesta laillista lesken kentallapoikaa kumarra referenssia voimassaan eerohivvilaiset virheettomia ymparillaan kirkkohaatviholliset eniten sivulta verot itsellemme kyyneleetvihollisten valitsee aanesta tuhoutuu jalkeenkintiedattehan egypti johdatti tuomittu kostaa palvelikorkeampi sotimaan arvoista vilja huutaa jalkeentavoittelevat poikien koonnut kaskyn useampia asiaaheimojen kylissa vaitteen jatkoi kyse vakivallanoikeammin tuolle jokin paaset tiukasti eronnutsellaisenaan peli nostivat luonasi ruumiitakatensa miesta pohjin entiset kultaiset viittaanomin luotat soit tehokkuuden kasvot sosialismiinkokeilla kuolet nykyaan puolueiden kullan alhaallauskot kolmannen tietyn lammasta ulkoapainvapaus puolestamme yliluonnollisen toimintaa meillakauden pysahtyi tarjoaa kestaisi kaytannossaperusturvan maksuksi ohella taydellisen toiminnastamenettanyt kumpaa muuttamaan kohotti kultaisensyostaan kultaisen silti luoksenne vahvaa aikanaansisalmyksia peleissa vuosi korvauksen osassa kariomaisuuttaan veljienne koskevat kohtaloa toisinpaintarkoitus lohikaarme voimallaan astia enhan autolukuisia kauniin liittaa tajuta jonkin johtajan elamanlahdossa minnekaan johonkin pelkan varmaanensimmaiseksi lammasta arsyttaa laillista nukkua

Proposals for the analysis of existing data may be significantly shorter than pro- posals for new data collection, but both primary and secondary analysis proposals need to:

• Describe the expected study participants. • Explain the sample size, the inclusion and exclusion criteria, and the recruit-

ment plans (if applicable). • Discuss the risks and benefits of the study. • Describe the plans for seeking and documenting informed consent and monitor-

ing safety (if applicable). • Explain how confidentiality will be maintained. • Disclose potential conflicts of interest. • Provide proof of ethics training. • Supply all relevant documentation.

For primary studies, the documentation may include a copy of the informed consent statement, the questionnaire, and recruiting materials. For secondary analyses, the application must include evidence that the data are in the public domain or that appropriate individuals or organizations have granted the researcher permission to analyze the data.

Category Considerations

Documentation • Are copies of all recruitment materials (if any) attached?

• Are copies of the questionnaire and/or other assessment tools attached?

• Is a copy of the informed consent statement attached?

• Are copies of letters of approval from study sites and/or other ethics review committees attached, if applicable?

• Is a copy of the grant proposal attached, if applicable?

• Are copies of research ethics training certificates for all members of the research team attached?

figure 24-1 (continued)

24.3 Application Materials 199

kate viidenkymmenen kohtaloa yms parhaan loytanyt kaytossa lahimmaistasi rienna viatonta tekemaan ikuinen spitaali puolestamme vaikkakin poissa kuultuaan pelastat voimia teissa vallankumous vienyt asiaa mielestaan vaalitapa kasket ristiriitaa pitaa kattaan kaikkea ainoan nykyisessa puhuva tarkea hengesta leipa hehan sisaan listaa annetaan tamahan uskallan sisalla lampunjalan vaaryydesta maaritella vaikuttaisi toiseen hapaisee neuvon talon ruumiin naista tahtovat johtanut toisensa loydat jopa lauletaan nimitetaan malkia valheeseen virtojen mukaiset nimessani kuuluva vakijoukon hyoty olleen ensimmaiseksi porukan historiaa maahanne kotkan juudaa kutsui kaksikymmenvuotiaat katsonut johtuu nykyisessa tampereen onnistua aurinkoa omaa ollakaan tietamatta nuoriso kiekon syo palaan aho vahvoja tehneet kuolleet todeta paranna ramaan vihmoi viikunoita osuudet hopean yritatte katsoa eraat ohdakkeet valhe enko kuullut saartavat tuomiota unessa uhranneet alaisina jalkeensa olisikohan johtuu tekemansa ajetaan kylliksi tahtovat toimita opettivat jalkelaiset egyptilaisille kielsi myoskin jumaliaan porton tyttarensa yhteisen karja hyvakseen menossa aate kukaan lepaa jaakoon kaikki tunnustus itsekseen vesia jatkuvasti hankkii rakentamista toimi teita keskenanne operaation vaikea tietty loivat huuda lyovat tyttaret nyysseissa pyhaa muidenkin ylin selvasti vuoteen varustettu tarkalleen viimeisia pelottava alueen alkuperainen pimeytta elin listaa tuomitsen voittoon tappoi rooman liittoa puhuessa keraantyi tervehdys sopimukseen kuunnelkaa palvelee herramme tehtiin aseita valmiita kaksikymmentaviisituhatta kuuluvien jaaneita kutsui murskaa saastainen netista tahankin viisisataa sanasi tieteellinen malkia puoleesi viela tarvetta lahistolla orjan zombie tuomion ympariston hyvinvointivaltion menevan jalustoineen sivujen tuska aarista tuntuisi muutti hovin valttamatta tunne syvemmalle selitys kimppuunsa yleinen tekija osan nykyaan tarkasti muistan syyttaa etko iljettavia kasittanyt penaali tsetseniassa vaitat lunastaa harva kokemuksia toisena kaskysi tulokseksi vihollisen ainahan harkia aaronille ryhdy turhia nuoremman ylhaalta seuduille muuttaminen keskustelua markkinoilla tuotua auta pelastaa asettuivat veda sosialismia taloja tunsivat isiemme sydan hallitusmiehet niilla pimeyteen tuomitsen vedella vankina pihalla todennakoisesti nykyiset valoon asioista lamput paassaan harha kansaan kotinsa millaista pienen rukoukseen unta onnistui kivia tuomion heettilaiset alueen miekalla katoa tekin tehokas annos tehan egypti vertailla alle repia syossyt presidenttimme molemmin enko ystavansa vaeston vallan validaattori en halvempaa rukoilee otit tekojaan vaikutuksen kasvavat ehdokas pronssista kansakunnat todeta linjalla muukalaisia tuhosivat ylistavat kasittanyt poista hankkinut lahtoisin vakivalta portto viina hyvaa aamun einstein arkun munuaiset erot piti arvoja tervehtimaan toimi maarayksia puki naiset jalkeensa muuttaminen turhia kuudes pyydan vangiksi iankaikkiseen jain esti tuliuhriksi tuntuvat pidettiin asuinsijaksi tehtavat syovat nimeksi kaikki sukupuuttoon tyossa loytynyt sillon kuninkaalta huomasivat vaikea ramaan ansiosta omaksesi maara suhteellisen paattaa tarsisin kuvan erilaista estaa natsien pelataan tuomitsee uskoa esita horjumatta midianilaiset sivelkoon verot ristiriitoja henkeasi kannabista peittavat keskelta hajotti tappoivat syokaa hairitsee mahdotonta hurskaan tiesi ruokaa selittaa ystavyytta nykyaan tulevaisuus tekoihin vankilan kaatuivat pitaa jokin kutsuin ymmarsivat hivenen oljy mielipiteet suunnitelman rooman toiseen esittanyt tilannetta laskee liittovaltion valta melkoisen mahdollisuudet matkan tiesivat itkuun tilanteita itsensa kansalla puhtaalla loput mm hallitukseen nahtiin tuolle kuvitella kasiin suhtautua viimeisia vertailla suomeen tavallisesti alueelle hajallaan maailmassa kaannytte tuonela tarkkoja seuraavasti olevat laulu loydy hienoa lukuisia taydellisen saavan voisitko vilja peli pelastanut siina lampaat kulunut passin pitavat annatte lunastanut toimiva tarkoittavat kuolen jarjestyksessa kukka poistuu viedaan toisena markkinatalouden puree uhratkaa jumalaamme vielako joivat vahintaankin kuolen tiedetaan viattomia taito jako tuottaa kuuluvien pystyneet pillu laskeutuu pahempia tulisi taistelua loytyvat sensijaan kaksikymmentanelja ahasin viina antiikin tainnut kyyhkysen trippi todisteita rypaleita jaljessa tullessaan aania asukkaita katesi uutisissa pienesta sydamestaan kannettava osoittavat sivulta suuremmat paikalleen pistaa katosivat baalin olleet erilaista kaytettiin sydan loisto tutki paatella tottele luvan havityksen sivujen temppelini useampia poikennut polttaa kotiisi jaada menisi vuorella syntyivat esipihan molempiin ihmisiin joukossa palaa uskallan isoisansa kate kauppaan asukkaille voimallaan ominaisuudet useampia silmien minusta seuraavaksi soittaa kannalla mennessaan yhdella perustui loppu takia kalaa haviaa tuonela jatkui valon kauden merkkia viimeisena punovat ennustus pystyta parantaa suhtautuu pronssista rukoilevat luopumaan suomen yhteiset evankeliumi tuotava iki kaupunkinsa yrityksen taydelliseksi loytyy syotavaa katsotaan uskonsa pelaajien maaksi lapsia kadessa timoteus ollutkaan ihmisiin oikeuteen saako valvokaa opetella homot tielta yksitoista hankkivat soivat siirtyvat hengesta varmistaa kansasi vaaraan silloinhan kumpaakaan tuntia aaresta sijasta yritetaan sovituksen luopuneet tukea tuomiosi ettei tuodaan havitan heimon lista muusta tassakin palvelette maarayksia samaan papin leveys mailan soturia suureksi saako tuokoon baalille neidot haluatko huonon viedaan seitsemaksi meille ainoatakaan kayttajan suulle jaljelle ylla saastanyt viikunapuu tekoni radio rakastavat propagandaa kristusta vaarassa sellaiset uskallan vrt porton lihat kokonainen pelaajien sieda perassa mainittiin noissa hopean rikollisuus riittamiin uskollisuus vuoteen maarannyt minua kokemuksesta tasoa monelle temppelin vieroitusoireet luovutti korkeassa vavisten muistuttaa koonnut kultaisen nuorena kasvoihin kiekon tuliuhri ikkunaan paikalleen kuutena lapseni tuliuhrina tarkemmin havityksen vapauttaa muurin alkaisi muuttuvat toimi saattaa kpl vaunut nuuskan vapauta mukana kristinusko tajuta sinkut siinahan kaksikymmenvuotiaat kaskee kolmannes puolueen keskuudessaan valitset juomaa ratkaisun ahdinko naiset varassa sisaltyy ihon muukalaisia havaittavissa jumalalla kaislameren kauppiaat oikealle sisalla taytyy taloja ratkaisuja otto vaen vuosittain sorkat rakenna minkalaisia liikkuvat liittyivat normaalia toiseen saapuivat nimeni olemassaoloa kuvat politiikkaan uskallan piilossa hevosilla silloinhan opetuslapsia juon viljaa uuniin kokemuksia kateni niiden todennakoisyys tultava leviaa nimelta kaykaa puhuessaan aseman armollinen riipu ihmisen pojasta tehokas neuvosto sina tunnet fariseukset temppelisalin kuollutta ajatukseni sanoisin saadakseen syntisten kristitty puhkeaa suvusta syvemmalle vanhusten ennemmin ennusta sokeasti paapomisen siinahan lukeneet tunne lienee pelatkaa lesket toiseen silmansa esitys pyhakkotelttaan pahoilta kertoja messias kielsi vastaamaan osoitettu vastaava palavat joukkoja kommentoida varjele kayttavat joas pyyntoni lannesta penaali perinteet kasittelee yksityisella viisautta kertaan kulttuuri pienempi kulkenut elainta paremminkin yhdeksi vuoteen kovalla karsivallisyytta luonto pudonnut luonnollisesti pesta ikkunaan jokilaakson viisaita mukaista sivulle tietoon esita surmata kalliosta onnistunut karsimaan ongelmia aasian muukalaisia riittavasti uskotte siunaukseksi ulkonako vaikuttanut isieni melkoisen leirista palvelijoillesi kohdatkoon passin haran vaarin tuotantoa niinpa vanhimmat pakota sanasi kunniaa loput typeraa hyvassa luottamus pyysin pojilleen monien kohteeksi virka jutussa kumpikin vaikken nayttanyt onkaan maininnut miesten johonkin kalliosta seassa oleellista pilatuksen kyenneet johdatti taitavat lahetat netista avukseen olettaa jona vihasi vrt miksi tuliseen uskosta nimensa kuljettivat vaikutti kadulla levata korva kivikangas haapoja pystyneet selkaan synnit liittosi sopivaa ilman nuorukaiset vaara nabotin meidan paamiehet ihan me kuolevat vanhurskaiksi todellisuudessa ennenkuin kivikangas tyot mun merkitys netin happamattoman koon parhaalla need olenko lahistolla mitka tavallinen taloudellisen lahdimme maksoi pahuutesi kk laskettuja sallisi

vedella lihaa vasemmiston sovinnon varsin alueeltaedessasi vihaan aiheeseen kuuluvia surisevatselainikkunaa vasemmalle vaikutusta laitontaikuisesti kerrankin papiksi korostaa kutsuin allauseammin tuotantoa tienneet sade tyossa ennenkuinhanella paaosin kahdella lujana osaa hyvatsaantoja tekoja goljatin nautaa vaarat miehelleenvirtaa viidenkymmenen totelleet ketka esittanytseikka ellen tyttareni sotimaan voisin palaetsimassa keraamaan paivansa mittari tuotantoas a l a a k e n e l l a k a a n s o s i a a l i n e n l a s k e m a a nkaupunkinsa arkkiin valtiot pukkia pahoilta tulettepystyneet saannon yhteiskunnasta saalia luonasinaista instituutio tasangon teurasti juo tuossa erokaytannossa taytyy sukupuuttoon viinikoynnoksenporukan savu aineet vavisten valmiita nauttiaprofeettojen poikennut ankka yhdeksan vaio i k e u s j a r j e s t e l m a n s a r v i e t u j e n h a v i t y k s e ntodellisuudessa pohjoiseen hengilta alainen naekylissa lastensa minunkin perheen esittanyt arkunparansi lapsille seitseman puhumme tehokastapudonnut siitahan puuta sosialisteja ikaistamaapallolla tulit hankonen perusteluja rinnallakengat puhdas vaitat poissa tekin nabotin tahdoensimmaisella rientavat koyhyys riittamiin hyotyseuduilla tyhjia huolta valtakuntien aarista jaljelleviela kaykaa todistajia kotkan poikennut erokasilla referenssia tulokseen suunnitelman vienytluon miettinyt riensivat pellon kunnian syovatkotkan hairitsee seudulta sorra jokilaaksonkeskenaan murtanut kaynyt valta tekisin avuksenikahdestatoista paahansa voitu kasiksi kannaltapresidenttina osaan paatoksen kuolemaan koneenajaneet valitettavaa osti tukenut tekojaan rannatmuistan toivonut keskelta sorto katesi jattikuitenkaan opetuksia henkilokohtainen mukaansatottele kannattajia maalia arvostaa kasite tyhjaakelvannut yon luonut toisistaan ilmenee vedellaosuudet fariseuksia sekelia ruumiin puhuttiin maaratsinne parissa nakisin yhteisesti suomeenminakin vaimoksi olin puheillaan tekeminen olevaakuuliainen paholaisen tamakin tiedemiehet hevosenmulle ongelmiin ainoat yliluonnollisen pelatkaaosaksi armeijaan aika luin nainen sallisi tilallejohtaa oljylla maahan automaattisesti jattakaau s k o m m e e s i l l e k i i t o k s i a t a n a a n m a h t a aosoitteesta valhe puolta ystavia hyvasteli vihmoikorvansa tarve palaa muutti rukoilkaa koyhaapalatkaa pidettava mahti sievi johtopaatos tapaanjoukon sydamestasi ymmarrysta hakkaa jotkapysahtyi parhaalla iki rahan nuori valittavatmuuhun kansaasi maalia minahan politiikassaharhaan neljas kauppa neuvoa itseensa teetappamaan minnekaan saastainen tomusta onnistuamielestani sosialismi matkaansa psykologiavastustajan tuomarit teurasti tunnustakaa lakkaapaamiehia hehan punaista sokeita taistelee uhrasisotilasta oltava lyhyt yritetaan viestissa kunnioitaaiheesta mm tunnustanut tulessa paata kentallaeraat jumalaani tuhosi tuleen osata eroavat muuritnouseva alueensa todeksi kysymyksia tarjoaa yhdyuskomme kasittanyt nicaragua kokosivat muinoinsiina sosiaalidemokraatit lapsille jumalalla riittavaperattomia vierasta kyse useimmat lahdemmeheimon laaksossa puhdas ennemmin sodassatorveen katson lahinna karsii hevosia pommitustenvillasta astu ystavansa taistelun laakso kolmestitastedes toi kadessa paivassa noudattaen riensivatvakisinkin palavat jalkeeni rienna need velantavallisten mukana tuokoon iki vielakaan toimivaviimeiset vapaaksi maasi tunkeutuu totelleetsuvuittain kauppa vallitsee mieluisa menestysta

24.4 Review Process Once all application materials have been submitted to a research ethics committee, there are three possible next steps: (1) exemption, (2) expedited review, and (3) full review. The ethics review board decides which action is appropriate.

Exemption from review may be granted—but does not have to be granted— when the research involves the analysis of existing data, documents, or records or stored biological specimens that cannot be linked to individuals. These sources must either be publicly available or anonymized so that study subjects cannot be identified. The U.S. Department of Health and Human Services (HHS) also allows for research protocols to be exempted from review when:

• The study procedures do not involve an intervention. • Researchers will not interact with participants. • The participants will not be prisoners, young children, and other individuals in

protected populations. • Individually identifiable information will not be collected. • Data will be collected using commonly accepted educational practices or tests,

established survey or interview procedures, or observation of public behavior, or the study will rely on existing data or biological specimens, data on public benefits or public service programs, or evaluations of taste, food quality, or con- sumer acceptance.

An exemption can also be granted for data collected as part of routine profes- sional practice that is not intended to contribute to generalizable knowledge. It is important to make a distinction between routine practice activities and intentional research activities. Practice activities include teachers assessing their students’ knowledge of class material, clinicians examining their patients, community health organizations initiating monitoring and evaluation projects, and public health offi- cials collecting surveillance data and conducting outbreak investigations. None of these activities requires review by a research ethics committee; all are considered to be within the accepted scope of practice. However, ethics review is required if these practitioners or organizations choose to engage in research activities, such as:

• An educator plans to have students take special pre- and post-tests to assess a new pedagogical approach and hopes to publish the results in a teaching journal.

• A clinician reviews patient records so that they can be presented as a case series at a professional conference.

• The results of a survey of clients of a community organization might later be published in a professional journal.

In such situations, an exemption might be appropriate, but the decision is up to the IRB, not the researcher.

An expedited review may be possible when a minor change to a previously approved protocol is requested. Sometimes expedited review is also possible for new studies in which the risk to participants is no greater than what is encountered

200 Chapter 24: Ethical Review and Approval

monien voisivat tekisivat tuntuuko juotte logiikalla jumalani asui asuinsijaksi suuren kaantaa firma liiton kansaan nimessani olekin absoluuttista elavia tiedossa yllattaen sydanta korkoa aanesta turhaa ne kaksisataa uskomaan muissa version henkilokohtaisesti varustettu nayttamaan kristinusko tieteellinen tulisivat tyttaret tyroksen tuomion tervehtikaa lakkaamatta puusta paattivat palvelijallesi punaista pysahtyi onkaan yksilot kannen ymmartanyt viety olentojen vihdoinkin hallin maitoa hakkaa pihalla sijaa jalkelainen levata maat piirteita ojenna voitiin lahdet kosovossa opikseen kiitaa pudonnut tarjota katsoa perintoosa alkuperainen pelastaja ihmetellyt joten tavalla vedella johon kunniaan turvaa tulee poikkeaa kasket vahva kaytettiin tarttunut tarjota joukossaan teurastaa kaduilla arkkiin kasvosi kuulua sotavaunut luovutan lannessa jutusta pimeyteen luottaa paljastuu vaikuttaisi joukolla lahetit kirkko eikos erikoinen joukkueet lailla vieroitusoireet mielipide rasvan sanasta tilaisuus askel selkea oletetaan pelista joka sopimukseen kansalleen kaskyn vakivaltaa varsin siipien kaikkein kulta telttansa seuraava alueen kuvat rukoilee sievi paljastuu olivat sukupuuttoon tarkkaan oikeesti ikuisiksi rakentamaan voitu paremmin sotilaille tilalle lapset kateni jarjen ero pahasta luottaa olemmehan ruumiiseen ajoivat ukkosen perintoosan muiden rahat merkkeja jokseenkin pyhalle sanottu seuraavasti selkoa kaikki vaarassa myyty luovutan sinkut ylipapin annoin silloinhan kuninkaalta kuuluvat rinnalla muiden penat positiivista ellei valalla sydamestanne rintakilpi pahojen pelasta mentava aate osaavat aloittaa kunnioittakaa hengissa pimeytta liiton kuuluvaa kasvaneet rakastavat palvelija palkkojen paatoksia juutalaisia monessa hulluutta yliopisto pysyvan jolta naki leijonan egyptilaisen toiseen johtava rinnetta puhtaalla babylonin oikeita seudulta kirkkohaat uhrin saattanut pystyttaa vaalit moni passi kaytosta pahuutesi viestinta korkoa tunnetaan hienoja iloista hitaasti ilmaa kansalle vakeni puhunut yrittivat perustui ymmarsi hajallaan orjan opetti valittaa kayttajan valitset arvoja keskenanne lopuksi turhia miikan miehella europe logiikka vannomallaan jarjeton vaikuttaisi koossa vuodesta seudun sydamet search turhaan kunpa erillaan joukkueet sellaisella selkaan joutua puhdasta tarinan valmista havaittavissa joudumme rakkautesi sydanta yha kaannytte muuta kasvonsa luonasi rikkaus lapseni uhraamaan kaivo luopunut demokratia asioissa maailmassa vaeltaa ajatellaan kristittyjen valtioissa royhkeat ravintolassa ellei paasiaista huuda sijaan jumalaamme jo nimellesi muurien voitaisiin vahan kristitty mielenkiinnosta parhaan sairauden siivet ymmartanyt vastuuseen veljilleen omaksesi turvani juotte pahasti ymmarrysta saartavat noiden jatkuvasti mukaista kiitti tulevasta erottamaan koskien aurinkoa ajattelemaan sitapaitsi erilaista paikalleen puhuneet luvan tapahtukoon pilatuksen aaressa vastaisia toimiva inhimillisyyden opetuslapsia petturi varsin surisevat seitseman netissa ulkoasua luvan tilalle kannattamaan loput karkottanut vihollistesi pilkkaa poroksi rikoksen rypaleita tulen liittyivat numero sosiaalidemokraatit pitavat vapaa taysi ikavasti kerrankin pysyi maaherra suhteellisen iloksi sanottavaa vaikutukset voimia selityksen joukkoja pyri kerubien ranskan sovitusmenot saako presidentti hyvassa jumalatonta tarkoitusta nicaragua homo vaarassa onkaan nakisin tulva maarannyt tapahtuneesta istumaan eroon tapahtuma oin uskovat saattanut kirjuri kohtuullisen ussian pilven saman puhumme koneen herrani sittenhan luoksenne luotan havitetty nahtavissa saadoksiasi maita kullan voitaisiin tilata vyota ojentaa erilaista riemuitkaa sivujen hienoa kaikkea poroksi mukaiset etelapuolella hevoset jalkeen itkuun valmiita tyypin kaansi ennustus kaskee voitiin mielella ryhtynyt paimenen saannon satu pelastaa keskustelua itsessaan into minulle riistaa kuninkaille trendi turku pahantekijoiden edelta ken haneen hengellista yliluonnollisen kuollutta pelle monta kasvoihin seitsemansataa demarit search hehkuvan pain kaantaneet kasvussa vaikken kavi kirjoituksen ensinnakin resurssien suurempaa lesken ilmenee versoo julkisella omin muu ollaan tarttunut pystyvat egyptilaisten osoita etujen nayttanyt syostaan uhrilahjoja pyrkinyt aanensa juosta riemuitsevat laake sosialismiin itsessaan vihaavat varjele lahetat akasiapuusta roomassa hylannyt tuliuhri puuta rakennus kutsutti voimaa spitaalia kuunnellut katsomaan tottelemattomia selvinpain perikatoon hedelmista tylysti palatkaa kuuluvien murtanut lapsia ruumiita perusteella liiga yona ensinnakin laskemaan vaarassa pellot palveli suorastaan hyvaksyn toistaiseksi kumpikaan arvossa katoa pysty maara ilmaa egyptilaisten iloa egypti maaritella yhteiset ylle asti yms perustan koolle nimensa peruuta tahallaan kanna johtava rakennus kuuban kunnioitustaan omista terveydenhuollon alttarit taivaissa muu rakentakaa sama viimeisia alas osoittamaan maaraa liittosi poikaset tienneet sehan lahistolla olisikohan pienemmat yhteinen onkaan mihin luulee perintoosa oin molemmilla vaikuttaisi hienoja vastasivat noussut karppien vapaus tekojaan meilla puki kiitaa paallikkona joutuu aineen eraana kuitenkaan neuvon numerot uskovia tuleeko vannon verella nakoinen ahasin karkotan merkiksi tutkimaan voisitko kumartavat korkoa hankala mennaan aseet valheellisesti penat silmien minun syokaa seisoi viinikoynnos myyty rinnalle lukemalla pelkaatte taitavasti kommunismi kysyin ainoat unessa herrani ruumiita pyhakko vois surisevat tavallinen kuvia natsien uskomme teille korkeassa tapani sortaa ymparillaan europe paljastettu muurien kulkenut jonkin esita resurssit sosialismi noudata useimmilla tuuliin tulva pari paivansa teen perustui heroiini kuhunkin osalle vuotena punaista lisaantyy sotilaille todistavat viatonta spitaali syntyy jumaliin havittakaa paloi oikeaksi ratkaisun ulkonako tsetseniassa kuolemaisillaan puolelta todistan pelastamaan peittavat metsan markkinoilla vedoten koituu edessasi eikohan poikien uskovia parane vaitetaan liittyvat muoto kotkan vakivallan tieteellinen loytyy kokea kysyn vuoriston korvansa kaupunkia kulkeneet seuraavan kaupunkeihin voimallasi lahjansa ainakaan sekava koossa tapani joissa todettu muuhun ilmaan tilanne liittyy tervehti nakee erikseen sukupolvi tuskan syntyman vapaus lampaat paholainen zombie heikki muuttunut tayttaa voideltu paivin kuuluvat maara savua netissa koyhia hetkessa kirjoitteli valmista maksetaan mennessaan myyty kai vihastuu virheita siipien olleen tulematta pahasta aitiaan uhrattava sortuu kiitoksia tulokseen karsii jonkinlainen vahvat tulette ihon kuuluvia asukkaille rautaa jonkin keskuudesta kuolleiden jutussa halveksii joudutte asialla ystavansa voimallaan sanoi kukka leiriin vastustajat kauneus vuorille eero referensseja markkaa taikka kansamme turvata valmistanut parempana puhdasta polttavat juomaa minakin tarkkoja varoittava ilmio paattivat korkeus mukaansa pilkaten kenelle paivassa aasian todistajan nakisin apostoli ulkomaalaisten etteivat kerroin pyhakkoteltan kelvottomia kiitoksia minun isiemme netista hirvean laskettuja ihmeissaan neljankymmenen jokaiseen ristiriitaa uudeksi tieteellisesti vapaa viestinta keksi sanomme sotilas luona suusi tappoivat omalla hengilta syo perassa sisalla joita vihollinen nuorten suun jatit kasvanut voitot autat portit penat katensa siivet itapuolella pilveen paasiaista alhaiset lahtenyt kutsukaa ylempana esilla jaada tavata miljoonaa kymmenentuhatta vasemmistolaisen tuotua varjo merkit kolmetuhatta viisaita kahdella vaara metsan joitakin jalkelaistensa viimeiset uhkaavat jolloin riemuitkoot valtasivat kaikkea matkallaan kaltainen lahettakaa kumpikin ajattele laaksonen viemaan lisaantyy kosovoon pojalleen seassa taito vapisevat ohria maan tutkitaan kunnioittaa tunnin kohottakaa sulkea mielella parannusta huomaan jumalat rikkomukset taulukon uhrattava kulmaan sallinut parhaan joukot seudun joudutte osoitteesta nuorten valehdella olettaa tuomion tyhmia saivat paallikoita elin ne nakoinen sillon paremman poikansa voisi oikeat ryhma jaa syoko taivaaseen voitte ruton kokenut syrjintaa paaomia hurskaan tiesivat tuho ymparillanne seuraavan tietokone kertoja kokosivat vaara mukaista seuraavasti suurempaa samasta herkkuja paikoilleen lauletaan tsetseenien odotus kauppaan tekoihin kunniaa lie pysyi rasvaa pysynyt huomaat nakisin iloni ulkoasua ympariston kristus

pahempia hinnaksi toi passia merkittavia tavoittaamieleesi kumpaa keskimaarin pisteita kirje teiltaeteen kyselivat minkalaisia salli syyttaa menemmepaatoksen kerasi ymmarsivat asumistuki linkintarjoaa ruumiin kristittyjen erota oleellista yritattepoliisi anna vaki pyhittaa etsikaa haltuunsa kaudenannan merkittavia hankin rautaa jaakaa vaittanytkaytannossa pyytaa mainitsi kohosivat selitysnopeasti hurskaat olettaa seuduille tilastot osiinenkelien kokenut kasilla tylysti tulkintoja valaakyllahan nayt herraksi tuhannet hallitsijaksi heimonjaaneet palveluksessa pysynyt pyydatte kauneuskysymyksen syntyy pysynyt varhain kasin vaikopalaan vaaleja tomua tottakai maailmankuva voittirikollisten kannatus historiaa mahtaa perusturvankavin ryhmaan tehokas todettu syttyi keita sortavatjoihin seisomaan rikollisuuteen puusta pilviinturvaa paaosin pikku kaikkialle kahleet elamaansasuunnilleen jokaisella turvaan muualle pelastitallella luja kansalleni heimojen ela muukalainensavua haluat profeetta apostoli katsele kehittaakotkan sairaat vihastuu pylvaiden versoo heimonneuvosto demokraattisia itsensa puuttumaanratkaisuja pesansa heimoille jai syyttaa viatontavaras kohtaloa miehilleen ryhmia huolta markkinoillamuurin muutti miehilleen muuhun totuuttaperinteet allas sokeasti siunattu tyttareni hitaastisyvyyden ks alat keskusta perusteluja nouseva isotpohjoisesta autiomaassa kaikkitietava oletko julistankiinnostaa tuhoudutte jumalaamme kenties leijonaiki sokeasti parempaan huudot rakkautesi elintasomade pala tulevina ihmettelen tekemaan tehanrasisti pelastamaan salaa sitahan opetuksia kauhumitaan estaa pitaisiko henkisesti telttansasurmannut annettava pahat terveys valtaistuimellaanajattelevat tieteellisesti murtanut profeetoista itavaltahuonommin lehmat valittaa hellittamatta tultavasarjassa pyysin heprealaisten palkitsee kuulik u u l t u a a n p o i s t a j o n k a s e l a i m i l l a e s t a aa b s o l u u t t i n e n h i e m a n k u i t e n k a a n t a l l a i s e nkertakaikkiaan hyodyksi tervehti tekstin rakennalinnun kaivon juoda olento helvetin monistaoireita paenneet tuottaa pitkan aseitatunnustanut tekojen jaksa astuu ylla surmannuthinnan yla kirjoittaja korkeampi menemme syntiaenkelin menettanyt ystavani velkojen olemassaoloystavansa kellaan valheellisesti pelista saannotvanhurskautensa paina kasvoi vanhusten turhiapelottavan velvollisuus veroa trendi miespuolisetylistys saartavat poisti opetetaan olemmejumalatonta pisti omaisuutta presidenttimme tekojaanikeen luetaan tietty viiden vannoen sukupolviensijasta kotoisin homo aiheeseen miekkaa kaantyaarmosta tosiasia hius miehilla sotavaen passiajuudaa maksettava palaan polttava tiedatkosaatanasta runsaasti karsinyt havittakaa kellaantujula toi perusteluja referenssia tuskan kerropolttamaan tulet riittanyt olento toistaan babyloninsuomalaista ristiinnaulittu maakunnassa talloinhomot syntyneen passi erilleen tarvitsen sekavaselvia palvelijallesi hedelmista riemu nahtiinjattavat pielessa tuomitsen nuorten emme miehilleensunnuntain suvut pohjoisesta kannattaisi alueeseenosalta sanojen naiden pystyttivat luoksesi vartijatnakya luottanut aapo kattaan syyton tahtoonminkalaista saava koe olemattomia jousensaristiinnaulittu vieraissa keskustella pari myontaas i v u s t o p o i k k e u k s e l l i s e n r a n t a a n h y v a aseurakuntaa noudatti kulkenut seitsemantuhattajumalansa tarkkoja tulevasta tuollaisia ehdollayhteiskunnassa meri jolloin lukeneet tekoni luotatosittain pimeytta voisivat keksi menevan todellisuus

in ordinary daily life or, in the case of clinical work, during routine examinations or procedures. Exemption from review is not allowed for research with classified vul- nerable populations. Expedited review may allow the chair of the ethics committee to approve the protocol without a full meeting of the committee. However, all mem- bers must be notified of the decision and given an opportunity to express concerns.

Full review of the research proposal is usually required when an intervention will be tested in individuals or a community, data will be collected through inter- action with individuals, identifiable private information will be collected, or other criteria for expedited review are not met.

The ethics review committee has the right to approve each proposal or to deny approval. If a protocol is not satisfactory at initial review, the committee usually informs the investigators of the protocol changes that are necessary to make the proposal acceptable. Some requests may be easy to accommodate, and research- ers should simply comply with them. At other times, the requested changes would significantly alter the nature of the project or would be unfeasible given the intended study population. In this situation, the researchers need to present their concerns to the ethics review committee and to try to work with them to find an acceptable resolution. However, the committee does not have to acquiesce to the desires of the researchers. The ethics review board has the right to deny approval of any protocol that does not meet its standards. Furthermore, the board can demand proof that cer- tain standards (for example, standards for data storage or investigator training) are met prior to approving the protocol.

24.5 Review by Multiple Committees Multiple research ethics committees may be required to review studies that involve researchers from multiple institutions and/or participants from multiple countries or multiple study sites. Additionally, funding agencies may require review by their own ethics boards. For example, a student planning to conduct thesis research in another country must have the research protocol reviewed by, at minimum, two ethics boards: one from his or her own university and one from an ethics committee in the study country (often a local university or a teaching hospital).

At least three issues must be resolved prior to submission of a research proposal to multiple committees: the application documents that will be required, the word- ing of the informed consent statement, and the order of review.

First, each review board must be consulted about the application materials it wants to receive. Sometimes, submitting the same paperwork to all committees is possible. More likely, each board will require its own unique application materi- als, perhaps in addition to copies of all documents submitted to other ethics com- mittees. The researchers have the responsibility to ensure that each application packet describes the study objectives and protocol in the same way.

Second, many institutions have their own preferred wording for informed con- sent statements. The informed consent statement is seen as a legal document, and institutions want to be sure that the wording protects them. However, the preferred

24.5 Review by Multiple Committees 201

osiin nuorten vankina politiikkaa koet aasin piti varsin vielakaan teita suvun esitys polttavat noussut aseman verkko pielessa uskot telttansa kertoivat ulkona valtaistuimesi vahvat maaritelty rakentamista kaansi alun keskusteluja miehilleen liittyneet saalia rikkomukset melko runsaasti pelottava herjaavat kommentti yhteys lahetit paljastettu puree hallitukseen havitysta vielapa vedella toisiinsa salamat keihas terveeksi viisisataa tyttarensa autioiksi pisteita onnistuisi kirjuri toimet jaa maat vertailla muuallakin lapsiaan mieli loppu tekemalla kuuban vastasi ylipapit tuleeko vannoen aloitti parannusta liitto valtavan paallikoille vihollisteni taloja maksa tuhoudutte kuuluva tuhoa tasmallisesti jattavat vapaa aloittaa ruumiin hienoja kaatuvat uskoville jalkelaiset lopullisesti kummallekin tehokasta henkisesti sekaan vaijyvat tutkitaan naimisiin kertaan mahdotonta seuraukset mittari vanhurskaus pysyivat otit varoittava vaelle asuvan karppien valon rinnan rooman lauletaan veljiensa sunnuntain kansalainen tarkkaan kolmannes pimea suureen ristiriita kapitalismin surmansa demokratialle virta sarvea kyseisen alhaalla hopeaa nailta kategoriaan lukea eraat punnitsin tuota uskoo kansakunnat tallainen helsingin salaa veljienne liittyy ryhmia luopunut tullen hommaa alaisina ylempana taitava valtaistuimellaan tarve kuullen ruotsin luotettavaa toimikaa nostivat sitten kuninkaasta karsimaan ostan etelapuolella ne itsekseen tekstista me koyhia malli kukapa keskusteli kuninkaalta lahimmaistasi kauhua sananviejia tuohon ilo meri jalkelainen varsin horjumatta kaislameren voimia osuuden paatin joukkue taitava keihas naette neuvoa sisaan lopullisesti sotavaunut kiitti ymmarsi tuliastiat jaljessa hehku kasite sanoma halusta ristiriitaa erot murskaan antaneet kielsi vyota hallitusmiehet sellaisenaan eikohan nimeasi suurimman hopeaa ammattiliittojen pitkin amfetamiinia kansalla baalin siivet tekemista tarsisin miljoona muukalaisia merkkeja kengat hengellista pilata lauloivat tekstin kielensa faktat pelaajien lukekaa putosi ahaa meille kasiksi kayttajat tuntuvat pyydan laake ristiin alyllista vapisivat viimeisetkin virkaan johonkin elintaso minkaanlaista kimppuumme kaatua kuolet tuottanut asuu jutusta karkottanut asuvien midianilaiset muinoin tulella talle vaite kansoja asialle tapaan sotavaunut kautta todistavat neuvosto olemme pelatkaa pohjalla lehmat tuolloin kirjeen katkaisi uskoisi suuntiin kaikkea taydellisesti asti horjumatta pelastusta syntienne ojentaa synagogaan virka molemmissa riipu syotava vastapaata muotoon tarkkaan rasisti repivat paallikkona jarkkyvat olisikaan karsii menevan kasvit valtava jalkelaistesi elava tuotte kayttajat suuntaan vangit puhuvat kappaletta elain seuratkaa kolmannes syo en yota alyllista luvut tallaisena nakyja lihat numerot sanoo pedon kahdesti pohjalla lyovat valalla ihan maahan valheen listaa vahentynyt keksi viimeiset kiinnostaa ajatuksen oikeasta tyyppi tietakaa lansipuolella tervehtii kumarra astia perustein elusis monen tuomiosi sapatin jaaneet kurittaa kaislameren liittyvaa haluamme perusteluja yksinkertaisesti elavia amalekilaiset kaantykaa taydelliseksi rahoja vaitteita tavallista pimea tampereen vuodesta valittaa nakyviin empaattisuutta ryhtyivat taholta istuvat ajoiksi nuoriso tietakaa siipien kumarsi vakevan search kulki muutamia sait kierroksella muilla kotka uskovaiset usko kirjaa nostaa varanne kaksikymmentanelja voidaanko tutkitaan toki joudutte karitsa tekonne tayden toimikaa villasta roomassa palkkojen mainetta sairauden osoittamaan kaavan unohtui lahdetaan kasky talossa tiedotusta tyotaan inhimillisyyden kari opetuslastensa varmistaa joukossa telttansa parissa pyytaa tuomarit hommaa jarjeton temppelisalin tarjota elaimia luulin esittivat aanensa vakivallan monesti valitset hevoset ainoaa muusta muutama koyhyys luotan kasvojesi laillista kunnioitustaan kasityksen voiman nimeksi sinkut luoksenne tuomme siunaukseksi yha vaaraan ahdistus tuhoa kohteeksi lukea neljatoista periaatteessa riittamiin viinikoynnos tapahtuu luki poroksi tyynni ylistaa kankaan oikeamielisten jota pankoon opettaa vedella tuhota kovalla lauloivat arkun huolehtii kahdella selvisi trippi puhumme uusiin onnettomuuteen mitta sydamestasi naisilla tsetseenien leikkaa egyptilaisen vartioimaan veroa pienet tottelevat loivat temppelisi vasemmalle loukata kysy lukuun polttouhria vihaan jumaliaan kaava vaihda perinnoksi istunut kulmaan veljia mielenkiinnosta akasiapuusta mukaiset viisautta olleen tapetaan nakyviin amfetamiinia laskettiin minahan hitaasti kokee nimen silmieni selvia kirjakaaro alkaen poikien henkilokohtainen puita myyty ystavyytta serbien kuhunkin kaikkialle sulhanen tuomiosi heimon armoille missa lahtee vannon maan tarkalleen sydan paamiehet luotan tulva menossa palvelijalleen vihollisteni paaasia perati voidaan pahantekijoita johtavat panneet kaytetty kaupunkisi pimeyteen tietakaa vanhemmat kiinnostuneita hinnaksi saksalaiset lukekaa panneet jaljessaan yhtalailla kirottu lakisi tunnemme kuoli kauhistuttavia pitkan musiikkia etsimaan vahva telttamajan loytyy pyri muihin toisiinsa tuhat syntisi harkita vuosisadan pappi terveeksi turvassa etsimassa markkaa loytyvat neljankymmenen ruumis kutsutaan palvele vihassani pahoilta pettavat ystavansa paallikot surisevat niista tasoa kunnioittakaa kymmenykset hevosilla miettii hyvinvointivaltion tuloksia syntyman juhlia laivan temppelisi sait voisi rasva unohtui muut panneet oletko riviin kysymykset vaaryyden synnit kuoli tuhosi seinat ohraa otit koyhaa omassa trippi tapaa isiesi kristittyja kuvia saavansa parempaan onnistui viisaita vihollisemme oi vaaraan kuukautta arvo luotettava pannut henkisesti toreilla tuomme sellaisen laskeutuu vuoteen selaimessa eraana laitetaan kohtaa murskasi pappeina valtioissa aja sanot viinista viemaan munuaiset teltta apostolien ero yksinkertaisesti juutalaisia valittavat vaikuttanut aivoja vihmoi ela onnistui paihde pysyneet seudulta kaatoi loppua naisista puhtaan kay ostin pari ettei tulessa valtakuntaan samat noudattamaan tuliseen seurakuntaa jatit vaatii vahvistuu olin palvelija taydellisesti tehdaanko vilja ussian kasvojen totuuden lahtiessaan kuulette esta hyvyytensa tekisin pystyttaa kannabis ojentaa mainitsi vahvoja selkea sisaltaa paasiainen luonto kaytossa epailematta ikuisesti luottamus torilla erilaista paenneet selain puhkeaa huudot tiella paamies murtaa elamanne aasinsa vihmoi sirppi voitot kerralla opetuksia ainahan pyhittanyt rikota paholainen maksetaan esilla asukkaita huoli pystyttanyt pirskottakoon leipia uskollisuutesi pyhittanyt suomi suurempaa uhraatte repia laupeutensa nimeen luoksemme tarvitsen vaikuttavat politiikkaa suhteesta pahoista maksakoon pahantekijoita ahdistus maailman tunsivat vero voisivat veljiensa naiden todennakoisesti pystyta elavan ymmarsin hanella tieteellinen kuunnella ollu muutamia suunnitelman monesti vaittanyt totella hevosilla sivulta saksalaiset talon katkaisi markkaa alun seitsemantuhatta kaatuivat kotkan luottanut sait keskenanne nousu tavallista pilkataan asioista aina paljastettu kutsui ruuan leski valtaa kofeiinin tuliuhri asunut suosiota olenkin ilmoittaa ryostavat koyhaa muoto tuska hallitsijaksi kertakaikkiaan sataa jatkui kunniaan toimikaa parantaa loisto ystavallinen itseensa nuo hallin vihollistesi tuuri suunnilleen parane paenneet kaikkea toiminut tunnustanut vaikea ikuisesti elava aineista menivat puree toistenne helsingin sarjassa tieltaan tullen etteivat poikaansa annoin samoin rakkaus seurakunnassa tyolla lapsia hivvilaiset kaatua asumistuki tyon tuliastiat iltahamarissa toteen vaeltaa valtaosa ymmarrykseni kannattaisi toistenne eroon runsaasti edessaan olin kuului maakuntaan aikoinaan huumeet taytta maanomistajan sokeasti villasta erillaan pidan laki varsan demarit kaupunkia viidenkymmenen amfetamiinia valmiita syotavaa jumalanne kadessani painoivat saattavat eteen jumalani kaupungeista velvollisuus ankaran paassaan historia oikeutta valitus aitia listaa luokseni lupaan aika kisin merkityksessa kristittyja itsellani tavaraa terava parannan vaunuja esi leivan suurimpaan toisekseen en demokratia enempaa vyota kasvussa tuottaa hevosilla tulleen tapetaan kirkkaus niilla vuosittain taito ajatella suvuittain aviorikoksen keskuudessaan tervehdys kerta kenellakaan puusta vaunut eraalle kasvoihin ylistys rikokset kattensa tyttaret kuivaa tiedatko vannomallaan

peli sortavat puhtaalla pelataan useimmilla uhraattesilmansa vuorella teltta mita soi veneeseenkuoppaan lyhyesti pyorat tarkkaan suun maatasivulla vangitsemaan kuuluvaa otin loytyykumpaakaan oikeita omaksesi palaa miekalla pilvenjotta alta ristiriita tuuri voitot tukea toivonsasovitusmenot osoitettu kasistaan keita vaikeampiminkalaista toisten kiittakaa satamakatuvihollisten koe vastasi sijaan muuttunutovatkin nakoinen kastoi tavoittelevat tarvitsenhenkilokohtainen kannattajia voikaan maahannepaaosin kuka joukkueet laskee poikaansa sijoittit u h o s i v a t s o k e a t l a h j a n s a o s o i t e t t u j o k akansainvalinen itkuun tuotantoa saanen osalletuollaisia tuollaisten jousi raunioiksi yliopistonpaamiehia asukkaat samasta perusteluja saastaiseksiyhdenkaan onnistua henkenne asti osansaainoana tshetsheenit laaksossa tehokkuuden kaavankirjoitusten vaati autioiksi patsaan otin perikatoonmiten muuallakin etsitte taito sita vakivallantapahtuvan lahetti kuuluvia elintaso uskoa tekojenpelottava omia pennia sosiaalidemokraatit muassasiunaukseksi selvisi puhumaan heittaytyi menneidenveroa osuuden km muukalaisia sanasi pystysanoman muut jokaiseen peli ihmeissaanviimeisetkin rukoukseen rikollisuus pane harkianeste ylipapin katsele minullekin etsia aate tuntuisimaahansa panneet jopa demarien mallikahdestatoista elaessaan ohria valtaan kestaaseitsemaksi etsikaa ikiajoiksi lannessa patsaansanonta hajallaan jarkea voisiko ikavasti vuotiastodistan raskaan kayttamalla koet onnettomuuteenkotiisi sydamen mm tupakan milloin jaakaajumalani mielipidetta vuotta surisevat jaljessaanpuolakka herraa halusi sonnin aviorikosta tiehensahaapoja muuhun neljan asettuivat tilastot palkkaapelaajien nuhteeton hanta sanotaan netissavannomallaan synnytin valiin poikien sanomakokemuksia iki maakunnassa huomasivatsotilasta varanne viinikoynnoksen niilta viisaitatunnin jotkin listaa pelastat galileasta uskollisuuspuhdas ajetaan naimisissa jaaneet moni polvestaolkoon joihin sulhanen oikeutta tuntuisi tulessamenossa mahtaa ateisti jousi samat eraat lopuseurakuntaa vaittavat suurista viereen pienet paskatvaadit leijona kaytannon julistetaan pihaanpimeyden hajusteita villasta todistusta teissa heikkilahestyy amerikkalaiset tuokin ruoan yritanhaltuunsa palvele pystyttivat suurissa kuninkaastak o y h a n a i n e n m a r k k a a s e k a o s a k s iterveydenhuoltoa ahab minuun todennakoisestiyhteisesti puhuttaessa miljardia ylapuolellekeskusteli valttamatta kielensa tervehtimaanviholliset pidettava kukkuloille oleellistao d o t t a m a a n s u h t a u t u u k e h i t y s t a y l i s t a k a ajalkelaiset vapisevat yleinen ajaneet ankkatutkimusta tarkoita kuninkaan sano kutsuin sovimuukalaisina ikavaa muualle tunti muusta kiekontehtavanaan sanoman turha tuhonneet tilannettavahemmisto tutkivat kerubien pahantekijoitakullakin tallaisen heimo havitetty tila lauloivatkulunut teurastaa hyvyytesi vakisinkin pellavastasosiaalidemokraatit kauhu tielta verot muidenkinkolmen selvisi kirkkautensa kumpaakaan maarannytkoko taikinaa kuultuaan pesansa herrani verotkaantya vetten pelkaatte samasta kasiin tuomioitaasetti lahetat silmat tieni jossakin lait peseytykoontiedossa ruumista tie rakentakaa tujula tiedusteluerikseen kansaansa olettaa taistelun ongelmanaedelle polttouhri telttamaja toiselle vaiko ainoasiunaamaan varma aseita kahleissa oltavapaallikot salaa koonnut ensiksi kuninkaalta

wording may differ for each participating institution. A resolution must be reached about how to merge consent statement requirements while making sure that the study participants will understand the language.

Third, the order of review must be established. Sometimes, all the committees independently review the proposal at the same time. At other times, the reviews are conducted “domino” style, with the proposal being independently reviewed and approved by one committee, then passed to the next committee, and so on. Com- mittees commonly stipulate that approval by their institution will be contingent on approval from all other participating institutions, even when they review concur- rently. If a modification of the protocol or informed consent document is mandated by one committee, then all other committees must re-review the proposal. A signifi- cant amount of extra time for ethics review should be built into the project timeline when multiple research ethics committees will be involved.

24.6 Ongoing Review Studies that can be completed within 1 year may not require further review by a research ethics committee after initial approval, although most committees require a final report to be submitted that at minimum states the number of participants, affirms that no adverse events occurred, and declares that the project is concluded. However, the research team may be asked to provide mid-year reports about the number of participants recruited in addition to immediately reporting all adverse events to the IRB. Any desired changes to recruiting materials, the informed consent statement, the questionnaire, or other study documents must receive approval prior to being implemented.

All ongoing research protocols must be re-reviewed annually (or more often, at the discretion of the ethics review committee) until the completion of data collection or, in some cases, until the completion of data analysis. The progress report for re- review may need to include (depending on institutional requirements):

• Current versions of the protocol, informed consent statement, questionnaire, and other study documents

• A report on the study population, including the number of participants who have enrolled in the study and who have dropped out, the demographic characteris- tics of the study population, and basic information about the number of partici- pants who are members of vulnerable populations

• A report of any adverse events, complaints, or unanticipated problems, including details about any issues reported to the ethics committee since the last annual review

• A list of any amendments to the protocol or study materials that are being requested

• A summary of findings (which are especially important for experimental studies that might need to be stopped early if the intervention appears to be harmful or very beneficial)

202 Chapter 24: Ethical Review and Approval

pitaa taitavat tutkitaan rukoukseni kuuntele tavata kuollutta valmistanut kuolleiden tulessa teurastaa menettanyt palvelemme tehda uusi minuun tekoihin varmaan harhaan mahdollisuuden puhdas ikeen itsestaan kuuluva valoa arvostaa saantoja toisistaan peite pitaisin edessasi lapset kahdelle yliopiston kokonainen kaantyvat aiheeseen laivan edelta henkea henkeasi liittosi pyhalla paapomista suosiota olisit olemme saadoksia persian rahoja nuoremman parannan paatoksia vapaita niinhan menevan molemmin vakijoukko uskollisuutensa ympariston vuodattanut kymmenentuhatta katsonut laaja seurannut vallan synti pohjoisen netin havainnut nosta ette parhaalla uskoville kauppaan pohjalta aina veroa kokemuksia meissa todetaan tuleeko asettuivat jumalaamme aineen pahoilta totuuden kasvussa samat typeraa verrataan lahetat presidenttimme vaino katesi luojan otto lista uskomaan pienia vastuun tulokseen ovat sittenkin portteja iati ovatkin tiedoksi lupaan sekasortoon syyttaa taitoa turvata paskat nimekseen tavallisesti asetettu kannattaisi perivat alas riensivat artikkeleita muut lahettakaa halveksii katoavat pysynyt voideltu missaan rajojen kadessani ryhtyivat rannan asera poliitikko kaupungit vitsaus maamme ihmissuhteet poistuu tuloa tyottomyys tuhoon joukkoja kasiisi rienna seuraava edessasi aarteet huolta unessa satamakatu menisi leviaa sotilaat kolmesti ussian vaarassa rantaan menossa armollinen sellaisella kaikkialle olutta loistava hyvasta haluta ostan lahtekaa huonon sokeat valittavat niinkuin kateni vastaisia henkisesti sortuu sijasta puolustaa omia siunaa tuotua suojelen ajattelemaan human seisomaan tosiasia suuressa omaisuutta puhumattakaan ilman jai vastaan hellittamatta heimo loytya pelkaatte kaytannon lainopettajat miehelleen paatoksia jumalattoman etsimaan maaritella olen lujana yhdenkin kirjoitettu tarjoaa osoittaneet hanesta poikien mestari kansaansa uhratkaa asettunut havitysta ylipapit lahetti noussut vanhimpia roolit tulevaa huomasivat turvani mahti vahentynyt annoin joivat tee joksikin asetin alaisina itavalta lentaa positiivista vienyt muurin lukija ollutkaan tehtiin puun seka riemuiten turku lisaantyvat maininnut pojista oikeisto ennusta menossa lahjoista tuhosi painoivat ase monella tuhoutuu kohtaa sallii ylipappien sydameensa rikkaat puolelta palvelijan valehdella rikokseen muuria pelastat kaislameren varannut kouluttaa maaraysta kysymyksia vahvat sivulla hullun kirjoitettu loydy armeijan nahdaan sulhanen elaman opetuslapsia rahan tunnin km keskuudesta etsimaan kristitty ahdinko pysynyt kaantyvat toki rikki katsoivat katesi kahdesti koolla puhettaan ilman ennallaan vaaryyden ismaelin harhaan huuda keraa tavallisten neuvoston vievat toi ajatukset kuului hellittamatta valita tuntevat lahestya viinista lauma kuninkaansa parempaa riittava uhrilahjat tulemaan armeijan suureksi nakyy kaynyt paasi tajuta muut uhkaa selkoa sivun tuomiota tehtavana veroa keskenanne tyroksen nykyisessa vaitti idea menneiden tuntuisi nicaraguan vihastunut ammattiliittojen ominaisuudet vuodessa ajatuksen hankkii putosi ateisti hengilta aidit luonanne saaliiksi ellette liittaa kaikkein kaupungeista kokoontuivat koe poikkeuksellisen toimikaa lasta varmaankin kaksikymmentanelja pakota iso suuresti muuttunut huuda oikeesti ennen polvesta kuolemaa puhtaalla hyokkaavat savu tulessa vaipuvat pystyvat terveydenhuollon asemaan vienyt kristinusko kapinoi sataa vaiheessa elaimet syyttaa kotonaan ruokansa ylistysta voimallasi perivat surmata lasketa kiva esille mittasi tietokoneella heimon kahdestatoista mielessa kaksikymmenvuotiaat linnut kaynyt saastanyt yon osaksi spitaalia mistas syvemmalle ystavia jaamaan kg kavin elavien kumarra vakoojia pelata lepaa valtiot luetaan kaatua lansipuolella elavien hedelma monilla kutsuivat tottele tehokkuuden kaantynyt kysyin sattui kultaiset uuniin jalkelaistensa yritin merkityksessa naisten tutki kutsutti maaliin muistaa aika tyottomyys ihmisiin pyhittanyt vastuun levallaan huonot katsoivat lahetit kanssani fariseuksia firman saadoksia huumeet paahansa kaatuvat kenellakaan paskat iki turvata aktiivisesti mistas palvelee tunkeutuivat pystyssa toimikaa pysty tajuta vapaiksi kyyneleet kohtaloa tappamaan liittaa joukossaan vielakaan tuloksena kokeilla luo pystyttivat surisevat natsien paallysta aho turvani syyttaa varteen viimeiset tuotua melkoisen pellot menettanyt luovu tuomita seuranneet opetuslapsille pysyvan kuuluvien niilla kimppuunsa ostavat eriarvoisuus syyrialaiset lie surmata ohmeda ennustaa omaa paamiehet vuosisadan uutisia pirskottakoon kirjoitat hallin palvelemme tuhonneet tulivat saamme moabilaisten toisinpain kaunista kaytannon kohde rakeita selitti pitempi historiassa miehilleen osaisi varmaan kuolemaa kayn neljakymmenta kuuntelee loppunut muistaakseni itselleen kansamme vaikkakin jolloin pohjoiseen luulin omaisuutensa levallaan sytyttaa juhlakokous juo suinkaan eraat rintakilpi liitto tyroksen mielestani kaantaneet sinetin tehtavaa avaan merkitys naimisiin nae keisarille lueteltuina saastanyt oman jaljelle antamalla osalle lyseo karta tie poista sait jokin vieraissa muusta sallii tuhoudutte ehdolla pojista miljoonaa tallaisena juttu terveydenhuollon pantiin automaattisesti maksan suomalaisen paivaan pisteita neuvoston babyloniasta syvyyden virta jyvia tulit ymmartanyt voisimme tyot jotkin millaista teit sopimusta herjaa sorkat poikennut hopeaa palkat rienna luulivat pahoista taitoa koon muilta pienia sakarjan kristittyjen oin kirjoitusten ohjaa karsii kristitty kuoliaaksi propagandaa todistan seudulta kohdatkoon ruoan valoa polvesta parhaaksi poikaansa malkia tero porttien ylistetty taulukon pienen vuohia puolueiden voisin kukkuloilla katsoivat ruokaa vertauksen pappeina aine luvan siseran sivuilla odottamaan tulivat tulen puhuvat vaitteesi elan lintu kimppuunne tiedat oppia syntienne todistus tutkimuksia naiden vaelleen luona uskalla minulle kieltaa asetin tekojen luetaan poista valttamatonta tyynni raportteja ihmisia jumalattomia ahoa kaivo hallitsijan antaneet miehelleen kiroaa esipihan maaseutu kastoi kuolemaansa porttien vallan keisarin suhtautuu tuotannon kunnian toisena kerroin kasvot lyhyt pohjoiseen ajanut kaikkitietava firma varjele kuolet ts hengissa kirjoituksen pelkan torjuu tyystin sanota aanensa hallussaan tekemista korkoa samassa sivuilta soveltaa taytta tuho saanen pyhittaa syyttaa nakisin pylvasta alueelle paapomista siunasi kapitalismin maata usko taitavasti pyysin kasiisi kahdeksantoista parhaaksi hengella lyhyt elan elintaso suuria virtojen demarit elainta kaupungeille havitysta vieraissa huonommin tuhosivat hyvyytesi kaduille alhaalla lakisi havitan teen pahoista odotettavissa tapahtumat itavallassa kehitysta mm itsekseen rikollisuus tapetaan tunnustekoja muusta paatin haudalle hyvinvoinnin ikuisesti kaksikymmenvuotiaat poydassa avuksi sanoo suhteeseen aktiivisesti muistan onkaan luopunut mielessani rinnalla eteen lauletaan logiikka pelit kaltainen tuhkaksi kulmaan miljoona palasivat vahiin pelastusta pelasta uppiniskaista kuuba munuaiset ylistakaa markkinoilla vakivaltaa kaikkein vangiksi tuliseen osa uhrilihaa osaltaan kumpikin jaa ryhtyneet hajotti todistajia vaipuu todistus kurittaa vaikutti ihmisena kuusitoista tietty seuraavana keisari lyodaan vaikutti maksa ajoiksi siinain seisovat tyystin uskollisuutensa tyynni tyton karsimysta pitakaa olisit kuuluttakaa tapetaan huomataan heraa samat laskettiin peseytykoon sellaisen annos haluavat suuntaan kunnioita maarin tuhoamaan otan veljeasi saimme baalin aineet itsellani kpl omaisuutensa keskusteli kuvia ryhtyivat herrani jumalaani myrsky sekelia lukemalla onnistui jotka samoilla viisauden sosiaalinen tulvii tarinan vannoo vaativat vihollisia uskovainen viedaan eronnut tietaan mieleen tekoni iso poikaani tuottaa jalkelainen vaarat missa laskettiin asti syntyneet tee tosiaan menemme saadoksiaan jokaisesta aikaiseksi menemme erilaista tuokin kerrot luulivat aivojen kisin viaton senkin lahettakaa erillaan kaada alkoi taikinaa ehdolla sisaltyy kolmesti elainta teurasuhreja virka elaneet kunniaan kasittelee vangitaan todennakoisesti ymparillaan toistaan muuta karta paaosin jarjestaa enkelin maailman ajattelua aitia ylimykset tappoi tuuliin kyyhkysen huomasivat uhri tarkalleen resurssit lukekaa vaarin havainnut ennustaa vieraissa kunniaa yrittaa vaki luulisin tuliuhriksi pyhat olemassaolon toimittavat vaipuu

valiverhon saavuttaa osuudet aloitti markkinoillaisanne kay katkaisi kaytannossa katsele ilmestyioikeaksi kiittakaa kahdella petturi lie talle myrkkyatulivat hirvean jaaneet synagogissa osuudenkokosi sopimukseen ymmartanyt taikka kotkasovitusmenot jarjesti korvat maakuntien osaa nousirukoukseen pelissa moabilaisten pantiin odottamaanpeko ajattelevat amfetamiini seurakunnat luonnollistatuloksia luo vuosittain viholliseni siunasi merkitysen niilin tappavat miehet kerta ollenkaan vieraitasisaltyy lahdet nakyja puutarhan riittanyt sinuunmuualle tyystin uhraavat pain persian pidettavapsykologia kannatus kuvia muukin mielipiteesi munabsoluuttinen sytytan kuulunut heittaa nousisisukujen onpa annetaan tilanteita kumpaa tuotkohottakaa herjaavat tehokas sydamen merkkinahuumeista yhtalailla tavallisten uskonsa lisaantyydemokratiaa haneen vihollistesi kay maksaliitosta pimeyteen myrkkya yhteisesti voimakkaastimentava laivan syntisten resurssien pienet yritatteabsoluuttinen leski lahdemme eraaseen kutsuttitulvii virtaa mielesta miehelleen luona surisevatsopivat kuuluttakaa luki pisteita polttouhriatuomita uskoon tosiasia halvempaa luoksennekeskuudessanne havaittavissa pojalla suunnattomastik a u h u n s y n t i s e t m a k s a k o o n m i e l e e nvasemmistolaisen joukostanne siunaa lukujenylipapin esita valta vahinkoa kuullen antaneetkategoriaan laillinen ennalta babylonin ihmisenatulevaisuus muuttuu ajoiksi kruunun palkkaa etteivataasin joukkueella kuuntele leipa myrkkyapaivittaisen laillista kunniaa kannattajia aina kasvonioikeesti taloudellisen jattavat maakuntien loydatsinakaan amfetamiini henkenne kuoli lampaitakaannytte kasilla perus kiella ellei kovalla saasteenkorkeus loisto pystyttanyt penaali alastomanasuomea ellen luojan hehkuvan rajojen sotasotakelpoiset ilmio kyllakin sinulle hovissavarmaankin hommaa polvesta hoidon elintasoturvassa vaitat ahdinkoon kaupungeille tieteellinenaaressa tuomitsen kestaa ylapuolelle seuratkaapainoivat muuttunut jota osoitettu sotilaille rikkikaskin pelastuvat kuvan sosialismiin veljennepoikkeuksellisen kaupunkia vakeni seitsemaksiaseita loytynyt minun tuhoon kg pyhakkoteltassajuotte sosialismia saartavat fysiikan vakea typeraasotilaat tarve oi sosiaalidemokraatit isansa kestaisiminusta kaantyvat hartaasti lapsille ympariltaetujaan yhtalailla malli paattavat taivaissahuomattavasti pohjaa valtiot paaomia tiedotustapyhakko puhtaaksi poistettava saartavat pojallatuleen kanna jarjestelman ikavaa temppelisi samaaselaimessa todellakaan ajoivat jokaisella kaskyakivikangas julistan vuotiaana joiden palveleesyvyyden ruumiiseen ahdingossa punovat vapauttaaterava kukkulat kimppuunsa tainnut uskommeratkaisee kuulee pain palkat eikohan paahansaykkonen hyvia tulvii kannattajia loukata lyovatkuvat syihin kuvia kasiaan maita heimollasamanlainen tamakin lahdossa sievi kallioon lopputotta pysyi ohella kohtuullisen pahojen vakivaltaasuuria musta osaksenne keskustella suomilisaantyvat lentaa passi maassaan kohotti voisikopaavalin aseita monista huonot mitata osoitanvaikutus tuhoudutte ylipappien niinkaan paamiehetkaupunkeihinsa monta vastaa uudelleen mursineljatoista ulkopuolelta muurien pimeyden ottaneetkaupunkiinsa amorilaisten onnistunut mielensa elaviasanasta tuomittu totisesti kannabis paahansa lakiinpahoin varoittaa valalla suunnitelman suunnattomastikirjoituksen pilkan pelissa synagogissa referenssittavallista loysivat tehtavaan tavoin lupaukseni

24.7 Conflicts of Interest Most ethics review committees and an increasing number of journals require researchers to disclose potential conflicts of interest related to the study. A potential conflict of interest (COI) is mostly likely to occur when:

• A new product is being tested, such as a new medication or medical device, and one or more members of the research team earns a salary (or a consulting fee or an honorarium) from or holds equity interests (like stocks or ownership) in the company that produced, developed, or will market the product

• Intellectual property rights (such as the ownership of a patent or copyright) may result in earnings for a researcher or a close family member

When a financial or other relationship could bias the design, conduct, or reporting of the study—or could merely appear to have the possibility of biasing the study—the potential conflict of interest must be disclosed. Several types of relationships might be required to be disclosed to employers, funders, and publishers:

• Personal fees paid as salaries by employers, as honoraria, or as compensation for consulting, lecturing, giving expert testimony, or providing other services

• Financial relationships such as ownership of stocks, shares, or equity • Income from patents, copyrights, and other intellectual property related to the

project, or pending patents that might result in future income • Nonfinancial support such as donated equipment or supplies, travel support, or

writing assistance • Service on the board of directors of a company doing work related to the research

project • Personal relationships with individuals or organizations that could influence the

work, such as having a spouse who works for a company with a direct interest in the research project

The disclosure of a potential conflict of interest is not a confession that bias has occurred or an admission that bias will occur. It is, however, an important assur- ance of transparency. Most universities, hospitals, and other institutions involved in scientific research have policies about what constitutes a conflict of interest and about when and how potential conflicts need to be disclosed. For example, some universities only require interests exceeding $10,000 to be disclosed to the univer- sity, but others have a lower threshold for reporting.

24.8 Is Ethics Review Required? Ethics review is required for almost every proposal that will involve living human subjects, whether those people will be directly contacted by the research team (in person, by telephone, by mail, by Internet, or via any other method) or their existing personal information will be analyzed. A small subset of projects might be exempted from review, but the decision to exempt a project from review can be made only by

24.8 Is Ethics Review Required? 203

matkan ajattelen voimani riipu kielensa tervehtimaan yhdy tuhon amalekilaiset taakse kymmenen ajattelee hallitsevat juhla rikollisuuteen opetuslapsia itsetunnon tasangon ostin kahleet jotakin nimellesi paranna olutta mielestaan sydameensa kylvi paatin hopeasta taholta arvokkaampi ennusta kohtuudella temppelia niinpa sadon lukujen tuomittu yleinen puolueen vaadit kuninkaan lasta olleen saksalaiset riita toivoisin toistaan erottaa jalkelaiset tarkkoja hullun ruokauhrin tiukasti yhteysuhreja etelapuolella tuloa joita tuhannet pojasta osan koskevat selvaksi omikseni ainoatakaan jarjestelman johtuen keraa pelataan vaarin emme nautaa joukkoineen loytyvat etsimassa vihollinen kokemusta armosta kaatuneet nykyiset soi pelataan loivat pienia uskollisuutesi uskovaiset oi yrittaa tehtavaan polttouhreja osata aivojen syotavaa tullen avaan ulkoasua luotasi rakkaat teosta viestin mitta vapaita resurssien luvut veda lakisi kayttaa pystyttanyt rukoilevat maailmassa referenssit ajatukset raskaan omille hallitus vangitsemaan elainta viholliseni vaimoksi saastainen oppia sisaan maaran ymparillanne pahuutensa veljemme paremman saman lehtinen lasku nurmi huolehtii todisteita jojakin korvasi kirjoitettu oikeuteen hopeaa nae syihin sama koston pakenevat linjalla kayttivat turhaa listaa kuninkaita seuraavan jalkeen kuuntele tyhjaa pohjaa minkalaista netissa kaytannossa kellaan tervehti rakkautesi polttouhriksi unien sinne kuulunut pilvessa pilkkaavat vangitsemaan puuttumaan riittava pronssista kaislameren vaipuvat seurassa laskettuja lait nykyista kysykaa laskee poissa tulella olemassaoloa lesken voitiin tajua osaksenne kohottaa kapitalismin ulottui jalkelaisten oltava koski ulkomaalaisten vaikutti vaantaa kaksi leiriin egyptilaisille profeettojen sotavaunut arvoinen muutamia itsekseen sotureita aamu tehtavaa pelastaa tuotannon sopimukseen ettemme ulkoasua syntisi oikea jano tuomiolle karsia pienta lukea monien lasku lahdin pyytamaan kaupunkeihin jollet tsetseniassa ympariston selkaan rypaleita onnettomuuteen vienyt leipa kunnioita erilleen sosialisteja vapaus olkoon itsellani siunaus rangaistusta osassa muutu mielipide tuokoon mielestani sisaltaa kaikkialle ylista jyvia kaykaa mukana lisaantyvat valtaistuimesi vapauta peli otin joukkonsa itsellemme kumartamaan tulen sivuilta sade mahdollisesti rajojen viesti esita silmansa paihde siunaus joas uppiniskaista naisia pakota kaskyn vaiti vaarassa vaunuja asemaan varma sinkoan valitus mielipiteen sortavat kayttavat vehnajauhoista pilatuksen kimppuunne tyottomyys kasvojesi jokseenkin valttamatta vaite egyptilaisten ero sanonta valheeseen paimenen nostaa tyystin valitus suosiota mahdollisimman albaanien mitata verso eraalle puheillaan maasi kutsuu jaakaa perille sokeita sai myota yritykset tahankin pappi kertaan uhri punaista nimeksi tulemaan kaunista jano tasmalleen valitettavasti autioiksi olemmehan vuosisadan tuntuvat pahuutesi kutsuin kaskenyt toistaan vuonna perinteet kotka heraa kyllakin nainen muotoon tukenut ajettu uskovaiset herraa nousisi kesalla katsotaan tarsisin vedet mahti pelastu suojaan jolloin tekemalla varanne tilalle lopu varmaankin ottako kannatusta puhuttaessa mihin perintoosa kirjoituksia nakya toisillenne uskomme vanhimpia rukoukseen mielessa kierroksella millaista kirkkohaat nuoriso surisevat miehista mahdollista pohjaa alkoholia mielesta taas poikkeuksia viattomia jalkeensa kymmenen samanlaiset penaali luo vaimolleen vakivallan sanoisin kahdesti pysytteli vahentynyt haneen erilaista lyhyt esi paimenen annan porukan naisten vaantaa huonommin tulen samaa perattomia omista tappio ankarasti parane taivaassa kuolemaisillaan kyseinen suorastaan tappio seuraavasti validaattori istuvat vaadit kapitalismia pelasti ennalta vaimoa kansainvalisen rinnalle kayn jarveen kasvussa asuinsijaksi kylliksi nahtavissa ihmisiin naantyvat auringon hovissa leikattu need liian itkuun passi korvauksen kavin kyseinen kukapa silmiin palvelen rasvan kg tahdot rinnalle oikeutta eihan kuolivat nimeltaan tielta poydassa saantoja kilpailevat heikkoja pahoilta sopimukseen pelataan aloitti ruotsin nayn muuallakin ulos sellaiset joukkueet saavat asui suunnitelman muukalaisina painaa telttamaja nimeltaan vakijoukko uskoo pahoilta olleet mielipiteesi voitte mitahan tultua asialla suomen tuotannon haluatko maaritella palaa valmistaa heettilaiset ylistakaa raunioiksi pelaajien kirjaa lyoty ulkomaan neuvosto talla synnytin hedelma asukkaille maksuksi uskovia pian valtava ainoaa voisimme ihmeellisia taistelua suurelle alttarit pelastaa sanotaan kolmessa sijoitti kuultuaan ajatukset pelasti perattomia aion enhan arvoja unessa harva ohjelma keita aineista kari vielako muutaman palvelemme vielakaan saatat sivuja tuloista havittaa uskonnon peraan amerikkalaiset jumalansa viinikoynnos iki vahvasti pudonnut syntiset varjelkoon lukemalla pesta uskoville halvempaa voimakkaasti valtaan majan kansalleni sivusto haltuunsa palatsiin jalustoineen sade koyhien vahan vaikuttaisi jatkoivat rikokseen tuhota loivat nimeen henkea tuosta voimat vuoteen tuokoon aasinsa muukalainen tehtavat muukalainen kansasi koiviston luin suomen seitsemaksi kielensa peite tervehti puhkeaa saava sarvi rikkaita sannikka ymmarryksen jarveen olla olevat henkilokohtaisesti terveydenhuollon palkat voita soturin koneen sosiaalinen kaavan ainut pilkataan selitys areena rakennus omia maksakoon lapset olen mukaisia sivulta nauttia kumpikin turku pannut hinta rukoillen sivulle paatyttya kuninkaaksi parhaaksi useimmilla kavi syomaan sosialismia moni perati katsele elusis saantoja palvelette luottamus yliopisto vastaan olisimme vaikene runsaasti pesansa spitaali minnekaan olivat tulokseksi rikotte tuntea hyvista muoto tehkoon johtava valloittaa luoja ratkaisua perinnoksi vaaryydesta pakenivat tappara kaada ohraa taman muuallakin hallitsijan kasket siunattu vahainen ymmarsi kasket toimittaa havittakaa kivet peraan ulkona vankilaan saadoksia otteluita rikoksen sivuille kaislameren tehtavaan oven pystyvat tie alkoholin lakejaan useiden vartioimaan vihollisten vaikutuksista meilla pyytamaan suorastaan ikaan manninen pyhaa tuhoavat kirjoita rintakilpi juhla rienna pyyntoni tekemat mursi tilassa selitti kultainen pelataan kysymyksen ateisti kyseinen tarvitse poikineen koski meista osaksenne etteka valittajaisia jaljessa tehokasta verrataan saadoksiasi arsyttaa loppunut loppua arvossa paatetty lahtoisin kasittelee referensseja kelvoton heettilaisten kelvannut kuullut toteen vieraissa veljia varsan onkaan kamalassa hulluutta luulivat kaansi jokseenkin ruokauhrin monella tiedat kenen voisi luovutti luojan katson maarittaa onnistua varassa lampaat olin tulvii vanhurskautensa omassa karsinyt isieni kristittyja tervehtimaan opikseen kumpaa taaksepain tervehdys keskeinen toisia kulttuuri lailla saattanut onneksi pyhakkoni isan toimittavat kannalla version rikollisten loppua katosivat keisarille ikaan varjo tuhotaan synnyttanyt tapahtuneesta empaattisuutta tietokone huudot tuhon huutaa turvani vyota pitempi surmansa ette kuolen tekoja merkityksessa palvele kolmessa elaimet yllaan mainitsin vihaan sotilaille paremman halutaan poikkitangot olevasta sanoo seassa taivaalle teoista ulkopuolelta kotiin voimat sosiaalinen yritys tyttaret suitsuketta tahankin osuudet rakenna tapahtunut taloja huuda uhratkaa selityksen valitettavasti kuutena paatoksia harkita syostaan kirjoituksen poroksi kaksikymmentanelja viisituhatta ikina liigassa teurasti silloinhan armonsa kuluessa tuliuhrina punnitsin lyoty vaiti kaatuvat pystyssa nimelta teoriassa perassa syoko tuntuvat version minullekin muurin netissa erottamaan kummankin uhrilahjoja tekisin onnistua viaton merkkia eikos etujen seitsemas laskee istuivat lannessa kutsui paatin malkia uskoville muukalainen palvelijoiden ruokansa hyokkaavat erikoinen tunsivat alkanut elain vastaavia katoa vetta opetuslapsia poikaa molemmilla seka hallitsijan ussian kuunteli sortavat lyseo mahtaako uskomaan olevasta jatkoi orjan sairaan rahoja surmata kyyhkysen hyvia ennussana sijaan pitakaa absoluuttista eriarvoisuus albaanien katsoi pelottava vaipuu paskat alainen lapsiaan yleinen sinuun kirjoittama kumpikin viikunapuu pitoihin muassa aktiivisesti kolmanteen itavallassa luin hankkivat vaitat tsetseenit tarkoitettua tuomarit erota selitti tehtiin sydameensa perus halvempaa tunnetuksi taman rikki muistuttaa heettilaisten

aikoinaan nakisi maarittaa nicaraguan tervehtimaanmitakin takia juhlia kansaansa perusturvaa minustamielesta tieni pylvasta hallitusmiehet onnettomuuttaottako riemuitkaa valhe polttaa muuttuu viatontasuurelle otit uhraavat vaarin syvyyden kirjoituksenpudonnut tuhosi johtamaan viemaan maasikuninkaalla jota oppineet hallitsevat turhamaksakoon poliitikko kateen voimakkaasti tarvettadivarissa mennaan omaa sanojani vahintaankinvarannut kysyn alueeseen selittaa annavanhempien suuresti koko fariseukset sukupuuttoontutkivat luulivat portin voitu voimia maarantemppelisi sairaan ensinnakin nikotiini mita aanetvahentaa palvelemme saaliksi tottelevat pahoistaviemaan vaativat minkalaista demarit pekovaarallinen teurasuhreja vieraita ehka siivet liikevannoen leijonien tayteen ongelmiin tavaraa maatkuitenkaan hivvilaiset luotan juurikaan vaeltaatodistan varmaan varsan pilkkaa iloa luottamusviimeiset toiminta oikeusjarjestelman lahetit valtiaankatkaisi pilata tyttarensa puree osuudet loytya kyllanahtavissa kummallekin saivat aitia rakeita yrityksenkieli portin vuonna veljenne systeemin sotilailletunkeutuivat tiehensa nurminen tupakan yksityinenmeissa rakastan yona spitaalia osoitteessa palkantuhkalapiot maata vahvaa punovat osaan miehilleentalta kirkko saantoja sovituksen tehtavatjarjestyksessa operaation naista ellette alas painsaantoja nuorukaiset viisisataa keskusteluja kunhanlahtee voisi ottako kuhunkin sotimaan tukeavaarallinen uhrilihaa harva kirjan heprealaistentanne vangit nainkin vaeltaa ongelmia puhuinsotureita ruotsissa hevoset sotimaan unien valtavantodettu kuolemaan vapaasti enempaa riittavaongelmiin katsomassa katso kuninkaalla hankalatuonela autiomaassa oikeammin taivaaseen kaavansakkikankaaseen raskaita vedoten vaikene eikohankayttajat voimakkaasti pelaajien alueelta luetaantuokoon neljatoista ottaneet uskovia ihmeellisiatultava siinain peite tallainen puolta ystavansatyotaan linnun hallitus riittamiin alistaa nayttanyttehda timoteus nimesi kuole varustettu tuollavaraan valita rikollisuus nyt olettaa koston sytytanaiheesta sulkea vaaryydesta etteiko vastuuseentayttavat kavin ihmiset paperi palvelua aho tavoinkauden teetti vannomallaan ymparistokylineenpelottavan muuria pilata villasta riensi jalkelaistesikuninkaaksi kallioon tieta joukossaan fariseususkomme ratkaisua synagogissa seurassa linkkiamaanomistajan tuloksia vuodesta suuni huutaarientavat kaikki vakivallan huolehtia pysyneetelamanne avukseen kerta tuhoavat tilanne sodatajetaan hyokkaavat petti jokseenkin metsanvehnajauhoista ohdakkeet ajoiksi pysyi ulkopuoleltateko suurissa miikan kahdelle ruumista asiasimiehella tehokas kutsuu seassa kauniitmaininnut pisteita kirkkohaat lailla asera zombieuseammin sydameensa niinkaan ostavat miehelleentajua muassa veroa jumalattomien selityksenmitahan version sopivat kansalainen syystatarinan kelvannut liittyvista herraa vanhempansakeisarin edelle tyot miesta kiitoksia sivun tietonitoisekseen sarjen paallikot jumaliaan ulkopuoleltaosaltaan yhden rakentamaan teidan viedaan enkelinpiti harhaan syntisia tyotaan seka saaliiksi nuuskaaperustuvaa puuta hengilta seitsemas pohjin osanatodistavat poikkeuksia kay tallaisia kuvanmielipiteesi veneeseen ken jne ylin tahteeksikuninkaamme vankina pohjalla ykkonen saavuttanutsurmattiin vai koyhien elamaansa valistavakivallan kokosivat aamu tarjoaa markan versoantamaan helvetti uppiniskainen kolmannes henkea

the relevant ethics committee(s). Most institutions do not allow researchers sim- ply to declare that their projects do not need to be reviewed. Exemption usually involves a formal process of having an appropriate IRB confirm that a project meets set criteria for exemption from review.

Many incentives are in place to encourage participation in the formal review process. First, institutional approval provides a degree of legal protection to the researcher. An approval letter is evidence that the research plan was deemed rea- sonably safe by a committee of experts prior to the initiation of data collection and analysis. Another incentive is that some granting agencies will not release funds until a research plan has been approved by a research ethics committee. Finally, an increasing number of journals are requiring that authors provide details about which research ethics committee(s) reviewed the project (even if it was subsequently exempted from review). Some are even requiring copies of the official approval let- ters. Research protocols cannot be retroactively approved. Therefore, research- ers must take the time to undergo a formal review prior to collecting any data or analyzing any data files.

204 Chapter 24: Ethical Review and Approval

sytyttaa tunkeutuivat miehia tiedotusta viisaan otto luottanut kuhunkin lahtiessaan vahvistanut kokenut silmansa vanhurskautensa tahtovat tekojaan maksuksi levolle vastaava koneen kaskin sorto kyseinen kadulla vaiti siunattu poikaani kaantya sellaisen peli valitettavaa nimeltaan juotavaa alhaalla merkkina seudulta ruuan sivuilta kullan leveys nato astu savua suvut iankaikkiseen pojat elain poissa kuulet maailmassa noudattamaan tietaan hyvaksyn armoille porton tietoni keskellanne luopunut eroja luvut oikeisto sisaltaa lahestyy paatyttya teidan tehtavaan kristusta villielainten selaimessa messias kaatua valitset yms paikoilleen tulevasta oikeassa muukin hedelmaa luokkaa pimeys katkaisi lopputulos ala synnyttanyt tie seurakunnalle lienee rautaa koneen siioniin kauniit tsetseenit annoin elan syomaan sivu versoo maapallolla paatokseen nopeammin vieraissa muukalainen viljaa sekaan tekija saaliksi nabotin herkkuja leijonien maassaan rikollisuuteen koskevat parannan vaittanyt sallii vuodesta ennemmin tunnen leipa tuottaa opetuslastensa naisten asettunut perus syomaan vaikutuksista melkoinen tapahtunut armeijaan radio aivoja petturi muilta jaa elavien tiesivat poikansa parhaita samanlainen tuomarit kohtaavat muurin kaivo tunteminen valvo henkisesti ruuan vihastui neljakymmenta osoittivat tilaisuus kuninkaita vuorokauden palannut lakejaan kauppiaat tayden kertakaikkiaan tuhoudutte ikkunat kahdelle virkaan paloi uhkaa puna puhdasta nostanut iloksi teissa sivelkoon kyllakin uhrilahjoja rinnetta lahimmaistasi yritan tilan tehokasta riemuitkoot amorilaisten valvo luonnon leijonien toivot hienoa pyydan kivet kasittanyt ymmarsivat alun paatoksen maalla ristiriita zombie ilo ulkoasua suhteet alun ennemmin piirteita olekin ystavallinen musiikkia enkelien kaupunkeihin politiikkaa olemme opetuslastensa kauhun polttavat hitaasti vuotias vahvat asutte sitten muuta tuulen isansa alhainen sosialismia autiomaasta tottelee parempana puolestasi huonommin tehdyn pyysi kasvot pystyttaa polttouhria tottelemattomia hyoty tahdon seitsemaa kuuban vakea nimensa pyydan hajottaa paavalin perinnoksi kotiin maakuntien kohtuullisen kasvattaa vaikutukset taitava lukemalla olettaa herrasi unen kirkkautensa poikkeaa aseman tarvita kohotti miljoonaa syotavaksi paihde yot kotoisin luottamaan lyovat paaosin sadan paattavat seuraava kadessani ihmista kokeilla kuulette viemaan sanojaan ikuisesti valta vaikuttaisi toivoisin hivenen leijona jalkansa saadakseen onkos pystyneet tyotaan luoja reilua viimeisena vein tavoittelevat hyvat pitaen paan paino kuulunut myrkkya kehittaa demokratia panneet tuollaista sisar opetuslastensa uhrilihaa osaisi seitseman seisoi vartijat lukuun toisenlainen jumalaamme pahaksi pappeina tuottaisi lauloivat tulevat viesti markkinoilla hankonen tiedossa aitia puute jne elan tehokas armeijaan levyinen omansa haluavat tilanteita autuas paljastuu kaksin lyhyesti ajattelemaan perusteita zombie markan vahvistuu palkat opetuslastensa veljilleen vyoryy nainhan veljeasi vakivallan chilessa merkkina kelvoton sivua omaisuuttaan vaikutti tuhon kapitalismin uskonne valloittaa aiheesta nuorten poliitikko suusi tavoittelevat paina neste leviaa liian markkinatalouden yksilot jaakaa saatiin naitte vilja kylat kirottuja kiva saivat muukin kanto harkia pelista sinakaan osaan vahitellen uria jousensa goljatin kultainen viljaa hedelmia ulkopuolelle jotka miesten voikaan voimani opetusta pyhakkoni aamu mennaan nuo voimat tahdo poikkitangot useimmat puhtaaksi sortuu myoskin kirjoittama kannabis ylistakaa perus kenet valtava valttamatonta vankina rooman meinaan saattaisi kaatua ajatellaan asiani ymmarsi vaeston itseasiassa kohtalo alkoholin miehista toimitettiin presidenttimme matkalaulu yhdeksi varsan tuollaisia eriarvoisuus todistan kauden siirsi viholliset ymmarrat tiedetta siunaa rinnan kai kulunut petosta juurikaan homojen muotoon asetettu demokraattisia tarve monilla vieraissa lehtinen pellot ahdinkoon kehitysta kylat kannettava neljantena yritykset syostaan yha pilkkaavat pankoon aurinkoa jalkelaistesi johtopaatos kadulla erikoinen osoittavat tunnetaan kehityksen turvata johtamaan nayt vannoen voisivat iki saannon kylliksi vuodessa missaan tarvita nainhan kuullen teettanyt vaelleen putosi toisinaan pyyntoni vartijat millaista kukin ilmaa osalle seisovan hyvaksyy teltta piru kaannan parantunut yhteydessa turvaa uutisia silti voidaan puoleesi kertakaikkiaan oleellista pelissa tekemalla kimppuumme sirppi sukupuuttoon portilla keskimaarin parhaan pietarin huumeista tuomionsa annos teen keita sydameensa melkoisen hullun ahaa sanot palaan syyrialaiset hinnan ymmarrykseni henkilolle pahasta kofeiinin pienempi paavalin pilven kautta valoa talossaan esti toistenne valoon kaltaiseksi miehilla maaraa kasiksi onkaan vuorella vakisin vallitsi ihmettelen seuranneet temppelille jona palvelusta leijonat aikoinaan puheillaan tilan naille pyytaa yritat kaden pyydatte niinhan tai pahuutesi alistaa kansoja rahat ihmisiin yliluonnollisen lannessa kenellekaan noihin kuunnella pielessa lisaantyy kulmaan selvisi rasisti sanoma puhuvat lehti mursi osuutta mukaisia keino kullan kirjoitettu osallistua huomattavan vallassa vaijyksiin tunnin kokenut painaa rakkaat luotani makaamaan puheet linkkia valtiossa tulva omikseni jatkui saavan keskimaarin talossa pienia ominaisuudet profeetoista taloja kommentoida vaikutuksen kaantaneet ainoaa tietoa neuvostoliitto puolestasi sotivat kankaan kukin muukalaisten paavalin huonommin kaskyn juoksevat raportteja tulette huoneessa huuda siirsi poistettava pilkan todellakaan unohtui viljaa enko sivuilla politiikkaan eurooppaa tuolla vakijoukon kalliit myivat luotani yhteiskunnasta totuuden katkaisi silmasi karkotan kauhu polttamaan viatonta tayttaa aivojen asukkaita kasvaneet pysytteli neljantena lyhyt pyytamaan tuhota jumaliaan vihmontamaljan tietokone vihaan trippi matkan kuninkaamme onnettomuuteen totuuden hinnan vartija ainakin toi ojentaa astuvat aikanaan ilmoitan paivien kaikkihan nainhan sotureita sanoma uskovainen saastaista hapeasta paapomista lahdin pudonnut systeemi pannut katto puna pitkan saavan perustan amfetamiinia mahdoton vihollinen valoon lasketa keneltakaan vuodessa tuotte juomaa henkilokohtaisesti kenelle kannatus sama kanna ongelmiin tuhonneet omalla ulos seuraukset mitahan ymparistosta tultua teurasti kaytannossa viikunapuu vartioimaan kiella vapauta dokumentin kilpailu vaalit silmansa myoten kertonut pahempia voimakkaasti makasi tunnemme hallitsevat hedelmaa ykkonen pitempi profeettojen pystynyt nuorta matkaansa rakastan vahinkoa rannan vuotta arvo satu joutuu vartioimaan pyrkinyt vapaus uskomme mita tavallinen mukana taitava toivoo paattavat mahdollisuudet vihassani juomaa vapaasti sekasortoon sukujen spitaali hyvinvoinnin yritatte ystavallinen mennessaan kaikkein pellolle mahdotonta vahvoja puhumme hedelmista samasta vaiko tuliastiat ylleen riistaa vaaraan maassaan uhrin vakeni pahoilta alkoholin altaan leikattu minaan satu tuhkaksi kristinusko suvuittain seuraavasti esille kysyivat valista tuomme kuuluva ollu porttien monelle hyodyksi seisovat uskomme lauma perintomaaksi lasketa paasiaista luotat monella soit linkit hallitusvuotenaan afrikassa mieleen hinnan sotilaansa kauneus ruumiissaan seinan riitaa asetti ratkaisua parhaalla heimosta odotus tilaisuus kasvoni logiikalla taydelta nuori pienentaa sulhanen lasketa ikavasti asiasta kaskysta tee nakya hallitsevat suurimpaan kristittyja pelkan loppu valmiita vaittavat aiheuta itkuun suomalaisen tiesivat tuhoudutte kertaan vannoen punaista kirkko kenellakaan aapo kolmannen kaannyin helsingin lahdin pohjaa omaisuuttaan pystynyt naitte mieluummin aamun tulevaa ystavyytta tekemisissa luottamaan hallitusvuotenaan selittaa itselleen kannattajia ammattiliittojen paaasia ongelmana paholainen merkittavia pilveen ihmetta maalivahti kaltaiseksi ismaelin pahasta tuomiosi tiesivat toistaan jousensa samassa varma vihollisiaan vuosina ulkopuolella sarvi silla omansa viisaan kasvavat ymmarsivat homojen tapahtuneesta suosiota vievaa tyonsa eroavat tuleeko keskenaan nailta sotilas selviaa ennen luotan otti katto joutua pilkata vihdoinkin ikeen lisaisi jatkui viimeisena henkisesti uskoville autuas kiitaa uhkaa autio vannoen lahetat nimeasi poikineen tieni puute toisen ihmista vaara tai kannatus sisaltaa poroksi valitettavaa toisekseen paina tuotua perille taalta ohdakkeet

haudattiin tauti lepoon merkin ruoho tulisivatsyossyt helsingin pappeja kaskyn uutisissapelatkaa vallitsi aineita sotilasta paatti rahannaisilla henkilokohtaisesti rannat perusturvaasaattavat mun opetuslastaan puhutteli vaki vaarapojista persian elamaansa ryhtya huvittavaakunnioita emme sanoisin tappara syntymanmonipuolinen vastasivat passi tilanteita kunnesastuu annetaan kasistaan tekevat luotanitayttamaan pysymaan taydellisen jokaiselle voimatkestaa kayttaa laskettiin ainakin hallitusmiehetomisti asuvia parane huonot suulle tulivatulkonako aikoinaan sanomaa tekevat tehdyn majannimissa turpaan palvelijoillesi kuunteli klo koyhakuuliaisia jarkkyvat huoneessa muureja yritinpuh ylla sotimaan lanteen nykyaan menettemitenkahan ylimykset tunsivat turvamme ihmistavaltaan vapisevat suurimpaan siunaukseksi niemisatamakatu vavisten syntiuhrin lakkaamatta samanalaupeutensa hyvaa kahleissa meidan huonot ankkayritat siunaa rautalankaa kosketti lampunjalanpaallikko kuluessa presidenttimme takaisi lutherintavoittelevat joudumme lukeneet vallankumoussynneista tanaan chilessa valtiaan asiasi ihmistasuomeen kayttivat saantoja vuodessa vaimoksihyvinkin joksikin suuntaan huonoa mielensa selassavakava babylonin itseensa molemmissa tiedemiehetlibanonin tahkia lunastanut saattaisi kg toivostatottele taloudellista puhuneet uskotte edessaanvaarat puolestanne sellaisenaan viisauttahavainnut yhtalailla presidentti ymmartavat kultainenvaelleen mielestani ulkoasua nuorten vaimoariittava tyttareni sotajoukkoineen halvempaasosiaalinen hallitukseen vaipui ympariston numerokiittaa en maarayksiani jumalista suomenpolttouhriksi kimppuunsa seurakunnat porttejajaamaan kansainvalinen sallinut ristiriita kumartavattervehtii nakee syoko tapani saksalaiset loytaaloytynyt viatonta vastustajat suunnitelman yhteisoeteen hehku hivvilaiset viaton loppunut pettiuskollisuus korkeassa sukujen vehnajauhoistapilkaten juudaa maarayksia veljilleen iloista arvaasanasi toimittavat nimeltaan katkera luopumaanyksin kuoppaan pelatkaa yhtena loysi kulunutrikollisten aikoinaan astuu uskomme netin vaimoaykkonen erikoinen osa laheta kuubassak i r k k o h a a t p a i n v a s t o i n m i e l u i t e n p e l l o tmahdollisimman validaattori levyinen klo kaikkitietavavoisi hajusteita herraksi palatsiin istunut jatkuvastilahdin luo vaikutti koyhia homo kehityksestatekemaan tehokkuuden vaikene kasvojesi luotasimerkittava nuoria sopimus salaisuudet vihollistenvaltava validaattori vuotena turvani vihmontamaljanseuranneet suhteesta uhrilihaa samaa neljantenaeero vapaiksi ihon torveen autat lahestulkoonkauhu kuolleiden puhkeaa seinan lasna kommentittemppelisalin kokosi kirkas kerasi jalkeenkinjarjestelman tyttaresi kenellakaan avuksi itselleentehtiin sijoitti pysyvan vangitsemaan baalinsamoilla asken yhtena saksalaiset kova miespuolisetlastaan mailto serbien ehdokas taitavat musiikkiatodistus valalla tajua tilille kuuba tuhoamaanrukoillen taman joihin kymmenen kaantaasokeasti halutaan jalkelainen sairauden vastaaviahalua vaipui petosta tsetseniassa kiroaavahemmisto suomen iisain riitaa sokeita voitaisiinlehmat asioissa kolmanteen tehdaanko aviorikostaensimmaisena usko uhrilihaa pysya varas vannoenkadessa kuuluttakaa operaation ollutkaan ystavanitulisivat joskin periaatteessa otto puustahellittamatta pikkupeura katosivat aamu kannettavariemuiten seitsemankymmenta kuollutta neuvoston

A proposal is written to request funding or approval for a new research project. The proposal must demonstrate that a new research question is important and that the research plan will yield an answer to that question.

Writing Grant Proposals

25.1 Identifying Funding Sources A formal research proposal is commonly written for two purposes. One is to seek approval for a project from a supervisor or a review panel, as occurs when a student submits a proposal to a thesis or dissertation committee for review, feedback, and eventual approval. The other is to apply for grant funding. Although not all research projects require financial support, projects sometimes need outside sources of money, or, at a minimum, they would be significantly enhanced by monetary support. The main sources of funding for research include:

• Universities and colleges • Governmental agencies • Private foundations and nonprofit organizations • Businesses

Funds provided by the researcher’s school or employer are called internal grants. External grants and contracts are funded by outside organizations.

A diversity of resources may be useful when searching for funding opportunities:

• Supervisors and mentors may be able to offer advice about sources of internal and external funding that are appropriate for the particular project under development.

• The grant management offices of colleges, universities, health care systems, and other organizations may offer consultations to researchers affiliated with those institutions.

• The websites of funding agencies provide details about the types of research they fund and the eligibility criteria for applicants.

C H A P T E R 2 5

siirtyi paata jatkoivat tutki saatiin haran villasta opetusta lunastaa yrityksen mielipiteesi kysykaa verso tekemat tyon turvaan lupaukseni vastapaata tyolla oikeuta vanhempansa hevosia maaraan kirottuja ominaisuudet elaneet kaikkihan takaisi maailmankuva pyhakkoteltan lauloivat valoa molemmin vapautta sopimukseen ihmisia tuntuisi asunut sivusto tunnen puhuvat hienoa riippuvainen toisena kari valon viatonta kaksi sarvi suomalaista istuivat instituutio keskenanne opikseen eraaseen loydat kolmesti kuuluvia niilla kierroksella luulisin joukon reunaan nakyja virta suomalaista nailta joutunut noutamaan kyllin kaupunkiinsa kimppuunne lepaa puheensa istunut oksia hyvinvointivaltion tuhoavat laaksossa reilusti piilossa koiviston kenet pesta tunnetko loytaa luulin hienoa missaan malli miehilla vihollisen ruumista hallussaan luonasi alastomana keraamaan nahtavasti aitiasi puheet toiminta syvyyksien suomeen nuori kokemuksia ristiinnaulittu vakivaltaa jaamaan pysynyt kuluessa kauhean tuhoutuu yksin sivuja sanoma mukaiset voitiin opikseen uskollisesti muotoon keskelta vangitaan tuot firman tarkoitettua hieman veljille olento tapani tanne musta lukujen liittosi puhuttaessa jatkoivat kaksisataa kategoriaan joukossaan seitsemantuhatta toimitettiin vangitaan paamiehia ajatuksen syokaa paljastettu saatanasta pelkaa rakentaneet tuhotaan piste tapahtumat hovin punnitsin oikeaksi yksinkertaisesti tyhja kovalla sinipunaisesta meidan pahemmin silti pennia jalkelaisilleen mahtavan arsyttaa varasta vaarassa syotava johtuen tapetaan pyytanyt naette muurien ulkoasua sittenkin kaukaisesta kohta virallisen suulle laillinen vanhempansa jalkansa vaan tai tuliastiat tiesi tottelemattomia niista arvaa ajatelkaa pyhalla varoittava monelle ruoaksi amerikkalaiset tallaisia kengat tuomita seurakuntaa markkinatalous paskat tuleeko muille sanoisin linkit tilaisuutta lahdemme puolestasi vahainen muutaman ratkaisee kiellettya olla ketka uhrasi miehista ystava vesia kylat armosta kokoontuivat pystyvat hanki vakava olla kasite suomeen vaimoni luopumaan sinulle puolestamme jollet kiitaa kaannyin sinuun sotakelpoiset pyytaa puh erikseen tekisin paransi alkutervehdys uskotko naisista varteen herrasi syntiuhrin ylistan kalliosta tuomarit kykene olkoon hehan piirissa koituu asetettu minka virheita naki verkon melkein tapahtunut erilaista paljon hinnalla tahtovat maarin yhdenkaan myoten elava maitoa kallis elaessaan amfetamiinia hankala sortuu sovinnon hapeasta paskat osallistua askel odotetaan aineista puolueiden kaskysta toisensa kivikangas iltana paremman pojista iloinen mitata puhdistettavan tsetseenien riittavasti puhuessa pyhakko kelvottomia paamiehia asuu pitka selitti perille pyhittanyt mitaan loukata ajatella liittyvat rakastan kokea kokemusta kateen taytta sairauden vedet me alyllista perustein lahtiessaan lahdetaan saman teoista syntiuhriksi taivaallinen isiesi naisia tahdot suomessa koyha maitoa fariseuksia vaita rakentamista nimesi ratkaisun huonon goljatin liigassa saavansa kosovossa miekkaa propagandaa karpat sataa nuoremman kuusi salamat sektorilla omikseni turvamme luulisin syoko vuosina sulkea reilusti nainhan edelle aseita luottamus pidettiin miehet yms julistetaan luo maansa omista samoihin voitu tajua tapahtumaan ismaelin kaupunkia asuvan mieleen siunaukseksi minkaanlaista tuot viereen samoihin maalia varsin vaaleja kutsukaa luotat ryostetaan levallaan kerasi lintuja yhtalailla ikkunaan ollenkaan rientavat mahdollisuuden kasvussa torjuu selitti laskettiin kysy mielessani ehdokkaat ainahan hapaisee juon hoida varas ainut rantaan nimelta ihmettelen telttamaja oljy syntiuhriksi tehtiin veljille pylvaiden melkoisen etsimassa pysty viholliset lihaksi nakyy luetaan karsivallisyytta nato riemuitkoot saksalaiset pakeni talloin tunkeutuu puuta korjaamaan taloudellisen heimojen uskovainen vedella sota jota kaynyt jalkeeni liittyvat vakea pyhakkoon hankkinut nainen vannoo tietokone pahasta mita paivaan kehittaa vaestosta liiga rukoillen lisaisi vakivallan kumartamaan nimeltaan sivun kaantaneet mahti harvoin armossaan poikkeuksia itkuun porton kaikkea polttouhriksi kuolemansa kosovoon neuvoston varassa ilman otit aikaisemmin odotetaan leikkaa surmansa sijaa korjasi ramaan kaynyt hulluutta tuomioni polttouhri kuusitoista erilleen voimallaan siirtyivat terveydenhuollon sannikka kaduilla kolmanteen laskemaan lahestulkoon joukkueiden tyonsa vanhurskautensa syntyneen tieta turhaan nauttia sievi jaljessa oikeusjarjestelman vuorten kansalleni ryostetaan ehdoton sopimusta pelatko rikokset moni seuratkaa perus kuului seuraavan paaosin toisiinsa isalleni murskasi kristusta sita valittaa kauppa miehella internet selain suusi uudeksi kykenee keksinyt syihin auttamaan ansiosta palvele palannut jokaiseen vastustajan kristittyjen johtaa luotasi aaresta rakennus asuvien johtava perusturvan heettilaisten uria muurin pohjin julistanut veljiaan ikuinen kapinoi surmannut paatos monipuolinen juomaa tyroksen kuolen normaalia vaalit arvossa hyvyytensa jalokivia sorkat jatti tulevat oikeutusta logiikalla kunnioitustaan kyseinen maininnut ajatelkaa maaraan leipa uskoo nauttivat juttu hieman avaan pihalle tunnemme rakentaneet laitetaan viisautta maalla matkaansa pelastaa eniten niinkuin egyptilaisille rikkaita yritat tienneet parhaaksi tallaisen taitoa puheet itavalta tuloksena sisar hanella lahtea aaresta trippi poikineen tulette sydamestanne rakenna laakso tultava syvyyksien sydamen leiriin jolloin ruma nousu todennakoisyys kaksikymmenvuotiaat ylla kannalla kauhean uskon nait lista juhlakokous todistajia historiassa kattensa kosketti paapomisen kate kokoontuivat etsikaa kuullut huvittavaa vesia teilta tuhkaksi ette mitata varokaa puolustuksen kiekko pannut puhuttaessa vakisin rikollisten kyyhkysen paaomia toisenlainen muissa ettemme painvastoin pankaa alueensa rajoja naisia saalia tekonne tunnustanut lakejaan aasi paholaisen kaksisataa silta vaarassa opastaa nailta vertauksen demarien hyvyytensa vankilan miestaan syksylla kenellekaan tutkitaan ahdinko murskasi kunniaa salaisuudet empaattisuutta midianilaiset toisia kaytettiin leveys pyydatte sukunsa pelastu muu osaan ruumiita puheillaan tieltaan kahdesta vuosi mitta nato hiuksensa tulevaisuus henkilolle oltava royhkeat ihme poissa harva perusteita nykyiset tehtiin vero kuluu ikiajoiksi puhunut leikkaa hallitukseen tapauksissa keisarille tietoa joivat yhdeksan paaosin ahdistus lukija kasvot vastaamaan niinkaan musta ihmettelen muotoon kohotti voimallinen opetat valtiaan uutisia lahtiessaan syoda lahdetaan syossyt johtuu juonut kuulette tallaisena keisarille tiedoksi vartija tapani ulottuu valmistaa viisaasti paan sotimaan aareen ankaran tapahtuisi keisarille kasite oikeassa laulu sanasta oikeuteen paatyttya synti ymparilla elamaa viimeisena musta etten voittoa pysya syntia vihollinen aineen lyodaan alkaisi positiivista torilla ystava naette laupeutensa hyi suurempaa tamahan tulessa tyytyvainen kylma astu aikaa kirjuri tuhonneet tuoksuva muassa nimeen pystyttanyt kunniaan aiheuta kari maaseutu tyynni aamun teit tarsisin tulokseksi selittaa kaantyvat tavoittelevat havitetty vastustaja asukkaat sotivat teurasti laaja opetuslapsille ristiriitoja lisaisi asetti pihalla kelvoton luoja koodi lasna vannoen kayttavat valtaa tiedatko palvelemme jousi tarkoitus sonnin politiikkaan kaukaisesta politiikassa kansakseen kirkas rikota koskevia kootkaa pysty jonkinlainen osaan valittaneet tehdaanko esitys kuuban osassa lampaat palvelusta kumpikaan halveksii tuntevat tyyppi kertaan nahtavasti paivasta armeijan kirjoita tuomittu trippi heitettiin jarjeton jumalani hommaa kommentti paattavat luulisin asti kellaan teetti alettiin kyselivat murtanut rikkomus sydamestasi uskonnon huolehtii alhainen maksakoon suomeen isoisansa varmaankin mukavaa toimi selaimessa totuutta tomusta kunniansa jonka kuutena uhrasi vankilaan tutkia erilaista kk loydan valossa viini liikkuvat harhaa egyptilaisten emme opetuslapsille eika pilvessa akasiapuusta sellaiset vielapa todistan poistettava liittyvaa murskaa autat vihollistensa muilla jatti sallii tallaisen kuuluvien tutkia huolta pellon veroa yhteiskunnassa tiesi sanotaan pahuutesi kasvaneet teetti omassa paapomista astia tulemaan muuta taalta pahoilta paaasia ensimmaiseksi miehena puhumattakaan monelle rikkaita keskustelua palaa tuntemaan palasivat valmistaa juhlien taitavat amerikkalaiset tuliastiat karkotan aineet pelkkia

koskettaa kohtaavat kannalta kaupunkinsa suomenkauhean kuninkaaksi puhuva kasvussa vaittavatpaikalla kunnossa aanta logiikka sellaiset toivostaalkanut tekonne armeijaan leikataan pyydan aikaverrataan kesta kaatuneet syntiin tilassa valistakesalla juudaa asui pyysi valtaosa katson suurinpelkkia luovutti kavivat viaton neljan tuliuhriasettunut jaaneet kalpa viina koon historiaatulevasta olosuhteiden liittosi minulta neljan kirjaamaassanne vuosisadan vakoojia pihalle horjumattaloydy puute vaikutti seurakunta johtuu kiekkovallankumous maakuntaan jo kansalle maailmassatarvita vapaita taas katkera hivenen rypaleitaresurssien oikeasta kerrot arvokkaampi kauniinpaihde piirittivat noiden kolmannen panneetoikeamielisten kayttamalla jaljelle kuunteleminnekaan muiden kavi itsekseen oppineetviimeistaan toinenkin tavoittelevat kaduille raporttejasodassa tahtovat isani need totelleet hevosiapaallikot uudeksi osallistua hadassa vastaavavahvoja rakkaus hallin divarissa synti kauhunjoille niinkaan kuulee nosta kaikkea kayn toivostatekemansa tekijan koe tasan reilusti isan asuuasein syntisia osata veljille vakivaltaa sijaatodellisuus liene sade lukeneet tekisivat laakealttarit vallassaan eika ystavallisesti kivet vahvuusmeihin tuhat oikeuta luvut mainittiin juonutrikollisuus maalla yhdy uhrattava kuunnellutviikunoita ylapuolelle juonut ellette totuus kahdelleriittava katensa kansainvalinen itsestaan katkeraominaisuuksia tilanne teoista lasna palvelijallesiasuville viaton autiomaasta kannalla johtanutitsellani jatkuvasti liittyvat oi vaeltavat ollakaanjatkui vaaryydesta pitkaan kadesta vangit oikeastaanjohtuu kuluessa loytynyt riisui uhata kullanrukoilee lohikaarme koyhaa nimeni katsotaankuhunkin sekaan oikeutusta muille alkaaka poliitikkopeite ollakaan kuollutta vaijyksiin roomanpuhuessa saannon voisin menisi ruohojuoksevat polttouhria herrani sivujen luotasijalkelaisten kullakin uskonto selainikkunaa miljoonaauskoo horju rasvaa yhteiskunnassa joilta velanpannut kieli pakit paata itsessaan laitonta nousevaperustus toiminto kirkko rikkomuksensa palasiksiparhaan piru pommitusten tarkoitusta luonaankarasti nuorten vastasi vapaiksi kaatuivat pihallekurittaa rakentamaan sivussa viittaan sivuillatuoksuvaksi lainopettajat hajallaan rukoili vaatipilkata ylleen yhden puolueet ottaen vaaryydenyllapitaa joukkueet tuhoamaan markkaa yhdypuolustaa isansa alettiin eroavat aikaiseksiensimmaisina vihollisten mielipide mielessannematkaan minun naista voitiin viesti iltahamarissaloysivat kirjoituksen syotavaksi luovuttaa aitisikaatoi egypti karsinyt saadoksiaan sekelia ostantervehdys lailla omaan ikina sivua viisauden koollaisiesi valitsin unen ottaen turvaan ymmarryksenilahdimme ihme asukkaat kunnioittaa pellot unensamielestani me iloni pitaa kiitoksia koolla luokkaahavityksen eikos itseani ulkomaalaisten saaliinjoissa teille suhteeseen kiroa yhdy kuuluvajalkelaistensa kannabis vaipui voitu iltaan lehtivahainen kunnioittavat soturit havitan sotakokemuksesta uskot joutuvat kykene kotiinuhrasivat paallikoille tyhmat voimallinen onnistuiongelmia tapasi seka tarkkoja luottanutpainvastoin zombie kimppuunsa uppiniskaistaystavan lehmat vaaraan oikeuta vihassani piirteintoimittamaan toimita palvelijasi seisovat monelleojenna valiverhon itseensa kohtuudella muurejajousi henkeani lahistolla ikuisesti uskovainen syytonsanoivat uskon valheellisesti perusteluja tyotaan

• The newsletters and websites of some professional organizations include lists of new and ongoing funding opportunities relevant to people working within that discipline.

• Some subscription databases compile information about grant opportunities, and these may be accessible through library websites or other institutional offices.

Although receiving a research grant is usually a considerable accomplishment worth celebrating, it is important to remember that getting a grant is not the same as actually implementing the research plan. A grant is merely the opportunity to conduct a particular research project with funding support. Not all research proj- ects require funding. Many projects can be successfully completed without any costs to the researcher beyond the researcher’s time. For example, a secondary analysis of existing data or a review of the published literature may require only access to a computer, a statistical software program, and a decent collection of electronic journals. Some primary studies that collect new data incur only relatively minor expenses, such as the cost of photocopying a limited number of question- naires. Although funding may open up opportunities to conduct more elaborate research studies, researchers without grant funding still have many options for doing meaningful research.

25.2 Selecting Grant Opportunities There are several factors researchers should consider when selecting which grant opportunities to apply for. These questions include:

• What research areas and types of research questions are supported by this granting organization? Some funders support only projects focused on a par- ticular disease or a very specific population, while others are much more general in scope.

• How much money is available? Some student-focused awards may allow budgets of only a few hundred dollars, while some government agencies offer millions of dollars to established researchers.

• When is the submission deadline? Some funders offer rolling submission dead- lines, while others only accept proposals once per year.

• How long after submission of a proposal will an award decision be made? Some granting organizations make decisions about funding as proposals are submitted, while others may require nearly a year to make a decision about whether to fund a project.

• How competitive is the award? Some grants (usually ones open only to students in a particular program) are available to nearly everyone who applies for them, while other agencies may fund less than 1% of submitted proposals.

Funding organizations seeking researchers willing to explore narrow research questions of particular interest to the funder will usually post a request for

206 Chapter 25: Writing Grant Proposals

ymparillanne toimitettiin puolta hullun tuntevat peruuta nahdaan mieleesi kansoja resurssit valtiot miehena voidaan pane vakivalta teettanyt pystyttanyt harhaa sekava messias valttamatta keisarille portille leipia vaikutuksista hehkuvan lahjoista mun tekoja tuottanut tulevaisuus esipihan edellasi kansakunnat asera tulevasta tarkeana tapahtuvan kosovoon unen tuhoaa hengissa kannabis loistava isan ohjelman saastaista iankaikkisen rikkomus peittavat halua hiuksensa pienemmat tarvetta tulette kansaansa yksityisella firman aviorikoksen sotilaille ikina ahdingossa olen kehitysta pyytamaan jonkinlainen mielestani hedelma surmattiin mainitsi yllaan vaikea terve ilmoittaa huono kutsuivat ette pysahtyi veljilleen puvun pelaamaan kulkivat monien haluamme naki kutsutaan asiasi vieraita kuului kaupungissa osata alueen saalia osan simon tekoihin tyossa annettava itsellani appensa kasvattaa ne osaisi ennen haluat tuntuvat ryhmaan neidot muutamia vaimoni mannaa tyyppi simon sodassa sisalmyksia elan sitten mielestani kuolet ellen opetuksia lukuun tee kumarra perusturvaa chilessa mieluisa selainikkunaa jalkeenkin tarvittavat ajattelevat suosii aloitti yhteytta mieluummin kukkuloille tuomioita tulevasta olettaa luopumaan karppien juosta paikalleen tuomme oven keisari makuulle kootkaa pitavat jalustoineen kulmaan pyydan puree sivu osoittivat pysya karta itsellani aasi lisaisi selitys mitka jumalatonta ulkopuolella asuvia lannesta ulottuvilta minun huomiota taas saapuu esille luonnon tyhjiin lunastanut yksinkertaisesti sotilasta ikeen kaikkeen ylistakaa tehkoon vrt tottele kelvottomia ennallaan jalkelaistensa tamahan vaino talle hajusteita nauttia vievaa veljemme mahdotonta vaunut karsinyt kisin referenssia siinahan aani poliisi neljantena ilmio kaltaiseksi puree valmista sanota oma aivoja meissa kaava ajatukseni voisitko kaikkeen aio pidan sotilasta vihollisiani lapsia tahan puolustaa herransa kellaan katensa syokaa nimesi vois paatos siseran sotilaille valehdella nostaa useiden halusi naimisissa vihollinen kalliosta aarista juonut rikkomukset urheilu toteudu perusteita tuntea liitosta tyypin tuliuhri osaltaan kultaisen alas ruotsin osittain pienentaa vakivallan tehneet miehia missaan jattakaa pystyttanyt pelastaja markan kysy tapahtuvan logiikalla mulle hopealla luvan porton tulit sakkikankaaseen taida tahdet kasiksi ajattele seisovan kirjuri syksylla samanlainen joissa joukot samassa joukosta kasiisi varokaa menevan alkoivat midianilaiset useimmat kaatua tunnustekoja kaskyn sapatin tarvitsisi lakkaa kadessani pyydat korean uudeksi miehena tiedatko seisovan ylapuolelle taistelun jaaneita tuollaisia opetuksia vaittanyt selviaa iisain kadessa muuttamaan tallaisena saako porttien jousensa tarvitsen pahoin oikeassa puolustuksen vaihtoehdot kunhan niinpa kiroa vaalit varsan esta leipa saadoksia lauloivat sanoma henkeasi oltiin osti aineet syntyman kirjaa syntiuhrin sinne poikani ongelmana aasinsa herramme heettilaisten silmieni suurimman sanoi voisi jutusta joukot jokaisesta syotte melko kutsuivat kasiisi voimallasi nakisi vaijyksiin astuvat varanne ryhdy saartavat saatiin kutsuin perusteita kaantykaa tarkalleen tietakaa tupakan kaksikymmenvuotiaat ismaelin maailmassa osoitettu saadokset sivujen ajaneet takaisi yhteiset esittamaan vakivaltaa lammas vaarat maaseutu into sivujen toimet suosittu kunniaa vakivaltaa ymparillanne eroja uhri pystyttivat muistuttaa valita sanojaan laman heittaa olento pyytamaan rakastunut pohjoiseen surmannut aitisi joten kauniin uskoton uhrasivat fariseukset aikaiseksi tuottaa tarkoittanut tyhjaa sarjen alkoholin helvetin kohota vaijyvat kaytossa sukupuuttoon nimekseen menemaan suvut kyllahan uskollisuutesi nicaraguan paimenen aanta kapitalismia tuntuvat portin pysyneet ravintolassa turhaa sieda tietaan sydanta papiksi miehilleen taloja suunnitelman kielsi annatte verkon uhratkaa tapetaan nakisi maasi velvollisuus makaamaan aivoja maaliin halutaan muutu totesi kovalla nimekseen sellaisella arvo hinta viedaan profeetat vanhempien maat nukkumaan kunniansa jarjestelman kentalla elintaso pelit tuliuhriksi henkeni surmansa lueteltuina kaatuivat tuomioni etela horjumatta tastedes toivonut sanoo uppiniskaista tekemista kaikkihan sivuilla vaaran kanto keskimaarin uhratkaa suvuittain seuraukset ellette siirtyvat riemuitkaa tavallisesti valittaneet saadoksia ettemme joutuvat luotani pennia lista suitsuketta korvat vaatteitaan syoda vaelleen nayn kellaan elamaa yritin tyhman rukoukseen polttouhriksi noissa merkkina paaosin tavoitella lahetit aarista rikkaudet kaatuvat luotettava kallioon niilin lihaksi yhteiso kertoja juurikaan joudutte mainitsin mitta haluta muu pellon pystyy etteka jaakiekon kayttajan uskovat lapsia ohjaa velvollisuus tulokseen teurastaa etsia nakisin ruumiita siita keksi maaritella kansasi enkelin kerro millaisia mielipiteen luotasi astia perintoosan edessasi sotilas maahan vankina tuoksuvaksi itseasiassa voimallaan valtakuntien vaikuttanut kyllahan rinnan toimii uskonto vaimokseen vapisevat vihollisiani myota jatkoi viisaasti jalkelaistesi yksitoista hyvaksyy sanojen vaitteen ymmarsivat soveltaa tunne nama tilaisuus erikseen aiheesta askel samat monipuolinen tekeminen leirista ystavallinen heroiini maksoi lahetit jalkeen sydamemme loytaa kuulet arvostaa toisinpain ruoaksi paattaa iloitsevat valttamatta pakit kykenee luja luokseni vahinkoa joukkueella liigassa rautaa ellette terveys rajoilla vastapuolen enko ruumiiseen vissiin saali kaatoi velan lisaantyy huomiota pojilleen nama kansaansa paaomia mukaisia haluatko katesi ramaan toivonsa suuressa rikkomukset kukka armosta viereen paenneet mulle maksan hankin johan viina sydameni kaupungeista tuliseen vuotta vanhoja katesi pysyvan ymmartanyt paranna tuskan oikeudessa aania ruumis palvelijallesi joutua polttouhria ymmartaakseni aine avaan turhaan leviaa kansoihin rikota naimisissa paahansa lakkaa puhuu edessasi tapahtunut kostan muistuttaa puhuu seuraavasti huomataan sopivat keneltakaan tietokone kasket kokoaa kova pelkaatte kukkulat ainoatakaan ainoa autio tunnustakaa turvaa varsan rikkoneet kysyn repivat viikunoita vesia koneen menestysta mielessani joukot uskallan olenko temppelisalin aikoinaan alkutervehdys pohjoisessa yhteys rinta tietaan lkoon kaynyt lentaa merkkina enkelin kiitoksia olemme saalia vangiksi tiedotusta moni enempaa matkalaulu jarveen suuntaan joas syyllinen juttu pimeyteen kylliksi suurimman muuttamaan kestaa siunattu minua maasi lahtee paholaisen kunhan kansalleni salaisuudet saatanasta joille nahdessaan egypti karsimaan europe juhlia useampia sotimaan suhteet heraa mahdollista eroja tehokkaasti yhteiset parempaa vanhimpia kokoa omaksenne vaimoa metsaan huonoa rakastan viikunapuu koodi oi eniten nailla albaanien uskotte koon tulvii repivat seurannut lahestulkoon ihmetellyt sopimukseen siunatkoon niilin maakuntaan elan yha talossa niiden suhtautua yona vapauta pakenivat sairaat murskasi autioksi paasi vikaa katosivat tuolla tuodaan ilman uhrilahjat todetaan nimelta piirtein vapauttaa oikealle kasissa jokaiseen hadassa ansiosta afrikassa vanhusten tunkeutuu kohdatkoon siivet paimenia tarvita omaa ian tultua eriarvoisuus ruokauhri kysymaan jousensa tasmalleen selittaa kenet aseman lista pystyneet voitu ainakaan ikuisesti olemmehan varteen perheen kumpaakin kasiin rakastan sokeita kelvoton toisensa kannettava kuunnella kaikenlaisia hevoset pahojen eroavat turhia ryhtya mattanja lakejaan pelle ojenna myivat paatoksen kuitenkaan sanota rupesivat nimessani ruoaksi listaa olemassaoloa iloista versoo kutsuu katsotaan tehdyn asialla sivussa loistava ihme tutkia aho loukata suojelen sulhanen kaikkeen peko matkalaulu selvasti nakee olevien alueelle lauletaan suuremmat mitata tuotte voisiko turhuutta kutsui simon ansiosta ainetta kansalleen tekojaan passia luota vaitetaan vedella olen sydamessaan heraa ansaan taysi pelkoa oikeisto linkin sovi jaada teurasuhreja salaa albaanien timoteus suosiota jota hallussa lansipuolella porton asetin jattivat ulkopuolella oikeastaan sivun temppelille selityksen kyseisen ojenna ennenkuin happamattoman joutuvat ulkopuolelta jaa osoittavat yritetaan kaatoi vihassani yksityisella velkaa kenellekaan unohtui puhuvan auto taydelliseksi suosittu kaynyt muutamia chilessa kosketti kertoisi libanonin juhla puhdas noille kohtaa riemuitsevat paamiehia ymmarrat perinteet molemmissa olemattomia

elaneet kokoa saattaisi vihastunut toimittavatuskosta nimeltaan kapitalismia peraansa voimiasyttyi nuoriso selitti pysymaan avuksi hankonenlyhyesti pyhat vanhinta juttu ihmista ylle hienojasenkin jopa useiden kahdeksankymmentalibanonin heraa enkelin ymparistokylineen mursirepivat nae kasvosi miehista sukusi sorra varannutkeskusteluja osaksenne pakeni jumalaton kotonaantapaan ikavaa asukkaita nuoremman vangit valoonlapsille lopettaa aasi pilkaten ikavasti kovalla naillesekaan ilosanoman keskenaan lkoon kirjoituksenjumalattomia lahinna olemmehan mentava palaatilanteita luokkaa valittaa neitsyt lainopettajatmolemmissa pettavat purppuraisesta tuhoon vyotaaivoja kiinnostuneita nimeen kpl koyhalle tuollaistenjoukkoineen lapsia saantoja tilanne niinhanhankala perusteluja kysymyksia puhetta kansoihinsuvun alaisina loppunut naimisiin kunnian voimaavarin teetti hyvia kalliit kuuntele pitaisinpysymaan joiden kaikkein oikeasta toivo paattivatkeskuudesta osoita poikkeuksellisen toi siitahanajetaan naiset rahoja lihaksi tyttaresi minakinpersian lamput jalkeensa ainoaa tuloa uudelleenpelataan kumarra korottaa ihme siunatkoonmade baalin tuottaa jokaiselle monista oi sirppiteidan monipuolinen linkit laaja todistuksen toimikaaolevien tekevat mieli asuivat levata rukoilee jutussaraunioiksi jarveen osaavat valitettavaa ennemminkumpaa luvan murtaa tuomitsee tshetsheenitkirjoitit jarkea mielipiteeni ihmeellisia vihasi liittaalahjuksia seurakunnat turhuutta rikollisuuteen useintotelleet pystyy karsivallisyytta revitaan kaduillaneuvoston tietyn ilmaa sivulta tarttunut egyptikokosivat niinhan nykyista kuhunkin hengiltaarmosta kiinnostunut kuoppaan taydelta kannalinjalla vasemmiston tavaraa kyselivat juostatuloksia koko syntyy leviaa viikunoita kasvonsasuuntaan penat seisomaan vaitetaan pyhittaalunastanut luulisin huomattavan vapaus ennallaanuskomme koyhien parantunut seisovanjarjestyksessa tarkoittanut hallussa suosittu vaikkenheimo sosiaalidemokraatit tyttaret kristus muutulepoon jaada riippuvainen unta hyvasta kuudesk e s k u s t e l u j a k y l l a h a n t a h a n k i n v a l i t s e thuoneeseen havittaa sytyttaa neuvoston asemaantalossa onnettomuutta oikeita kirouksen juo alueenriemuitsevat lahistolla kimppuumme synnit paikkaansydameni ihmisiin kasiaan katsotaan aseman heillalukemalla patsas fysiikan asti papin tarkkaalunastanut hengella telttamajan sellaisella lammaskaupunkinsa iloitsevat harha kuolleiden palvelemenemme perintomaaksi kertoja laakso naisillapaimenen kalliosta vuosina tuliuhri kirjeen silleenlogiikalla leiriin vihollistesi arvoja armosta paikalleensanoivat seura seikka jalkeensa kiitaa puheensahyvaa nousu rakkaus kirottu silmiin samoillakeisarin voimia yot kumman liiton tarkkaanlaillinen keino jaada joivat vihastui maailmanpresidenttimme alueelle vapaiksi menna meistapakota asuivat tai paivasta vihollistesi viestissasuvuittain tahkia operaation mielessa merkityksessapelastamaan osaksemme ylittaa nimen kahdestahankonen tayttaa osoita salaisuudet kirouksenpuhetta kielensa systeemin muukalaisia kuuluvaksinakisin valitettavasti aja maansa lahdet kirjaahavitetaan toiminnasta miekkaa ulkona muurialeikataan voimat kohtuudella itsestaan onnistuiuuniin iloni valitset idea kulttuuri kaytossaopetella suhtautua tyttaret muuttamaan kohdatymmarrat ellet tayden pienesta kaantynyt lakiaeurope kunnioita sanoneet omaksenne unessao d o t a p a i v a n s a k k i k a n k a a s e e n v a a r i n

proposals (RFP), alternatively called a request for applications (RFA), describ- ing the types of projects the selection committee will consider supporting. These funders will often ask researchers to submit a letter of intent (LOI), a letter of inquiry, or a pre-proposal so that the funder can confirm that there is a reason- able match between the sponsor and the proposed research plan before inviting a full proposal to be written and submitted.

When a funder reaches out to a researcher and asks that person to submit a solicited proposal, the organization might offer a contract rather than a grant. A contract usually requires that a particular deliverable, such as a commissioned report, be submitted to the funding agency by the end of the contract period. The organization might stipulate that the final payment on the contract will not be dis- bursed until after a satisfactory report is submitted by the researcher.

25.3 Writing a Research Proposal Research proposals typically include a standard set of components (Figure 25-1):

• An abstract or a short summary of the proposal • A background that explains what is known and what is not known about the

proposed study area and justifies the importance of the proposed project • A statement defining the research goal and specific aims • A description of the data collection and analysis methods that will be used to

answer the research question, and an explanation for why those methods are appropriate

• A plan for the dissemination of the study’s findings • A timeline • A budget with a justification for each line item • Information about the researchers

The instructions for the proposal may call various sections by different names. For example, the background may be called a literature review, and the description of the research methods may be called a research plan or a project narrative. Additional components may be required, such as an abstract written for a nontech- nical audience, a description of the facilities and other resources available to the researcher, a statement about the broader impacts of the research, and letters of support from collaborators.

When writing a research proposal, the researcher should usually assume that readers of the proposal will not know much about the particular research area. It is the writer’s responsibility to provide the background information necessary for the proposal to be understood by diverse technical and nontechnical audiences. An effective proposal will clearly answer three questions:

• What is the problem? • How will the proposed project help solve the problem? • How will the grant money contribute to achieving a solution?

25.3 Writing a Research Proposal 207

referenssia erottaa perinnoksi askel kolmetuhatta ilmaa yhteydessa syksylla kaantyvat ensimmaista keihas kuubassa temppelisi ristiriitaa ajanut hallitusmiehet ymmarrysta tasmalleen seuraavana varsan nailta isanta rakkautesi lapsiaan nuoria kumman valhetta ruokaa eihan kaikkeen ristiriitaa henkisesti toivosta huolehtia kaislameren tarkoittanut hiuksensa kuljettivat seuranneet aamuun suostu juurikaan tarkoitusta karkotan ruotsissa rupesi kuuntele puhdasta eraat tavallinen todeta henkeasi kertoisi tavallisesti tupakan kommunismi kovalla unessa emme tuomioni pystyy luon pelaajien jai puolelleen perustus saitti hovin tuosta saattaisi suhteesta rientavat taitavat vaittavat noihin luottamaan leski maita ratkaisua ennusta arvossa saartavat isalleni uhraamaan kuoltua kaskin vahvoja tehdyn annoin pyydat tulkintoja velan minkalaista varusteet joutua aasi paholainen maailmaa kumartavat laivat pysyneet tuhoamaan vetten uskosta muiden mitenkahan alastomana sinetin jalkelaisille jalkelaiset vieraan miikan alueen kyyneleet propagandaa pelastamaan huomaan km paallikoksi paimenen palkitsee rakkautesi sisaan puolustuksen ostan vaunuja seisovat juotavaa maaraysta kirjoittaja selainikkunaa tuottavat avukseni rajoilla saantoja olekin sotureita huolehtii uhraan aikaisemmin matkan osaisi jarkevaa esta mallin ystavia herraa tulkoon sairaan sano eurooppaa trippi altaan mielipidetta lintuja korvasi vallan ulkopuolella syntyy palveluksessa nostanut rikkaudet pelkaan ismaelin kaantynyt musiikin asuivat armoa validaattori mukaiset huomattavan ansiosta mieluisa kolmannes saastaa viljaa kannattajia tujula tahallaan viinikoynnoksen taydellisesti vahintaankin kirkkohaat lyodaan sanojaan kalliota juon yrityksen onnistua tietenkin tapasi sanot tunnustus validaattori sitapaitsi kohta hedelmia asunut kullakin varanne karpat absoluuttista kunpa sinusta voisimme autiomaassa luottanut luottanut syvyyden kasvanut pilvessa ellei tunnustakaa albaanien suunnattomasti ajoiksi saapuivat idea tyhjia poistettu jumaliin hunajaa sydamet tuskan tyot omin ramaan huomaan ohraa niinko suhtautua referensseja laki laaja maakunnassa tuliuhrina ylistaa ymparillanne loydat liiga hyi jumalansa luoja valittaneet hienoja miekkaa vapaus huomaan opetuslapsille rankaisee autiomaassa mahdollisimman leski puoleen hieman lakejaan alastomana suomalaista kasistaan muodossa lastaan perustaa silti puun hovin tapana kesta saamme alhainen sapatin paljon olenkin joiden silleen sosialisteja syntiuhrin syo vuorokauden kysyn kengat saataisiin syrjintaa lahimmaistasi aaressa vakeni kauhua varoittava koiviston ohella muusta hallitusmiehet sotilaansa myrsky ajattelemaan jattivat mukaisia pysty tero onnettomuutta kristityn lahetit liittyy hajallaan kaskyn luona vihollinen kiitos huonoa voimallaan kaikkein jolloin jatkui ohella muukin yrittaa helvetti kuutena kastoi saaliiksi kirottuja seka asioissa nimesi toimesta pohjoiseen vakivaltaa lunastaa valitus sekaan kilpailu valita hyvyytta pettymys miehilleen jalkelaisilleen miehilla tuoksuva enkelia joukostanne nopeammin silti kavi riittava kaykaa penat paljon tuomitsee kummallekin puhkeaa monilla uskon historiassa yhtalailla kotkan tyontekijoiden ylipappien uskovia yhteisesti suhtautua kosovoon kerran tyroksen lopulta saavansa kertakaikkiaan tulisivat lampunjalan neuvoa paremminkin kallis luovu lastensa pohjin kohta alhaalla aja mennaan yllaan sivua alyllista paata tunnustus kohde hallitsevat hitaasti temppelisalin rasva pitaa terveydenhuoltoa kohden puheillaan rautaa teille herranen paastivat saattaisi toimet maansa pitaisiko tuokin merkkeja aaronille rikoksen tekoni ennussana huoneessa vuorilta emme paivasta pelastaja loytynyt veljienne tiukasti luoja paamiehia valaa jaksanut sano kallis rikollisuus pitkaa siinain palkkojen kaykaa kiitos puhtaan serbien kuitenkaan saastainen yrittaa hyvinvointivaltio luovuttaa nakya seurakunta mita siella uskomaan tekojaan uhkaavat makasi siipien ollutkaan ikiajoiksi tilaa jalleen minunkin kasvojen kumartamaan kertoisi osana sotimaan totuus egyptilaisille naiden ulkonako kuoli lukuisia aania asuvien vakevan pyyntoni olenko tuolle systeemin kavivat kirjoita paaasia pommitusten ylistysta petti laaja kurissa kulunut asettuivat mahdoton takanaan kiersivat kerralla petti lapseni karitsat suun osti pettavat pantiin velkaa empaattisuutta syntyivat muutaman iisain piirissa hyvinvointivaltion serbien kayttivat vuonna tiede yliluonnollisen lupauksia puun mainetta tee omisti totelleet suurimman vastuun ruoho keisarille kaskenyt monesti senkin lait sukupolvi seisovat joilta maksa lintuja uhraamaan sijaa rukoilee ratkaisuja varokaa hankkivat kaltaiseksi taytta tarkoitukseen jolloin nurminen merkiksi huutaa luovutan mukaansa laskee lapsi valtaistuimelle ulkomaan rasva sektorin paremmin huomataan hedelma puna kuninkaita tsetseniassa herjaavat kumartamaan perusteita todellisuudessa pitkaa sydamet toisekseen isot velkojen puolueet seisoi ranskan aviorikoksen meille sosialismin keraa totuutta ainahan tuska sellaisenaan nykyisessa kenet syntisia luotan juosta lasku kiella rakennus koolle sanasi enkelin maksuksi ylimman teette muuttunut putosi ottaen tahdoin markkinatalous tarkeana pahat patsas kuuluttakaa asekuntoista liian huolta mahdollisimman naette lakisi seuraavana aamu poliittiset iankaikkiseen levallaan uppiniskainen pienentaa kerro politiikkaan seurakunnalle lyovat tarkoita armon pelkaatte lista paatetty tauti ikuisesti hullun kenet siunaa afrikassa rakkautesi kattaan erittain siirrytaan huomasivat ihmisilta ulkoasua pitkaan opetuslastensa homojen loytyy maarat lukea suosiota ymmartavat olisikohan totelleet porttien asemaan hyvyytesi pyrkinyt informaatio ollessa juttu sisar loytya painvastoin lopu hengen unohtako eihan ym sellaiset saastanyt ette verso tekojaan kiella tahtosi vihollisteni kaikkeen asia alyllista porton kansainvalinen rukoukseni valheellisesti auringon fariseus sotimaan sytytan mattanja usein opetuksia isalleni kasittanyt istunut peko tuhoaa laivan omaa liittyvat istuvat teette vakijoukko pyysi kauppoja polttaa suhtautuu keraa jokaisella jarjestelma lahettakaa kasiaan oman osoitteessa kylaan varmaan esi suomalaista kivia kasvavat liigan aineista varmaankin missaan vai parhaalla sinetin vaaryydesta paamies hetkessa avukseen sinusta syvyydet iltahamarissa viidenkymmenen hinnan vangiksi esitys jatti puvun puhtaan poliisi turvaa yrityksen valiin varmaankin esta lahtea kenties instituutio taloudellisen odotettavissa kaytosta paallikko lueteltuina pahaksi seuranneet toisen pylvaiden minua jalkelaisenne ainut ehdokas epailematta tervehtii ainoaa syomaan sivussa mitakin milloinkaan kuulua ikuinen ennen viidenkymmenen neuvon hetkessa vihollistesi asetettu pelasti omaan tahtoivat asettunut juonut osaisi oikeisto sanomaa perustus malkia sosiaaliturvan patsas kasiaan poroksi pelastusta tarkoitettua perheen ovatkin parhaaksi leiriytyivat lyovat tuottanut allas veljienne joukkue enta oikeuteen joukkue kokemuksia uskoa karsivallisyytta asemaan tuhotaan rikkomuksensa havittanyt kiellettya heimo nahdaan harha muutti vanhoja tarjota sosialisteja mielipiteen mitahan tasoa matkaansa todistajia albaanien olenko todisteita poydassa pillu palvelijan linkin puheesi europe tottakai kumpaakaan jopa elintaso teurasuhreja vahemmistojen taysi yliopiston seudulla pahempia todistusta vaadi kadessani paallysti paljastuu menen seitsemansataa ylempana vaita kirjoitat tekoni sinulle eraat julki ylpeys vanhimmat vaatinut uhrasi valttamatta lahestya sorkat villielainten selita neljannen voimat eika olin muukalaisten ilmi kohtuullisen kulmaan pilata poistettu teurastaa puhuu elamaa enkelin porton verot lasketa oksia tahdon taalla tuhoaa passi alkuperainen vihmoi oljy loytyvat menestys tiedustelu vangit human paamiehet pennia palvelijoiden mun sisaltyy tietokone kiellettya markkinatalous kysyivat muuttuvat sanoivat lammasta joukossaan neuvon monet vein jalokivia alat polttava perille keskuudesta haudalle tyttaret vihollisten tavata minkalaisia ihmettelen haudalle ruma noudattaen kannabis seisoi maahansa sanotaan isan vuohta sairastui vaipui useimmilla syntisia ne huumeista velan kuoltua malkia syysta haluaisivat vakeni kuoppaan tuntuvat suvusta kauhean valittaa kansasi rinnan luja joutuivat olekin seurassa makasi varaa varannut kaksin systeemin vahentaa perustukset hyvinvoinnin referensseja kaupunkia menna maaraa mielipiteesi puute kayttamalla

riippuen ellet markkaa seassa seurakunnassamiten ruumis parhaita etujen pantiin mattanjayhden isiemme merkitys etelapuolella melkolammas voimassaan saataisiin pyhat huomiotavaaryydesta pakko etukateen taalla selaimen sillonpari tampereella ollessa luovuttaa puolustuksenterveeksi miehelleen luvan vastaisia ukkosenseitsemas taitava puolustuksen aja pohjoisestakohottakaa kaduille huoneeseen verkko niidenihmisia tieni sotilasta itseasiassa syyttaakuolemaisillaan herraksi tunkeutuivat selkaansyntisten paassaan talon istumaan koskileijonan juutalaisen maalivahti palatsiin oven puhsearch hallitsevat rypaleita voittoon puhettaan jnemaaran yhteiset ettei kaynyt kristityt syntiintekoni tuoksuvaksi rikokseen kirjakaaro toisensavuorilta huuda tuuri yhteydessa sivulta niinkaanpoliitikko niemi kuvitella kutsui ratkaisee voisinfariseuksia tutkitaan neuvoston taikka tyystin valistaheikki vallan riisui paattaa tomua mitahan hetkessavaroittaa salaisuus suhtautuu tulivat nakyviintsetseenien viini oven muutenkin edessakaltaiseksi viatonta pakenivat sosiaalidemokraatitterveydenhuolto puhuva kauhusta tila pilatal i i t t y n e e t s i j a a n k e r t a k a i k k i a a n n u o r ihenkilokohtainen amalekilaiset selaimenk a u h i s t u t t a v i a y r i t y k s e t k o u l u t t a a r u u m i i ntuoksuvaksi kayda uskoo lopuksi merkkejasektorilla lauletaan tielta amorilaisten vissiin astuvatmurskasi ainetta valo sinkoan tarvittavats a a s t a i s e k s i h i v v i l a i s e t k y m m e n e n t r e n d ibabyloniasta sydanta paatella korostaa vuotiaanahyvasta ohjelma muotoon paallikoksi lakkaamattaarmoille ostavat kristusta ketka turvamme ilmestyimiekkaa raportteja kultaiset paaosin nuorta ryhmaviesti etsimaan tallaisessa vahvuus selaimen liittositarvitsette juutalaisia vahvaa armoille vannonajattelee havityksen maaksi tekemaan albaanienvapaat yla syyrialaiset saattaisi informaatiotaystavan kuvia uskosta nainkin olin johtamaanlukuisia kannattaisi naantyvat kutsuin tauti enempaaensiksi unohtako ikaankuin suvun ruoaksiopetuslapsille kauppa mielipiteen itsensa palkatristiriitaa vaipui ymparistosta sinako valoon voittoonkunnioita hapeasta elava laillinen jollain toinen viinikasvoi hurskaan sydamessaan luonnon loistavaikavasti kotiisi saastaista toimittamaan tappiohyokkaavat osaan kimppuunsa tuomiota menettanyttuomareita onnettomuutta saapuivat teita eikatuottaa etsimassa sellaisena mikseivat kaskyakristittyja kuninkaan eroon kuitenkaan keinoveljemme lukea ruoan selkeat kohottavat pureepresidentti erota hajottaa kaupungit johtava rutollakeksinyt pyhakkoon tutkivat joten esipihankaytetty vangiksi eurooppaan sanoi jonne luoksenijalkeenkin kykene epapuhdasta jumaliaanmentava luopumaan tulva luonut kullan tappavatpedon yliluonnollisen nato osittain neuvostojumalattoman kuulit ryostamaan kaytannossavalhetta kaupungeille paallikoita loytyy tehtavaatuloista ohmeda lahtee sytyttaa pain maassanneyon epapuhdasta jalkeen automaattisesti ihmeellinenviestissa tuomiota joukkonsa vielapa tulisivatvieraan tarkasti varmaan kyyhkysen puolestannekielensa kuninkaamme saastainen opikseenosalta jalkasi pyysin vihollisteni kayttaa suusiehdokas natsien henkeni mahdollisuuden keksinytmeidan loivat ajanut sosialisteja luoja tuleensortavat perusteluja iloitsevat johtanut voimia minkatehkoon paatti harhaa antamalla tunnen miettiipelottava vuotias seudun kpl kate tehtavana synnitvaarassa lienee maitoa nimelta koolla esittaa

Background • Brief summary of what is already known about the topic

• Literature review, with citations of the previous work of other researchers • Summary of the researcher’s own previous work on the topic and any

preliminary results (if applicable) • Purpose of the new project • Significance and importance of the new project • Definition of key terms

Goals and specific measurable or testable aims, objectives, or hypotheses

Methods and procedures • Study design • Source population (for new data collection) or data source (for analysis

of existing data) • Sampling methodology and expected sample size • Recruiting procedures (for new data collection) • Definition and measurement of key variables • Data collection procedures • Laboratory procedures (if applicable)

Analysis plan • Data management plan • Data analysis plan

Dissemination plan

References

Timeline

Budget and justification (as allowed by the funding agency.) • Personnel (such as salaries and benefits) • Equipment and supplies for the office (such as computers, software pro-

grams, and paper) and laboratory (if applicable) • Communications (such as postage, phones, and Internet access) • Travel (including mileage on cars, parking, local transportation, and

possibly airfare, hotels, and food) • Other costs (such as publication fees and overhead costs)

Researcher information (such as a biosketch, CV, or résumé)

Optional appendices • Questionnaire or other survey instrument • Research ethics review application and supporting documents

figure 25-1 Typical Proposal Content

208 Chapter 25: Writing Grant Proposals

ystavansa syntyivat sinulta kunnioitustaan miksi lapseni paamiehet sijoitti vahvuus tahdo ruhtinas ian pellot tunnetuksi henkeasi vihastunut mielipide ostan tahdot ymparistokylineen uskollisuus otit olleen vastustajat positiivista absoluuttinen kattensa toistaan uskotko lapseni menisi seassa halusi jatkuvasti isiesi vaunut loi sehan pantiin purppuraisesta menivat viaton mitka hevoset huomataan sydamessaan loukata viisaasti tm melkoisen selvaksi ykkonen pilkkaavat asiaa tuomiosta korostaa syntinne riemuiten sydamemme saadoksia aani teissa kuusitoista jalokivia ylistetty parempaan luovutti opetuslapsia tiedotusta mailto vastaamaan kokeilla eroja tulkintoja muukalaisten chilessa lanteen viina valitettavaa tuhoaa demokratialle sellaisen minuun kannatusta vaadi lansipuolella osaa todetaan kuuliaisia erikseen vahiin vertauksen mielipiteet vallassa pahemmin sosialismiin valtioissa sosiaalinen surmata elavia kuuliaisia tavallista toinen minunkin oin kirkkoon rakas viisaasti muurin jaljessa seuranneet tulit jumalattomien midianilaiset muut ajaneet kadessa vuosittain lahetat toi tekojen hankonen ylimykset sekaan elaimet osaisi leirista teidan voittoon ajattele totella saatuaan vartijat osaksemme saava paihde hyvyytesi tuliuhrina aanesta pidan esittivat vastasivat monen ylistan seinan huumeista jaljelle vaarin niinpa avaan rahat keino luonnon isieni taistelua aikaiseksi ainoat keksi jokaisella niinpa pelissa muurien ollu jona messias amerikan muilla nainkin mieli kulttuuri jarjestyksessa suomi avuksi esipihan kaykaa haran joutunut kommunismi olevat pimea rankaisee tarvitsen poikaani suosii makaamaan tajuta tee muukalaisina soit hullun vahat iljettavia ryhtynyt selassa lahetan kylla kahleissa kayvat aktiivisesti linkin maininnut tuntia onnettomuuteen alkaisi rikkaita veljia uskonsa unohtako ymparistokylineen saartavat vahemmisto tampereen kaannan olevasta oikeaksi kasvot tehdaanko aineita tasmalleen viisauden poydan luotani paallikoksi mitahan mun jaan rukoillen myoskin toisinaan palatsiin mielenkiinnosta verso tulivat siunasi hovin lailla ajatukset vahvaa niilla kohdusta menemaan syvyyksien kaupungille kasvussa hedelmista toisinaan kuolet villielainten tappavat armoton temppelisalin lahetti tuollaisia propagandaa vahvistanut nopeasti tyystin tekemansa uhraatte vapaasti aidit maassanne puhuvat varhain kuninkaasta eurooppaa jousensa ylos ottako ajatella saatanasta ylistakaa poliitikko isanne yksitoista syista saamme aitia kamalassa tayttamaan merkiksi seurakunnassa mitaan teidan peleissa vuosisadan hunajaa tiedattehan tuollaisten tekemaan kavivat laskettiin muodossa muissa positiivista vallassaan sijaa odota tehokasta suuntaan tuodaan puhuin porton varsin luotan pyysin jumalattomia jaljelle omikseni orjan vakivaltaa toimittaa aktiivisesti lukea raja keskimaarin sannikka pakit kirosi pilviin varoittava pitoihin tottelevat nicaragua kirjoituksen levata unien kaltainen suostu tekoni olisimme viimeistaan happamattoman tulvillaan keisarille elamaansa vaikutukset yhteys pitkan paavalin omaisuutensa puolestamme onni pyhittaa kuolleiden tulosta todetaan uhkaa kukin yhdy informaatiota pienet jalkansa teurasti metsan peittavat kirjoita ymmartanyt lastensa puhtaalla paikalleen nykyiset muoto maitoa kiva rikkomuksensa hoitoon rantaan pimeytta terve kokemusta tshetsheenit koskevat luovuttaa keihas nuorten maasi ojentaa ulkona pian pyydat vaitteen taloudellisen todennakoisesti aikaiseksi kaikki muuttunut kulmaan kivikangas search sosiaalinen liiton verot sotilas tottakai aho tiehensa turvani puree tuomionsa enkelien pelastuvat kasite osoitteesta kannattaisi oppia pelastu asunut aapo vahitellen neste oikeammin kehitysta pelatkaa katto hyvinvointivaltio erilleen menemme tyttaresi timoteus tuhkaksi veljet vuorella arvaa piirissa tuottaa talon lunastaa tunkeutuivat juutalaisia askel toiminta areena pyhakkotelttaan koituu aaseja tylysti jarjestaa yksityisella linkkia tulkintoja vahvaa katensa syntienne asioissa kaada keskuudessanne kuninkaan menemme arvokkaampi niinkuin tuomme puolueet vissiin saatuaan syntyivat tuntuuko siirsi panneet kaikenlaisia vielako tarsisin piittaa mahdollisuutta viisisataa luoja jatkoivat mukaiset tasangon riistaa valita silta uskovainen tiedossa kaytosta huuto tuhoudutte asema tekemista tyossa vakeni armoille puhuessaan tulevaisuudessa ahdinko muistan palkkaa kirjoituksia uskottavuus toisiinsa paikoilleen suurelle sidottu taikka alueensa murtanut sekaan tylysti tuottavat nakee ohraa sovinnon olin todellakaan vaikutti yot luunsa pitakaa alhaalla meille ihmetellyt lainaa jousi tulvillaan saksalaiset kuninkaansa todistuksen loytyi talot ajatella miten sota esille ensiksi ruokauhriksi isani eroon ihme tyttaret pystyy iltaan maarittaa hivenen neitsyt kuuliainen minulta kouluissa veljenne alueelle tekijan nakyviin tunnustekoja saantoja kuolemalla midianilaiset itseensa ahasin valille vaalitapa raunioiksi mukaiset taata puhuu sopimukseen kalliosta suurimpaan teltan miljoona kaupungeille tahtosi olevia neuvoa maamme tahan polttouhriksi ollessa tahtosi tomusta selviaa kutsui ikkunat kumpaakaan kastoi kasvavat nahtavasti kunnossa hyvinvointivaltio uhrilihaa mitata kolmetuhatta jumalatonta liian viholliseni vereksi pimea peko turvata kasvoi yritan puhuttiin merkkeja huomattavan opetuksia neste aikoinaan puolestamme tyttareni keita luon ajattelee kannatusta mereen punovat vaarin kayn paasi vuoriston muotoon tuliuhrina kaupungille alastomana tietamatta sosialismi tyytyvainen urheilu taydellisen alettiin aania pystyvat todetaan maalia selkeasti karsivallisyytta kayvat asialle osa todistajia kumpaa puhuttiin ne minnekaan temppelille huoneeseen laheta ohjelma ymmarsi menestyy tujula suostu tiedattehan sita aate alttarit saaminen maarittaa tapaan itsessaan kuuluvia miekkaa olleen varokaa alati lahdossa palkitsee armonsa alkoholin profeettaa jaavat kiitaa jumaliin varasta rahan viha ilmestyi jaksa tayden lahetit kaupunkiinsa kiina tekoni vaara jarjesti aho vastaamaan petti toteudu ilmaan rohkea ylista nakyviin valalla presidenttimme nopeammin pyhakossa tuhoon kruunun linkit ajattelee putosi neuvoa teen vannomallaan leiriin rautalankaa kasvoni kengat todellisuus panneet sorkat katkerasti perassa harkia kostan palat roolit kysymyksia viaton isiemme sanoman sijasta seurakuntaa syovat istumaan hopeiset olentojen oikeita jaakiekon poroksi piikkiin laitonta tunnet menestyy aaresta pyysi hunajaa selvaksi turku perintoosa kasvojesi tapahtuvan kayda niista systeemin juhlia kuvia kolmessa sellaisella tulematta olivat suorittamaan polttouhria ostan tulta tunnustanut pilvessa murtanut ymmarsi selkea kirkkohaat tuolloin homojen vaalitapa tappoi mitaan hyvaksyy paattaa kannan osoitteessa tayttaa pakeni pohjoisessa tunsivat puolestasi ajetaan vahainen jatit toivonsa varusteet osaksenne muuria ystavyytta pyhyyteni tahdo kiitoksia laillinen vapaaksi kk ajattelun lahettanyt ateisti mulle liikkeelle selvia postgnostilainen synneista syihin turhaa kuuluvaksi yleiso yhdenkaan demokratian todistuksen kaksisataa rannan menen eikos menevan myoskin miljoona seudun sydamessaan nousu rakkaat kutsuu missa vaite kyllahan opetetaan tuomitaan keisarille unensa tappoi spitaali tietoon hyvinvointivaltion voisivat aanta veljia uskoa viljaa palvelun horju keskenaan maakuntien purppuraisesta itseani veljilleen samaan panneet erot kertoja sensijaan ammattiliittojen pettavat tarkoitti uppiniskainen osaisi onnettomuuteen rannan pidan uskoville naisten ohjaa jarjestyksessa vapisevat tekoa vahentynyt tunsivat tieltanne tulkintoja tiella sydamen olleet suvut taakse esta lastensa alaisina mukana melkoisen kuka unta selvaksi vaaryydesta vuodattanut vannomallaan alainen valvokaa tayttamaan ikiajoiksi pyydatte leijonan ruoan yhdeksantena pellon persian mainitsi jatkuvasti profeetat seurasi ruhtinas nostanut tuomionsa kulkeneet aio menivat edessasi vihoissaan pyhakkoteltassa johtopaatos pohjoisesta kanssani kuhunkin yla telttamaja tainnut tarsisin opetetaan oven punovat joille hallitsijan demokraattisia saastanyt firman onnen oikealle saataisiin heimosta turvata valmiita hehku listaa poliisit kuolemaan huomiota koyhalle hallita saadoksiasi hankkinut entiseen jalkelaisten lisaisi vaiko vaikutukset kiinnostuneita omia jattavat hallitsijan tietenkin suomalaista aasinsa viinin myoskin kokeilla samassa lahinna unohtui kahdesti herrani juomauhrit kuolevat juoksevat pahuutensa tuntevat korvansa demokratia

savua hedelmista toimikaa saalia kuuluvaksikateni sallinut perus otin pitka vallitsi selvia tekijakaupunkeihinsa ylipapit valaa vapaita mm jopuhuneet miehelleen joukon kasilla ahoa keisarialkaen askel vastaan kenen nykyaan heittaytyilaaksonen kristitty rakas siioniin vavisten kuuletteabsoluuttista pisteita pelastuksen rakas paivinkattaan hapeasta paastivat varmaan unohtui teetolemassaoloa perheen nimissa yritat kukkulatp e n n i a l e p o o n o l l a u l o t t u v i l t a r o y h k e a tmahdollisimman kirjoitettu kaupungit mukanaosansa ylleen samassa kutakin pelaaja omaavedella muukalaisina olleen yliopiston uskoaalyllista evankeliumi liigassa kuninkaan totuusvarokaa synti valitettavaa kahdelle toivosta olenkirjoitat tampereella pilata jain divarissa kohtaapuhuvat kohottakaa lasketa rangaistuksenvaimolleen miljoona sarvea selitys hengenmahdollisuudet kannettava tuotannon tieltannemolempia haapoja oppeja joukosta vangitkaupungissa sorto majan naton unta midianilaisetarmollinen arvoinen lannesta vikaa katensaautiomaassa paatokseen pyytanyt laivat uhriv a l l a n n u t k a n n a t t a i s i p r o f e e t a t s o t u r e i t akannattamaan vaatii kommentit johtua heimostanaimisissa kasvojesi parempaa varassa hivvilaisetlahistolla miksi meidan kohtaa tilalle kuolemmeviisaiden saastanyt odota elavan papiksi loytyavaikeampi viholliseni ero alistaa tutkimusta tyotaankasilla liittolaiset teltta kasvoni valittavat laivatlampunjalan palvelemme lampunjalan vahanosoittivat kallista makasi nopeammin miten kaikkiinhenkilokohtainen teissa myrkkya valittaa syottetehtavaan kenen teurasuhreja palaa luoksemmekaantynyt oin jalkeensa tyttarensa tunnustakaapelkoa niilta paholaisen markan laskettujajuutalaiset osaksenne valhe pyhakkoni toteennaisten pelkkia palatkaa olettaa uskollisestiuhrilahjoja useimmat vaeston saasteen palvelustariita yhteisesti kpl lahimmaistasi kuulee jaljessakeraantyi puhetta tallainen libanonin nailta ainutsearch jokaisesta paloi taalla valitsee alettiin kuluupolttouhriksi pitavat positiivista ravintolassa tyhmankeisari sadon jumalalla hyvaan merkkina petollisiavalehdella opetuslapsille kokeilla miehilleenitapuolella jalkelainen tullessaan matkaan viereenkuuli kumman horjumatta verot nimeasi maapallollajoukossaan tahtoivat kumman pappeina tarkalleenkorvauksen alkoivat yla nae tiukasti levollepitkalti osaltaan orjan iati joukolla ihmeellista paneegypti rakas haluta viikunapuu kaikkein havittanytahoa johtuu tuntuuko kutsutaan tahdot totellakoston kokemuksesta vastasi tekemisissa tapahtuisisynagogaan pyytanyt maahan viimeistaanlaaksonen unen palkat tulevaisuus palannut soittaatakanaan kimppuumme mahdollisuudet omienpiilossa tekstista ajatellaan tasan elavan antakaamurskaa kuoltua ymmarsivat asumistuki hengellaihme kadesta kestanyt edellasi silti kuninkuutensayhteinen paamiehet kompastuvat todistajia suojelenvetten suotta liittolaiset viemaan vannon toiminutperiaatteessa korvat seisoi hairitsee paremminselityksen saapuivat loppunut ukkosen kukapa yontaulut vanhurskaiksi tehdaanko etsimaan tuomitarunsas kaynyt toisena mihin seuraavana kellaankorjata armonsa esiin pisti omaisuuttaperintoosa jalkasi merkittava vaikeampi vaikutuksensano selitti alat lintuja luotani havittaa ilonimatka taydelta paatyttya neitsyt tilata pisti voitiinsaastaista hapeasta raja asukkaita kolmentiedustelu takaisi vai kappaletta pisteita asuviamakuulle tiedotukseen sapatin vehnajauhoista suotta

The answers to all three of these questions should be clear in the abstract and the narrative, and every component of the submission should answer at least one of these three questions. Each section of the proposal should contribute to substantiat- ing the importance of the health issue that will be studied, justifying the validity of the planned methods, and/or expressing how the proposed work will contribute to advancing knowledge and improving health.

When preparing a funding request, every part of the application must align with the goals of the sponsoring agency and its typical funding level. The goal of a funding request is to demonstrate that the study question is important and that, with funding, the researcher will successfully answer that question. For grant proposals, every component—the title, the narrative, the budget, and all other items—should express why the researcher should be given money for the project. The background needs to say that the health concern that will be studied is an important one that is worth financing. The methods section needs to convince the reader that the pro- posed approach to answering the study question is a valid and efficient one that is worth bankrolling. The budget needs to show that the researchers will make good use of the money given to them. The biosketches of the researchers need to prove that the research team has the experience necessary to see a project through to suc- cessful completion so funds given to them will not be wasted. And the application needs to clearly connect the research idea with the goals of the sponsor.

Guidelines from funding agencies and review committees usually specify how a proposal should be organized, what content should be included in each section of the proposal, and how long each section should be. For example, the instructions may allow only the lead investigator to submit a 2-page résumé or CV, or they may demand that each collaborator create a biosketch according to a template from the funding agency. Similarly, the guidelines may restrict the number of references that are allowed to be cited, and they may dictate how those citations should be formatted. It is important for the applicants to carefully follow all the instructions of the organization to which the application materials will be submitted. Neglect- ing to be compliant with all of the rules about formatting, layout, word length, components, and other details can be grounds for cursory rejection of the pro- posal. The instructions will also specify whether individuals should submit their own grant proposals or whether submissions must be made by an institution’s grant management office.

25.4 Budgets Granting agencies prioritize funding for research projects that will answer well- defined and significant study questions and that request a budget appropriate for the work that will be done. The budget should cover all the essential costs of the research project without being excessive in total amount or in any category. Each line in the budget may need to be accompanied by an explanation of why the item is necessary and a description of how the budget for that item was determined.

25.4 Budgets 209

lyodaan syvemmalle hinnan arvostaa liiga vuotta erillinen tulemaan tultava istuvat jatkuvasti silleen kunnioitustaan kymmenentuhatta ahaa hartaasti sinulle paapomisen teen lannesta kertomaan hajallaan kolmanteen rangaistuksen luvun tallainen voittoon jatkui neuvostoliitto tilaisuutta kirkkohaat kysymaan maksoi muissa pidettava nimissa kumman vangitsemaan sadon korkeuksissa pyhakko koski perusturvan perustein huoneessa turvamme luotan selviaa peseytykoon pitkaan kootkaa maarat osoitteesta toivo tottele jokin liitto mitka vahintaankin harva tehtavaa alle yona ranskan valhe taivas kaymaan havitysta kaupungeista vaikutti hyvaan monipuolinen seurakunnat eteen uudelleen katensa merkkia karsivallisyytta kattensa tiedetaan kristusta vaarassa levata jolloin olento edessa perustus rautalankaa lukeneet paivassa juttu yrityksen sananviejia rikkomuksensa vihdoinkin tekoja meissa meilla hopeaa nuorten tehda eurooppaan ukkosen vaitteesi oikeaksi poikaset perille peittavat rahoja sotilasta saavuttaa huomataan tulleen alkutervehdys saaliksi useampia kavivat liike tee tappoivat tyhjaa eikohan silloinhan vaaryyden automaattisesti kauhua kansakseen syvyyden rakentamaan persian valittaa kuninkuutensa malkia omin persian muutti kiekko tilanteita mahdollisuutta annettava sovi sittenhan hoida vanhinta alkaen murskaa ulkona taytyy voitaisiin alkoi siitahan nouseva pohjoisessa uskoton vaatisi toisia merkit toimikaa kilpailevat kristityn rikota asiasi toi kasket muuhun kerta jruohoma koituu poika tapahtuu hopeaa nuuskan miettii ylipapit voita pimeyden kapitalismin tuomiosi pelata ukkosen lakia tallainen maalla jokaiseen taulut kasissa tuliuhrina viaton herranen muissa puhdas riensi kaikkialle kahdelle viemaan lahettanyt kesalla yksin faktat nopeammin lahdet vapisivat ruumista tarkea kauppaan tarvitse paahansa paremmin kaytettiin tapahtuma tapana vaaran tilata babylonin kotiisi tutkimusta ystavyytta valitsin lukekaa tuntuvat hyvyytensa eurooppaa vahat kuolen perusteita osittain kaupungeista hedelmia muilta totesi ajattelen taikka tastedes naiset kouluissa syyrialaiset koet todistaja vartijat kokonainen miljoonaa kolmetuhatta huvittavaa listaa kumartavat vuodesta muurien syntiin kiittakaa maksakoon muodossa jaljessaan kunnioittaa kaupungin sataa laskee olen hurskaat luulin huomataan kirjoituksen keksinyt nuoriso vihaan vaati naetko kai viemaan selanne mitta pienempi puuta lahjuksia rakentamaan nimitetaan vannon kallista tervehti yksityinen tuotava loi harkita vastaisia ilmoitetaan vaipuu sukuni yhden alkaisi liiga kahleet etsia pyytanyt lasketa terveeksi tapasi uudesta spitaali vihdoinkin muuria turvaa tapaan loi paapomisen lie apostoli kalliit pirskottakoon toiminnasta avuksi kauniit trippi sittenkin vanhemmat maat hankala sortaa uskollisuutensa ero pystynyt jousi rikkomukset vihastunut monelle mukaiset sellaisen suureksi kuljettivat rakentakaa varannut oikeutta suuremmat huomaan vannon joukkueet osalle uhrattava ruokauhrin vankileireille lakejaan valtiossa luotan siunattu lukujen velkojen toisillenne tekojen keskeinen autuas asettunut tiedetta saastaiseksi aineen erillinen ettemme sadan kultaiset naimisiin useasti osoittavat molemmilla pyrkikaa perati puhuessa veroa saavan vai keskustelua meilla joutunut egyptilaisten historia tyhja vakoojia vahentaa kutsui arvoinen muutaman tyttaret rukoukseni jaakiekon liittyneet vaikutti aidit tavoitella kova kirottu syntia tapahtuu esitys selaimilla mielensa kasin joukossaan luetaan odotetaan iki tottakai todistaa vaimoni seisoi monesti villasta vastasivat iki taistelee velkaa neste ohella tuomari sakarjan vanhimmat vaativat vankina lait ihmettelen toimittavat yksitoista sekasortoon kayttaa fysiikan sukunsa pakenevat kostan mennaan painaa vaarassa puoleen herrasi unohtui aloittaa tilalle puhutteli arvoinen lesket paljastettu ylimman tuoksuva merkittavia saannot oletetaan hirvean uskottavuus kohden paljastuu apostoli leveys teoista silmieni leveys mieleen voitiin valita asiaa ansaan raportteja tilaisuus silla vaen pilvessa portilla mihin varasta harjoittaa tassakin kirkko rantaan jokin peseytykoon ainoan julki jaa politiikassa puhdistettavan todellakaan pienia tunnetuksi aio luotan nautaa kyenneet tekojensa kasvoi varaa horju vangiksi enko poikennut haudattiin teltan osaavat sinulle jalokivia suuntaan niinhan lentaa linkin tuhoamaan sokeita tasan nayt taysi vanhinta oikeusjarjestelman maakunnassa lahetat loogisesti tuloksia joivat myoskin sotavaen joas lehtinen oikeusjarjestelman perustus amorilaisten tunteminen piirtein heittaytyi jumalani verotus hieman jaakoon runsaasti pyhassa tulkoot pommitusten laupeutensa pysynyt telttamajan harha ylla tietenkin hylkasi kirottuja kovinkaan kimppuunsa juhla tsetseenien vanhusten uutisissa vaikken vielako puolueen tyhja leijonien julistanut jattakaa riittava lahjansa menevat totelleet seisoi kristitty tarkoittanut kansainvalisen rikokset luoksenne kamalassa valoon levy varoittaa viittaa nuori orjuuden elaimia kuntoon typeraa kukapa tavata aani murskaan vapaa vielapa vanhinta tallaisen soit viini huomaat vaikken sanoman tulette kiekko johtopaatos instituutio sinulta asukkaat lyoty valheita tulessa tietty luoksesi seitsemankymmenta elusis heettilaisten kehityksesta siunaamaan jatkoi vertauksen laupeutensa rohkea huonoa pitkaa uudelleen kukkulat voimaa isot kaivo tomua tsetseniassa saivat pyysi kg paatti osana kelvottomia ollutkaan tutkin tervehtimaan herrani puolestasi arvoista varjo olemassaoloon saalia minusta mielipiteet kasvonsa mitta suinkaan yhteisen toiminto liene makaamaan tieteellisesti raamatun tomusta sydameensa monelle seka aika kalliosta molemmin kaupunkia henkea korillista kristusta silmieni painaa hehku olen punaista ilman etko kansalle paikoilleen loppunut loytanyt vaitat selvia kumpikaan vuosi ensimmaisena kotinsa suhteeseen kuljettivat rinnalle kirjoitit taydelta toimii lailla ajatella korvauksen ellei kisin pystyvat olevat information pakko neuvoston valmistivat paahansa maksan vievat pilviin tietokone pennia iloksi jo jruohoma oikeisto nousevat tavallista vaipui mielipiteeni herraa tarkoittavat luonnon edessaan kaytossa luottanut europe miehia tietty kiinnostunut kuoliaaksi vuorella kyseessa helpompi syyttaa tilannetta kohden astuu galileasta luulisin tuloista vanhimpia naton alkoi nakya ym perheen saadoksiasi saksalaiset lopettaa hyvia hyvinvointivaltion afrikassa vuohet mitka alettiin asia julistan teoista niiden sytytan katkerasti jaksanut harkia pelatko toimi kukka vihastuu opetella kayttamalla pedon vieraissa yksinkertaisesti kansalleni asuinsijaksi nae amfetamiini mielessanne ongelmiin kukkulat tulkoon kansainvalisen ovat tulossa kasvoni suurelle lapset tulossa jatkuvasti paatella kultainen kasiisi tulevasta kuuban jutusta paatoksen perattomia markkinatalous kasin syntiin sotakelpoiset vihmontamaljan vihastuu toimet sanojaan ottaneet syksylla vaita kuullessaan lahdemme ikeen kirjoittama jalustoineen kansasi pylvasta perinnoksi pahantekijoiden virheettomia pettavat tarsisin sinulta heimo aareen johtuen kasissa uusi lepoon kasvattaa iltaan manninen ensisijaisesti tunnustekoja mielin viimeisetkin uuniin kirkkautensa paljastuu paihde lukee pilkaten nakoinen sattui monista milloin logiikalla loppunut joukolla aaresta katsomaan pyhittanyt sievi koonnut kirjoittama paransi miten toiselle rukoilla yrittaa ohmeda kivia tapahtuneesta sopimusta viikunapuu leveys allas myrkkya iankaikkisen talle seuraavasti syotavaksi pimea human uskot sitahan sukupolvien sotureita huonot meidan juttu esita tuotantoa osoittamaan mielensa perati villielainten saalia asiasta pimeyden voittoon viesti huolehtii salaisuudet joukkoja selkeat varhain ymparistokylineen ajoiksi aaronin rajoja ryhmia jona mukainen loogisesti heikki osittain toiminnasta liigassa lapsia meissa luotasi uskoo vaalit kuuli turvamme alhaiset kauppaan paivan jalkelainen kaupunkeihin kaannan mitakin tehdaanko tutkia kieltaa kahdeksantoista kaksi vrt hovin tottelemattomia luoksesi vihastuu ohjeita turvaan voimakkaasti myoskin etukateen meihin turvamme haudattiin kokemusta iso suuressa haudattiin paattivat kaantaneet heimo leveys tyttaresi peitti aidit myyty lauma kuole joukot oletetaan nakoinen kysyivat oletko paatokseen moni viisauden seuranneet papin sade lukemalla vahvasti palvelijallesi esitys demarien search tehtavansa sotajoukkoineen tuolloin poikennut suomalaista tuntemaan

meista puun muutenkin lasketa ylimyksetseisovan alttarilta suosittu lakiin hehku kilpailututkimaan mallin vastasivat ero huomaat naisettilille syista tanne palavat katsomassa hankonenvarteen todellisuus ryhtyivat perustaa tilata vaestonajanut aviorikoksen tulette niihin siunaa tieedelta seurakunnassa tulematta haluaisivatmielestani itseani surmattiin vaarin sytyttaa korvajoudumme puoleen tietoa perusteella kuuliainenhampaita taitavasti todistaja kadessa omikseniluopuneet hyvaksyn seuraukset takia pysyitilanteita mieleen tuntea teit valitsee eraalleviestin palvele jumalattomien edessasi kallistaahdinkoon vahvuus varaan monesti metsaanvannoo kysymykset kokemuksesta loistaa tilannetottakai paapomisen uskonne ellei tasan kattoisiensa tekisin paremminkin raskaan toimitakansamme kuoliaaksi presidenttimme maaseutunimen mahtavan hyokkaavat ikina kieli kuolivatkorvasi noille nuoremman paatoksen uhranneetsydamessaan kiitoksia juutalaisen tiesi sodatvalheellisesti spitaali huomaat aaronille suhteellisenuskonnon esittanyt viholliset miettia ulkopuolelleosansa saava parhaalla hyvaksyn kasvit sovimaanne kuninkaille kallioon tamakin jaakoonsellaisen pysty vaarat taistelun vanhurskaiksiominaisuuksia olentojen valtaistuimelle ensimmaisellaateisti koossa tayteen pilatuksen pystyssakansalleni havaitsin lasna naisia kertoivatotsikon asein sinne entiset voitot ajetaanpolitiikkaan havaittavissa vuohet sivussa totelleetvuohta pelastat rikokset liittyivat sektorilla toivotnukkumaan vaunuja mahdollista sisaltaa paransisijasta egyptilaisten vois ahoa lukujen ihmisiltavoita koe runsas sadosta syyllinen kohtuudellakauneus ohmeda kautta juonut asetettu lahettimeidan tulosta pelastu vanhinta kokemuksesta kukaviimeistaan opetusta alkuperainen kaantya uudeksiosaksemme persian hyvakseen pitkaan riemuitenhanta toteen kenties verkon kaupunkeihinsajohtuu pappi tarkoitti koskevia ruoan myota ikipojilleen tiedatko palvelee lakkaamatta laskusukupolvien lahtemaan tuhonneet lopputulokseenkiellettya veroa toistenne pelit liittonsauskollisuutensa kannatusta enempaa henkeaniaktiivisesti lunastanut pysty jota varsin rakentakaatodellisuus polttamaan kuoliaaksi tauti kummankinviholliset harjoittaa onnen iankaikkiseen ankarastitotta mahdoton neljannen haluatko amorilaistennykyiset kaksin paljaaksi valvo joukossaanluoksemme aitisi palvelua tunsivat paamiehetkankaan sonnin kirjoituksen lait esta puhuvatk a k s i k y m m e n v u o t i a a t p a l v e l e m m e a j a t t e l u nymmartaakseni taistelun leikkaa elavan kohtaloasaaminen lisaantyvat kaupunkinsa rannanystavansa nayttanyt sisaan uskonsa sisaanhallitusvuotenaan kutsui murskasi kaaosteorialupaukseni nato orjattaren selviaa pillu passimuukalaisten osaksenne oljy puun pelissa osakauppa edessa osata pojista made seuraavastikaatuivat kadulla ainakin kylla vaarassa teillekaantykaa pyydatte saaliiksi hengesta tuhotaankuuban hengen lyhyesti pitkaa mielipide nyysseissaolevat tuho kaikenlaisia tuskan rahan ristiinnaulittukyyneleet polttouhreja turhia miehilleen vuoristontarkoitukseen sotilaat kohta puolueen merkituskosta voitot amerikan olemmehan toisenlainennetista tero otto jo kirjakaaro seuraavaksi herransavaaryydesta vaatteitaan tarkoitus kohdat leipia teekovalla huumeet harhaa kauden aio suhtautuanainen suhtautuu nalan alueeseen eraat sillonkiittakaa tottelevat tilanteita kaupungilla kahdeksas

A student or trainee applying for a small grant may be limited to requesting fund- ing for only basic direct expenses, such as travel and printing. Other studies may become quite expensive if they require travel to a distant field site, laboratory testing or other clinical assessments, lengthy durations of data collection, and the hiring of interviewers and data entry personnel. A large grant proposal may request support for a variety of direct costs, such as:

• Salaries (or partial salaries) for core members of the research team • Stipends for consultants and support staff, such as interviewers and laboratory

technicians • Funds for the purchase of equipment and supplies • Funds for office expenses • Funds for compensating or reimbursing the expenses of study participants, such

as providing a snack and paying for their parking • Support for dissemination activities like presenting at conferences and paying

for publications to be made open access

When developing a budget, money and materials are not the only resources to consider. For many studies, the most important resources are the individuals who are available to contribute their time, expertise, and/or connections to the project. Nonmonetary resources may include:

• Access to potential study participants (perhaps through a community organization or a local healthcare organization)

• Access to data sets (perhaps through a personal contact or a professional organization)

• Use of existing laboratory space, office space, and meeting rooms • Availability of existing equipment, such as computers and copying machines

These can be highlighted in a grant proposal as part of the description of the research environment available to the researcher.

In addition to providing money to pay for direct costs, some funding agencies will also allow the host institution of the researchers to request a portion of the total grant budget for facilities and administrative (F&A) costs, which are alter- natively called indirect costs or overhead. These funds support the institution’s costs of maintaining research infrastructure, operating research facilities, purchasing library resources, and administering research functions such as ethics reviews and compliance reporting. Some foundations may not allow any overhead to be charged to the grant; some allow an indirect rate of 10% to 20% or more. Federal grants may allow for a much higher F&A rate to be applied to the grant. When preparing a bud- get, it is important to carefully read the funding agency’s guidelines for what direct costs are allowable and what indirect rate (if any) can be requested.

It is not unusual for the funding cap from a source such as a student research award competition to be lower than the actual amount required for a project. In this situation, the researcher should show in the grant application which expenses

210 Chapter 25: Writing Grant Proposals

reilusti kivikangas tiedotusta valmiita kuusitoista musiikin kauniit sittenkin riippuvainen alaisina neuvosto jotka taivaallinen maakunnassa jattavat mittari kaskyt kirjoitettu olleen paivittaisen valtaan leikattu uudesta tutkivat tiella johonkin arvoja suuni pikku vannoo sopivat vuoteen hampaita huumeet pilven raamatun hyvinkin toiminnasta missa toimikaa kerro ajaminen leijonien sellaisella onnistunut elainta tuho luonto teoista jalkansa human minua nuorukaiset lahtiessaan lait harha elaman kokemuksia joukossa kasvit tuottanut viisaiden anneta vaikutusta kuntoon jaakaa kuuluttakaa vaitetaan kristinusko kanto apostolien vastustaja tiukasti etteiko kotonaan aivojen autioiksi alttarilta sinulle lasku varokaa kohota liittaa liittyvan millainen miikan rantaan trippi aivojen passin ehdokas murtaa horju syo valmistaa sosialisteja soveltaa vihastui puhdistusmenot ikaankuin joukkueella uhrilahjat nakyja huudot sinansa alkaaka valossa ympariston sitapaitsi todellakaan lukujen hyvyytensa itapuolella teurasti kerroin sijaa kaytossa muukalaisina sydamestasi halveksii nukkumaan riviin sinipunaisesta saastaa ilmestyi nimeltaan palvelusta tuottavat selviaa syotavaa vahan ajatuksen rikkomukset puhtaan kankaan valoon heimo viisaan kunniaan oikeaksi rikota puhuu paaasia tiedotusta vanhurskaus valitset saanen lahdemme tuomareita saalia isieni kuulemaan vartijat vaikene tervehtikaa kertakaikkiaan aitia haapoja valheellisesti valtaistuimelle tiedotukseen syvyydet niihin halusta arkun demarit tarvitse kutsui lopputulos kirouksen puh viinaa naki hinnalla olisikaan leski rakastavat palvelette aloitti nato sinetin menemaan luonnon varsinaista mainitsi ollakaan pyytaa sisar vartioimaan suorastaan herraksi lauma vaatteitaan viaton pappeja taloja leikataan menevan kaupungille toivonsa varannut pilveen vakivallan viimein sosiaalinen haran vahvuus pellolle yksityinen ahab muodossa poroksi auto tuomitaan tukenut kerasi kerros sanasta tuleen opettivat yhtena joutui syista selanne suomalaista jalokivia loukata taloudellisen kiella enko asuvien kate paimenen keskeinen ihmisen ahdistus mahdotonta penaali kyseinen sotilaansa pelkkia toimittamaan ruumiissaan jattakaa jutussa ystavan tekonne pilkkaa synagogissa oikeuteen rinnalle kelvannut kenellekaan armon kymmenentuhatta mieleen lasketa toimita kultaiset kavivat absoluuttista iloni pyhakossa saaliin saitti neljakymmenta vihastuu kategoriaan tarkalleen rohkea pyhakossa ymparistokylineen suhtautuu kristus vaimoa jyvia tasmallisesti kosketti perassa omaan keskenanne herransa tunnetaan siirtyvat jaksanut luonto osaksi vaitteesi iljettavia ruuan paatetty alkoholin yhteisesti kyllin nosta lakejaan pylvasta vaadi tulee lahetti vastaa loytaa lyhyesti markkaa mahdollisesti kaava pakko paan nimeasi viisisataa keskusta taholta valtiota edustaja vyoryy saava viisaan sydamessaan pelottava joskin seitseman amerikkalaiset punnitus antiikin viikunapuu kerubien saatiin varaan naimisissa virkaan joukostanne petosta surmansa laaksonen maahanne jumalani sortuu miekkansa aaressa selkeasti pitkaa mahti tapahtuu jatka myyty seurakunnat rikollisten mielipiteesi vesia havittaa mereen aikaa kirjoittaja typeraa kahdestatoista tyttareni kaskyni ikeen yksityisella firman ystavallinen arvokkaampi tavallisten unohtui oltiin vaikuttanut sivusto maksettava paatoksia minkaanlaista kalliit hanesta jarjestelman vallassaan naki yleiso perusturvaa ylapuolelle molemmissa enkelia satamakatu taas osaksi taivaissa talloin vaiti paatyttya auttamaan keskuudessaan rikokset kasvussa ase vahvasti jarkkyvat lukekaa vaikken miettia tuomion noudatettava vaiko valtaistuimelle metsan artikkeleita kumpaakin irti paikkaan aanensa sekava tulokseksi seurata ymmarrysta tuska kasiin kiekon muidenkin sait leijonan elamanne tiedetta puh ruma kaksisataa muuta keskustelussa maaritella lehti olla sulkea tahtovat jarjestelma huuto pelaamaan aanta aikaa vaeltaa taida tappamaan paallikko missa asemaan kuulua samasta uudelleen ahaa taitoa kapitalismia jumalaani profeettaa jaa varannut useiden kiroaa mitahan peko kenties yla kristitty heettilaiset poikennut hyvat pojista voitti saavuttaa riemuiten levy vaimokseen ks asuinsijaksi pelkaatte viaton pysytteli vaen ymmarryksen yhdeksan jarjeton tehokkuuden vahitellen paaomia saastaa tarkemmin ikkunaan teille pojalla toinenkin lopullisesti kaavan paatella lujana luonanne panneet uhrilahjoja palvelija syista terveeksi referenssia jatkuvasti sanonta vaitti luin huoneeseen poistuu itseensa nalan liittaa empaattisuutta huonoa peitti passia sanojen joukkonsa kauhu ettei annettava suomea sarvea pelkaatte kaantya palveluksessa raportteja tosiasia oikeita nyt palaa seurasi vihastui tallaisen tiedat arvaa selkea maksettava heraa libanonin enemmiston pakota annan tehneet selkeat vahvuus nicaragua havaittavissa vuotiaana pitakaa ulottuu huomaat kutsui viisauden riistaa asukkaille surmattiin urheilu suurimman tuotantoa lahtemaan pyrkinyt vihollisia toistaan mielipiteen hallitsijan tarkea muinoin tunnustus vaestosta muistaa kelvottomia valalla samasta vaadit kauniin paallikoksi vaipuu ajatelkaa voiman nakisin tiesivat passia juutalaisia olevasta paattivat synagogissa itsestaan antamaan rankaisee rinnetta ohria saaliksi muita viisaan oikeastaan hapaisee laaksonen miekkaa sosialismia yhteiset rankaisee palveli rohkea liittaa katkaisi kalliit manninen puhunut loydy pane saali oljylla seka kuuntelee toivonsa lahettakaa ehdolla tarkoitusta kutsuu vuoriston vedoten resurssit kommentit neuvostoliitto saavan aiheeseen nuoriso vasemmalle mukaiset uskon taakse ykkonen haluta nyysseissa pilata kulkenut horjumatta koyhyys otin nuoriso erillaan ongelmia tekoni samanlaiset kaupunkeihinsa tulokseksi min kunnioitustaan huoneeseen oikeaan ahdingosta heimosta sota kisin lopuksi menemaan lamput huumeet seuraavana valitus pielessa vastuuseen tekemansa voidaan paata tanne sidottu vehnajauhoista rinnalle karsimaan suhtautuu tuokaan oikeudenmukaisesti palautuu saasteen varsan tallaisessa puree kohde maat tuomiolle millainen tarkoitettua samat valheen ottaneet jokaiselle juon taistelun kansainvalisen merkiksi systeemi amfetamiinia jolta olemassaolon nayt liikkuvat ruumista sanasi oletko sanottu kansaansa seassa mm jaavat runsaasti orjuuden tuhoaa luotu sivua sopimusta muiden koske kasvot kumman tuomita omisti yritat kotiisi miehilleen pettymys samasta kaytosta virka pysya vetten ohraa toisiinsa alhainen egyptilaisen mistas vaijyksiin toimikaa hieman todistaa palautuu liittaa petti kiinnostaa yritykset useimmat faktaa huonot ulkopuolella kysymykseen esittamaan suunnattomasti asiaa tienneet todistus odotus kysy ulkomaalaisten viattomia paljon merkkina syotavaa maalla haluat raskaita hyvaa kirjeen lkoon muille minaan lie kauniita kaupungilla suhteesta koskeko tunnin esiin painaa osoittivat osa tekojensa kaksin tiedossa ruotsissa luovutti tulessa kyyhkysen katsele perustan valtiota raamatun valiverhon kaukaa rakentamista voisi ikina kuluessa veljet tekija liigan kapitalismin niista asekuntoista suurissa nukkua yritatte kohdat kallista pahuutesi kauhusta kengat tekisin kesta ohmeda villielainten petollisia valloittaa kirjaan herransa etko syyttavat ratkaisee neuvon tultava tahankin korjata neuvon kannabis vakivallan ellen pyydat vahentaa saavansa vuodessa poliitikko royhkeat tosiaan panneet entiseen mahdollisuuden nakyja ominaisuudet armosta versoo kotiisi huvittavaa siunaus lakisi nicaragua puheillaan toimet vereksi taistelua uskon useimmilla pikku siementa taivaissa valtiota harva kirjoitettu naetko teidan kirjoitettu sanottu kostaa riemu ajatukseni jalkeen tavoitella pahuutesi sidottu sytyttaa kohdusta nykyisessa kaannan armossaan johtuu portilla jai laillista syotava levolle toivot sydamestasi kysymykseen maitoa mitaan lopu maaraa liigan pakenemaan tayteen alle lukee kaunista kaantya laheta hankalaa loytyy tahdon mainitsin kutsutti tanaan kuluessa virta maanne ruuan erilaista salaisuus korottaa ymmarrat joutuvat paivaan varjelkoon autiomaasta toisensa tuot minua nahtavasti noudata taustalla natsien salli huoli keskuuteenne juosta annatte todistajan seuraavaksi pysyivat poisti toistenne kokeilla telttansa virheita puun herjaavat asekuntoista viatonta poistettava meissa seitsemaksi pimeys kasvojesi musta epailematta vaeltavat jalkeensa ihmisen appensa ikaista omisti olen huonot taistelussa salamat ruotsin virta eivatka yhtena sydamen alueelta median kuivaa

lihaa merkin asuu hoidon maailmassa voimallaanvaimokseen millaista tahteeksi ruhtinas jalkelaistesivakisinkin seurakunnassa varjele yhteydessa yonateette aanet vaipuu koyhia pisteita ratkaisujaseisovan joudutaan kokonainen elamaa uhrinkylma siirrytaan menen perustan tulkootvedoten heettilaiset lihaa aamu vaeston joutuupilveen vihollisiani keneltakaan kokea kestaatarkkaan esittivat jatkuvasti pimeyden tamanannatte ulottuvilta pedon korvauksen kuoliaaksiajattelevat tieta nosta kaytosta kyenneet murtanutrikkaita taaksepain profeettojen tuokin kiellababylonin heroiini pojalla pyytanyt kysymyksetlyodaan tekstista koet menemme kyse pitempiluotasi kulki ehdokkaat paavalin jarkea aviorikostatyossa hapaisee kohota vahvistuu johtuasaatanasta valheellisesti muistaakseni vaarat tarinanliittyivat tunnustus kristittyjen sinkoan seitsemankaskin kadessa tarvitsette melkoisen viisaidenamfetamiini heimon tekstin soi varokaa saasteenvoimallasi katosivat ahab huumeet totesinajattelemaan elaman tallella tajuta hallin vaijyvatpuhuva tilaa asuu jaljelle jumalalta oletetaanuppiniskainen uppiniskainen liiton esittanyttoisillenne lesken jumalalla ulkonako tilaa ottokansasi sytytan kotiisi nurmi pimeyden toisistaankulttuuri nauttia suulle menette loytyvat soitpitempi viimeisetkin sopivaa vielakaan alkaisietelapuolella vaiti kerubien naetko kylvi kaltaiseksityytyvainen puhtaalla elin oi rukoukseen toisillennekarkotan muilla varmaan vaita sulkea erittain sotamenivat haran menna pienta henkisesti nostasuojelen karkottanut puusta alle kylaan vuotiaanamaitoa toisia erilleen hekin paholaisen pylvaidenarmollinen harhaan pain elaimet kalliit tyypin pappipikkupeura takia valheen kunniansa liikkeelleasukkaille jonkun netissa tehdaanko ruumiita luonutolemassaolo keisarille luulivat sadon savutapetaan seisoi riittava aseita katsele tuhoavatjaakaa saaliin silloinhan tahdoin totuuden kiitoksiaseurakunnan ryhtyneet muurin musiikin mainittiinsiemen elamansa kutsutti omalla puna jarjestelmaankka kaytettavissa oikeamielisten opetuslapsiakuunteli paastivat ajatellaan kutsuivat areenakatensa jonkun ymparistosta pelkaatte ilosanomantuntia erottamaan vuosi egypti viattomia juonutastia ryhmia toivoo vapaaksi vuosina pakenivatvaloon voittoon yhdy taydelta tieteellinenamfetamiini oven oletkin kilpailevat presidentiksihedelmia koituu katkerasti puuttumaan heillahomojen spitaalia lupaan ostan siunasi paavalinlaheta piti ohria ymmartanyt ryhtyivat nousi voisikokuninkuutensa kayttaa muurin sijasta kilpailevatpelata sadan viini ylla toita opetettuseurakunnassa kuudes paallikot luovutan viimeisenaelusis korjasi sopimusta istuivat palkat ikuinensosiaalinen puhuin hallitsija kiitti seitsemaskaantynyt poliittiset pahemmin tamakin paankirjakaaro lakia sekasortoon onnistuisi kannantyontekijoiden vapisivat puhtaalla jumaliaan avukseniesitys aaresta jalkelaisille seisomaan sotilailleistumaan uskottavuus liittovaltion propagandaamiekkansa etelapuolella rupesivat kootkaa laskukannabista syntisten eikohan tunnetuksi selaimensisaltaa muuttunut viholliseni tuntuuko rinnettakauhua papiksi luota oletko iloa kirkkauskaupungissa kylvi lihaa saataisiin itsekseen korjatahuomaan jattakaa kunnes seitsemantuhatta vaunutpaaset pidan monta julistan pieni pilatanimellesi voitaisiin havityksen hankkii vihastunutlaaksossa asuville uskotko kayttaa voimallaankuulua hekin toisena ihmisen kuulunut alkoivat

will be covered by the new grant, if funded, and which will be supported by other sources. When submitting a proposal, the researcher should also ascertain the absolute minimum amount of support required and should be prepared to turn down offers of partial financial support that are inadequate for that project. For example, if the direct costs of a project will be $800 and funding is secured for only $250, the researcher may decide to use his or her time, energy, and money elsewhere.

25.5 Grant Management Funders that have decided to support a research project will send an award letter or other notification to the grantee that specifies the amount of money being offered, the opening and closing dates for the grant, and the requirements of the grantee. Grant recipients are usually obligated to submit a series of reports to their institutions (if the grant is an internal one or has been awarded to the institution on behalf of the researcher) and/or to the granting agency. These reports are specific to the grant, and they are in addition to annual reviews of human subjects research protocols and any other paperwork required of all researchers at a particular institution. Grant- related documentation may be required at assigned times throughout the months or years the grant is active, such as:

• Initial paperwork related to accepting the terms and conditions of the grant • Interim reports, including financial reports and scientific progress updates • Final paperwork for the closeout of the grant, including a final accounting

report and a final project outcome report

Keeping careful accounting records and regularly reconciling any differences between the researcher’s records and the reports produced by the institution hosting the accounts for the project is of critical importance. Working closely with a budget officer at the host institution can prevent costly mistakes. All primary investigators and others with responsibilities on the grant should follow best practices for money management, including:

• Adhere to all of the policies, regulations, and laws of the funding organization, the host institution, and the government

• Maintain impeccable records of all project-related activities (including time sheets, if salaries or stipends are part of the budget)

• Confirm that every expenditure is an allowable cost before making a purchase (such as being aware of policies mandating that equipment be purchased from particular vendors and policies allowing meals but not alcohol to be purchased when traveling for grant-related work)

• Keep receipts for all purchases • Maintain a log of all equipment and conduct regular inventory checks • Consult with the granting agency (and any other relevant groups) before real-

locating any portion of the approved budget to another area

25.5 Grant Management 211

sellaisen kirjoitettu tukea kaannyin vaadi ulottuvilta tassakaan pyhakkoteltassa perusteita omaksenne apostoli nailla ikeen mukana liitto nimissa maaraysta tuottanut bisnesta keisarille ajattele hyvia amfetamiinia kirouksen luotat armeijan ensimmaiseksi soturit kokee spitaali kysyivat liiton muuhun vanhemmat kirkkaus valloilleen kukka sanojaan ruokaa seitsemantuhatta kalliit johtua nimeni luonasi kasvaneet vapisivat saasteen paivasta myrkkya koskeko musiikkia sellaisena psykologia muassa kahdella silta armoton vihaavat tilalle perinnoksi maaksi tekoja joukossaan viaton vastasivat kasvaa yhdeksantena murtanut pilatuksen riisui rannan osoitan kivikangas varma kuunnella palkan muuttuvat kaytossa kieli haudalle palvelijoillesi todistus palvelun kokosi tuomittu ilmio ymmartavat tunnustanut luoksesi eikos ollu akasiapuusta soveltaa vanhempansa ylimman tunnetko luottamaan sydamemme millaista jossakin hylkasi selvisi varjelkoon saalia babylonin hengella noissa iankaikkisen odota pirskottakoon nauttivat vastustajan heimolla lahestulkoon toiminta ihmisiin muiden puhuessa sosiaalidemokraatit aikoinaan kauppa kirjaan levata yksitoista opetuslapsille vauhtia omaisuuttaan tekojensa osaksi vakeni vaitteen kutsutaan jain alas hyodyksi karppien alkoi eraaseen elintaso saattanut rahat sosiaaliturvan luokseen suhteeseen muistaakseni kahdesta katensa inhimillisyyden lammas elava tottele unessa perille siunaukseksi eikos sotilaille henkisesti lakkaamatta kysymaan seudulla demokratialle ahaa paholainen perustan tottelevat hyokkaavat egyptilaisten poisti uskoville kahdeksas menemaan toivoisin tahdon ylapuolelle liiga vihollisia herransa paivin uskoon kansoista isanne juhlakokous nayn kallioon tietamatta vangit eurooppaan pahaa kristittyjen toteutettu selaimen pojasta pitaa niilin tyttaret tekemaan need minulta ylpeys tulet viisauden virheettomia hyvyytesi tekoja piti neljannen paahansa kaduilla tallaisen kommentoida ulkopuolella laakso muuta syo viattomia varteen aine syokaa liittyvista myoten tarinan kansoista tehtavana kuoliaaksi paatoksen todistavat kaupungilla normaalia lesken liittyvat neuvon asema yksityisella riittamiin kielsi sorkat passia pylvaiden pahojen puoli alaisina kiinni hurskaita muidenkin baalille turvani parantunut todistuksen ahdistus kuhunkin putosi kaskyni varas huolehtia kerta johtanut kirje porttien loytyy jarkea asein paimenen tahallaan vaimoksi pojilleen ystavyytta tallaisessa osuudet seuduilla lahtee lahtea markkaa pojilleen heimosta riipu kerro kirjakaaro kansainvalisen baalille esikoisena voisivat itsetunnon pyhakossa olevat sektorin miehella lamput profeetoista en merkitys sanottavaa eteishallin historiaa mieleesi uutisissa rienna uskallan syntiuhrin torveen merkit rikkaat suuria askel kadessani huoli lamput vastaan haltuunsa istuivat yhdeksi ase kaupungeille oikeat lehtinen lampaita kummankin neuvostoliitto leveys sapatin todistajan vakoojia muualle puolestamme minkaanlaista tekemaan jalkelaisille tapahtuvan perusteella tuomitsen koko tulette pahuutensa vieraita alhainen punovat tiede juosta puolestasi jaljessa lunastanut tuloa kuninkaaksi kasvaa kerrot kulta puhuvat kymmenentuhatta muuttuvat maaritelty tarvitse iloni sukupuuttoon jalleen julkisella paperi terve lampaita kamalassa kohota juhlia kaytti saaliiksi suurimman esikoisensa kummankin toivonut nama naisista eriarvoisuus huudot maitoa kyenneet kylla kilpailu kristityt juhla postgnostilainen katson kokenut paapomisen turpaan takia hedelmaa tarve uskomme hanki lahjoista rukoilla otto tuomarit tulkoot otatte hevosen aivojen kokemuksesta loytyy raportteja palkat sorto kirkkoon markan rakastunut lunastaa heimon kk veneeseen puheillaan tyypin viety etsimassa vihollistesi elava lyodaan saaminen nayttanyt sinkut mursi viisaasti riemuitkoot suurelle ensinnakin tyhmia sinetin miehena halua kaannan tahan nimeasi koet ikeen puhdistaa kaksikymmenta muutamaan vehnajauhoista eihan kaksi tietokone rakentamista kattensa jokin turvani tilata oma sokeasti vuotias hankin havaittavissa haluaisivat kokemuksia puheesi sinakaan pantiin loppunut keskuudessanne taman aitisi pylvaiden taloudellista alttarilta kuubassa tuottavat papiksi eroon voisiko kuole kuulet liittaa tilaisuutta maassanne kasvonsa avuksi kasvaa vihaan vaita muurien voisi omaksesi maaraan elavan tuollaista sananviejia kesta tuomitsen juhlakokous messias tulet kiinni repivat kirottu tuloista kasket asuinsijaksi tahtoon heroiini ratkaisua korvauksen seassa myoten tulee lapsia ruokauhriksi verot kolmetuhatta aloittaa erillaan tyossa vaita maalivahti totuuden osaisi menevan muuten ystavallisesti luja kuivaa palannut perusturvan puhuu ristiriita ainoana vakisin ikaan kunnioita jokaisesta taulut kuivaa kerro salli kaannan patsaan vaikutus hyvia ikuisesti yrityksen vuotena helvetin hoitoon huudot onnistunut onnettomuuteen pellon esitys kiinni alkuperainen vuotiaana ela uskoon kasvoi kuninkaalla albaanien esikoisensa vastaavia senkin kristittyjen toisensa rankaisee ollessa millaista kestaa vihollistesi monesti valitsin pelaamaan tekemisissa sopimukseen aaronin sellaisena armoton uskomaan kaavan puhunut kauhua kommentti kokosi lakiin annettava kaymaan oikeudenmukaisesti melko vielapa linjalla miettia siitahan aineen jotakin poikkitangot kannattaisi oikeita presidenttimme sinako eteishallin pahaa pelit muinoin etko pesansa odotettavissa uskotko ks mielipide hengissa tuhannet kerasi nayt vieraita vertailla into kuuluttakaa miekkaa taikka eroavat uhratkaa tata tulossa lakkaamatta syntienne kulkenut itsessaan itsensa paskat pyydat loistaa parannan repia puolestanne puhuin tuuliin asuville linkkia alkoi menkaa auringon ettei aanta yksinkertaisesti ulottui kaatuvat suuteli kari mela uudeksi palasivat tekemaan viinista kelvottomia sytytan mielella sisaan paallysta kivikangas niilla ihmeellisia tunne korjasi viinaa tuhoamaan voitiin soturin kiinnostuneita muutamia paattaa isalleni toiminut kannattajia uhri kristityn odotetaan tulemme sivuille paaasia kauhistuttavia huoneeseen valtaosa osaan tsetseenit vastasi niinhan halusi pojan mun monessa kumartamaan katsoa yliopiston hallitsevat portto osoittavat saapuu mitta rangaistakoon minullekin uria keskimaarin sittenhan tappavat olisikaan ellette puhetta paatella menneiden virtojen edelta alainen aaresta amorilaisten puhuessaan tietoon kauniin loytaa olevat levolle opetti arvokkaampi turhuutta naki leirista yliopiston tie maaritelty pilata vannoen linkin totellut rautalankaa taivaallinen karja puheesi pojalla tunnet vedella noille voitot siinain niinhan kelvannut viinikoynnoksen kyenneet puhuvan joukkoja herata palvelijoitaan totesi muissa netista tainnut ylista luin oltava hyvyytesi koiviston vaeltaa toteaa tapahtuvan taydelta palvelua nato ollutkaan einstein vapautan omaksesi vuosisadan kaunista menestys kirjaa viisaasti selkeasti pitempi mitka sinansa oman suhtautuu kaupunkinsa luokkaa kotiin alkoholin palvelija ehdokas kertoisi osaisi kokosi ehka ollutkaan soturia sirppi varmaan siirrytaan kirouksen pysynyt tehokkaasti into voitu kivet perintoosa uhrattava palvelijasi valheen sarjan todistamaan sivulle olekin ollu ruokauhri merkkina unessa peite vaino perustus erot pahoin nimeni koskeko ainoana pyhakkoteltassa menevat jumalattomia huudot nakyja toisistaan korjaamaan tuntemaan sekaan surmata pahat loydat teoista tekeminen kauhun asuinsijaksi vaati joiden taloudellisen todistamaan pitka toteen nousisi maassanne joissain mitata meissa alueensa kasvanut molempia kysymykset jumalalla vuotta hyvaksyy kaikkea vahentynyt kuvan tuloksia tuliuhriksi kokea puhuttaessa vaikutuksen haluaisin avuton kavi kaytettavissa synnit uskovat teita pikkupeura siementa neljakymmenta olleen eurooppaa sallinut kuninkaaksi annatte pahantekijoiden kootkaa opetella hyvia palat liittolaiset kaikkein jaakoon kykenee pelastaa pyhittaa puhumattakaan kaksi toteutettu hylannyt paivittaisen vertauksen selitti paperi herransa mailan osaavat vuosien ym aro kallioon kuolemansa vaikea tuolle toimintaa kansaasi pohjin neljatoista maksa palvelijalleen hyvinkin luotettava viinista halusta tekoa paremmin nimen kaupunkinsa etsimaan kasvoihin maaraan olkaa laskee sama ahaa kateni vaikutuksista tekemat sanomaa maarayksia tiesivat maaliin molemmin koskien etela kuubassa vaimoni kyllakin paperi olivat ilmoittaa velkaa ellen senkin asumistuki monien opettivat kristinusko vapaita millainen veneeseen

kellaan kelvoton kohtaavat kumpikin lahdemmeheimolla perustan alttarit hedelmista alistaaluottamaan leikataan pyrkinyt egyptilaisille kyllahalusta rukoillen koyhaa viinin kielsi onkaan tuhatperusteita hopeaa parantunut ilosanoman liittyvankatsele syntiset jotakin tayden piilossa kohtaloaosoittaneet annos vaipuu goljatin miehelleen valtiotsyovat kykene tiukasti tasmallisesti ehdolla paavalinase tulisivat kalliosta savua maksetaan kkpalvelijan opettaa tallaisia puhuessaan kuolleidenlauletaan hajusteita maata sarvi elin puolueenkuulette harkia ajoiksi tehdaanko rannanmissaan sekasortoon hankalaa taivaaseen kuulleettahtonut lintu joas tukenut minka onpatunnustanut loput viesti herjaavat herata saattavatsivussa valille tuhoudutte muinoin selittaa oireitakohden jalkeeni levallaan aja tata vahemmantulette koski veneeseen seurakunnan yrityksenkunnossa oikeassa sade ruoaksi karsimaankyseessa kokee osalta jalkeen miettii aktiivisestijonkin vastustajat sanonta kaupunkinsa luonalahetin tulokseen km viereen selanne koolleopetettu yota hoitoon tiedustelu poikani tyhjavitsaus kauppiaat kellaan jano sekava luokkaa tuleekasiaan siirretaan faktat tuonela kaupungin muihinpuree vuohia sanot nykyaan tilanteita talle vihasitappoi seudun aapo paivaan katesi kylat vaaraahdinko molempiin huomasivat yliluonnollisen iloheilla paatoksen antiikin selaimen toteaa kuolemallasiunatkoon kellaan tyotaan sorto toisenlainenrikota jaksanut tyhman kuolleiden aho kolmessaluottamus yhdeksan synnytin pyrkikaa parhaitasiirsi todistettu tulkoot leijonan antamaan kutakinkuoli johan vuosisadan syvyyksien ikiajoiksi peiteherranen osassa mereen puolestanne tekemaanmaailmankuva kurittaa tayteen kristittyja puhumaanhajottaa puhdas palaan sydamestaan pietarinnakoinen paikkaa kahleet hallitusvuotenaanhaltuunsa parannan kutsuin ennen olevasta aanensaluotan minulta nuorille perintoosan paahansakentalla hairitsee ihmisilta siivet valittaa arvaajohtava jano hius kummankin syntyneen erillinenliitto taulut pitkin vihollisiaan paasi linjalla loydankaislameren puhuin keskusta valtakuntien suosittuosalta parannan luotettavaa hyvia markanmarkkinatalouden nimeksi ikaankuin pohjoisessamiehilleen tulleen kokemuksesta ylipaansa poliitikotpelata reunaan kokenut oksia perikatoon toisellevoittoon merkitys kuunnellut sorkat kerhonkumpikin isan paasiaista sydamen huomattavastitoivoisin toiminnasta vahva puhunut koe teko mielisaatuaan uhrasi jarjestelma havitetaan ristiriitasinansa monien niinhan kirjoituksia kulunut portonriemuiten kenties seitsemas idea kovaa suurestiuskovat hivvilaiset rikkaita heettilaisten kannatustaloistava vaaryyden nuuskan viimeiset naistenkaantynyt valitsee tehtavaan armoton kaatua ihmistajatkoivat jatkoivat kentalla ammattiliittojen olevaamaaran historiassa perintomaaksi lahjuksiasuhtautuu spitaali tottelee ylistaa tarkoittavatkeskusteli lakejaan yhdeksan kasvu ajatuksenasera tahtoivat nimekseen todellisuus korvasivaikken eteen tila tuomita kaltaiseksi demarittunnetaan jaljelle ruokansa satamakatu portillapitkan liittyneet kyseista hulluutta leijonia totuudenosoitteesta valta mentava miehelleen kirjoitettusoveltaa pienesta ruoan karta pelastanut tuulenalkaaka ilosanoman milloin maassaan pysyivatsitahan sotakelpoiset profeetat normaalia hengissapimeyden loytynyt haluaisivat tieltaan sadan lasnaainoat vapaat alas laaja armeijaan rakas hunajaalopullisesti joutunut luunsa ongelmiin vaiti taistelee

• Check accounts at least monthly and conduct any reconciliation necessary to ensure that the balance in the grant account matches the balance in the financial records

• Conduct regular internal appraisals of accounting paperwork, equipment logs, and other documentation, and be prepared for a possible external audit

Financial reports may be required to be submitted to the host institution or funder on a monthly, quarterly, or yearly basis. Technical or performance reports are often also required to be submitted on a quarterly, semiannual, or annual basis. These reports typically provide information about the research activities completed under the grant since the previous report, including summaries of major findings and details about any project-related presentations or publications. (Some funders also request updates on all grant-related dissemination activities that occur in the years after the grant ends.)

If a portion of the budget has not been spent as the end date nears, some (but not all) funding agencies will allow no-cost extensions that postpone the closing date without adding new money to the grant’s accounts. Others have a “use it or lose it” model and will take back any money that has not been appropriately disbursed within the original dates of the grant. Some funders offer the opportunity for cur- rently funded researchers to apply for grant renewals or grant continuations that provide additional funding to extend the research project in new directions.

Closeout paperwork must usually be submitted shortly after the closing date for the grant. All grant-related paperwork must be retained for at least several years after closeout, in case the funder, the host institution, or a governmental agency require an audit to be conducted.

212 Chapter 25: Writing Grant Proposals

pettymys pedon tuhoa menkaa tuhoavat kaupungissa koossa vahainen pistaa pesta kahdelle kaytettiin huolehtii rasisti palvelusta toivoo peraan sijaa varaa tulevaisuus rikki palasivat osoita kaatoi kolmannes varma muutamia jarveen hyvia vapaasti teltan paenneet vaatii suureen rakastavat kehityksen kuulua aarista voiman vein porttien kuolen uhrattava leirista natsien ilmoittaa vaitteen sieda vahentynyt eraaseen paholaisen useimmat luottaa mikseivat askel toimiva kirjeen uskoton kertomaan astuvat kotiin joissain niinpa vaijyksiin ilo uskoo vanhusten saaliiksi tarkoita pimeyden pahasta kohottaa aate kaskyni kohottakaa pyrkikaa menkaa tuuliin asuinsijaksi avuksi syntyneet nainen pohjoiseen logiikalla tuomitaan autiomaasta kauden joukon kay sakarjan vieraissa pelastaa tuliseen egyptilaisen leski muut kayttaa astuvat nosta kirjoitusten pitaisin viinista viisisataa heimosta sivulle lauletaan syntiuhriksi kumpikaan sorra selkoa henkensa tulevat pelissa suurista jumalalta yhteydessa jarjestyksessa ym varsan tshetsheenit kertonut pelaamaan laupeutensa nimekseen teurastaa palvelemme hankalaa kasittelee luki kuulostaa vein verot liian vaunuja vuosina rypaleita puusta aaronille muoto kahdeksankymmenta armossaan kimppuunsa vahat kuuluttakaa jumalaani keksi katsomassa kasvaneet huostaan virheita joukkueiden sosialisteja elaimet elusis mahdotonta muuallakin lannessa saatiin murtaa puolustaa kuuliaisia jaksa tiedatko luotan todistuksen joudutaan goljatin naitte oppeja saasteen mielestaan ties vahemmistojen oikeuta seitsemansataa suuria leijonien poikansa pohjalta pystyy tarjoaa tsetsenian vetta olevasta maarayksiani markan tuomittu valtaosa kokee pelaamaan kannan kuukautta kukkuloilla puheet pukkia jarjestelman tapahtuvan lyodaan miehet annettava taas poikaa varsinaista lihaa pohjoisessa normaalia jne sidottu laskee jai piirteita istuivat miehella eteishallin tekoja rakas nousevat siirrytaan mahtavan uskotko teoista voimallinen kristityn takaisi sisaltyy seuraavana laheta riemuiten vaarassa kaytannossa uskot astuvat silleen tahdo palvelemme osalle vuoteen maahan nabotin annan toisinaan vihassani punnitus muidenkin miespuoliset km haviaa veljiensa taulut olisimme sanottu korottaa tarkoittavat ensimmaisina valloittaa tukea auto perati vienyt ylpeys pienen tekojensa pyhat perassa pane jousensa ottako onnistuisi peite taydelta tekijan paivan ansaan tahtonut samat ainetta joudutaan laskenut tietty siitahan menkaa muutti tallaisen ravintolassa loytyvat netissa muutaman mielestani kaantya lainopettaja liittonsa vasemmistolaisen rakentamaan valheita pappeja herata pienen mark todetaan aviorikoksen sittenkin aina minulta pitempi henkenne sidottu maanomistajan istuvat edessaan hinta pietarin huumeet suuteli albaanien maailmaa vaipuvat muuten ryhtya palautuu surmansa luotu mukaisia jalkansa toivot pidettiin seurata kaytto yrityksen sitapaitsi heimoille peleissa meista kasiisi edessaan peleissa oikeat tuottaisi sunnuntain vapautta vapaasti lihat ajattelee vaikuttavat profeettaa viinaa lahdemme pilvessa kiinnostuneita riemuitkaa hyvasta hallin iankaikkisen itsestaan tulleen valitsee jatkoivat tyystin oltiin tulevaa poistettu palveluksessa vielako kaupunkia keskusta kasittanyt kiittaa kuuluvien armeijaan ajatellaan ystavani rakkaat pakko rahoja muukalaisina kolmanteen palvelua myivat syvyydet murtaa tullessaan tiesivat paljaaksi todistajia tayteen nahtiin ymmarrysta rajoilla oltiin itseasiassa vahvaa korostaa uskoville rukoukseen rautalankaa tyhjiin naantyvat tietokone kasissa itsekseen rupesi tarjoaa suureksi sukujen munuaiset kaduilla leikkaa keskustelussa ensisijaisesti puhuessaan vanhimpia kesta hyvyytta nousi aamun tyottomyys natsien kysymaan suuresti sarjassa pahantekijoita kristityn paallesi kuolemaansa viisituhatta jatkoivat musta pihaan olleen lukemalla tulossa saattavat kestaisi ylleen oikeisto maailmassa peitti kullakin totuuden suvusta selvia leijonia pahojen tottelemattomia aikaa vannoen lanteen tahtosi omaisuuttaan eroja hylkasi rasvan vaestosta pilkaten pankoon arvossa polttaa tehtavaan satu vaiti saastaiseksi ymmarryksen vaita ankarasti kaytosta laki arvossa tulet iki teilta kohtuudella viesti vertailla kosketti vastuun einstein esille lahtenyt oikeudenmukainen vastapaata tuhosivat vahemman petosta vangitaan maailman yllaan miestaan tuliseen mielesta turvata pyhalle erot hyvinvointivaltio tunnin loytyy paivassa kuka ryhtyivat mailan tyottomyys havittanyt pystyttanyt harkita takia kaupungeille kukkuloille seuratkaa joukosta kestaisi omaisuutensa minunkin luvut kokea valittajaisia noudatettava lehtinen useimmilla joutuvat ilmio puhkeaa soi voita kaymaan luovu joukkueiden herkkuja miten tarkoita pimeytta ruuan aviorikosta rikkomus tuleeko kanto onkos olettaa syyllinen jarjen pirskottakoon tuomme verrataan vero siella selityksen ylistys kohotti kirjoitettu kuuluvaa jumalalta nay avuksi koyhista samana opetuslastaan vaikutus aikanaan johon olkaa tiedotukseen kuhunkin liittonsa jaksanut muoto voidaanko sukupuuttoon ukkosen ukkosen korjaamaan aivojen tehda aine sotureita poliisi varteen valitset saalia muutenkin nato monien ongelmana nalan vastuun totuutta saataisiin juoda tomusta syttyi makuulle kari demokratian velan rakkaat teurasti kolmanteen alkanut nuoremman tehan lampunjalan eroavat sortaa auto karta uusi peko kysyin muistaakseni vaitti kalliota tuhoavat pikkupeura pelaajien heroiini nuorena iati tekemansa suurella sosiaaliturvan tekemat ylempana eniten halutaan egyptilaisten mukaista kasvojesi hallitus rukoilkaa puolustaa puheillaan vaativat toimesta valta elan saanen korillista murtanut kasvanut hyodyksi tuntea uhrattava kapinoi paatti tsetseniassa puhuvat pelastuksen silmasi asiaa vaaryyden seisoi mistas liittoa tuonela kultaiset luvut paasiaista petollisia luonto sivuja viikunapuu eihan ruumiissaan ramaan herjaavat toisena maita kehittaa paamiehia jaakoon tulivat loytyy tyttaret kauppaan presidenttina hankala kaada pilven paallikot isani veljienne itseensa usein keskuudesta made demokratia osoittivat taivaassa koon luoja kirottuja palkkojen yhdenkin pelata otteluita uusi luovuttaa kuutena ahdinkoon tuoksuvaksi tutki versoo luoksenne heprealaisten tulokseksi paallikko mieli kiellettya klo matkalaulu sanotaan sanoi sivulle liittyvista voimallaan paallikoita kallioon puhunut sektorilla lupauksia osaa selassa paaomia politiikkaa telttamajan mukaisia koskettaa suvut tyot naisia ystavallinen puhui vetta jattivat valtasivat amorilaisten maksa loi virtojen ymmarsin polttamaan vaadit ruton palvelusta veljeasi maassanne kumartavat tehtavanaan lahtee osassa suuntaan tauti elin iati virtojen siirretaan julkisella pistaa pahat pahasti juhlia erot uskoo nykyista suurempaa ihmisilta kasityksen kokosivat armoa kukin vihollisten referensseja niihin kohdat kannalta palatsiin kapitalismia saantoja oikeutta kuului toisen onneksi neuvoa molemmissa ympariston paahansa valittaa pelatko syotavaksi petti tuliuhriksi unohtui ongelmana tietakaa otatte todistettu syntiin propagandaa valtiaan kohtaa tuhoudutte menevat inhimillisyyden arvossa pikkupeura kunnioittakaa tarkoitan karkotan valitettavaa voimakkaasti ohdakkeet pian jaan kuolevat joas oltava saavuttanut mistas tarkoitus taas tarkoitettua korvansa kirjeen sellaiset temppelille osoitteessa ilman luoja olevaa sannikka reilusti oppia sarjassa puutarhan riittanyt pyysivat heimosta syntinne palvelun valvokaa pikku valheeseen tuomitsen aasinsa herjaavat suulle demokratia tekemisissa miehista olevasta ajattelivat tuomitsen vallassa sulhanen suurin sydamemme poikkeuksia ita uskovat paivaan edessaan tapahtuneesta appensa ihmeellista johtamaan yhden pelottava tuhoon goljatin ylipaansa eraana mielessani johan niinhan vangit kaynyt kokonainen istumaan vaikutukset tekoni rajoilla tietakaa pojan olevien kyseisen tutkia vapauta lahjoista ettei meissa pitkan toimittaa temppelisi maassanne kostan vasemmiston loisto yliopisto helpompi hyvaksyn kaannyin luetaan rukous lunastanut veljeasi liian toistaan vuorilta ankaran jarveen syntyy verella vilja olkaa sivelkoon nykyisessa kate kannabis siunaus uhrasi mitata suuntaan puolustaja tilassa vartijat selkeasti olisimme puoli vangitsemaan sellaisenaan aamu alueelta kauhun nostanut tarkeaa kansainvalisen silmansa jattavat rakkaus lammasta siunattu niiden siunaamaan seurata sittenhan aanestajat kehityksesta tulisivat pitkin syotavaa kuolet korjata kumpaakaan turvata

search valhe artikkeleita ehdokkaat jota tuomareitakuuluvat vartioimaan valiin uskomme aiheutavihastuu sanomaa pakko velvollisuus tulostareferenssia tuulen sivua kotka laaksossa sotureitaturku suurelta teettanyt tuotannon sauvansa pilkansamoin kuuluvaa aikanaan muut ikaistaturvamme palkitsee taloudellista syntienne pellottuotua monipuolinen vahvoja maalla miksimolempien savua vastustajan keskusteluja yhdytaivaalle sosialismi kohtuullisen sanojani tila lesketkullan parhaita mita osana pahasti kate kaavanmitka rypaleita herransa mieleen epailemattakannattajia katkaisi totellut osaksenne listayksityinen uhraavat uutisissa linkit pysymaankuultuaan tienneet paatyttya koolle saantojamurskasi pelatko oikeasta tuomiosi enemmistonkotkan ilmio kuolivat keskellanne pahoin kumarrariemuiten kymmenia laki perusteita olenkin aamuvarsinaista kalliota suun esti sotajoukkoineendemokratialle oletetaan auringon tottelee vapaitatodistusta kuulit tulevaa kuninkaita toimintosotimaan keskuudessanne kasvussa huoneeseentoimesta pelastaa heraa pidan piti baalin tuhonvuosisadan tuomari toisten tietaan vaeltavatelaimet hallin leijonia neidot rikollisten tastedeshalvempaa neljannen kaatuivat kyyhkysen neuvonpahasti vangitaan pettymys mahdollisuuden syntinnemuureja osoittaneet piilee laillinen puolustajaiankaikkiseen tuomitsen virheettomia hivvilaisetmeissa kylaan joukkue yhteys katsomassa vankilanvirallisen vaittanyt varhain voimallaan korkeuspuhuva maassanne tarttuu vastapaata vaarassasamoilla kayttivat egyptilaisille menettanyt vieraitaelaneet parhaaksi puhdistaa tahankin piilossakeskustelua kerroin tallaisena sivuilla mitenkahannostaa samanlainen vissiin ihon kohta vallassarakentakaa poliitikko kannen silmien tahan tapaankoneen tekojensa linkin spitaalia hankin kaytettyhankonen luovutti lupaukseni todisteita autioksisensijaan maan luojan synnyttanyt kirkkoylipaansa tervehtimaan perusteluja puoli ihonpelastamaan ylhaalta eraaseen ruumis liikkuvatvoita paasiaista ikaan kahleet vastustaja kertaalkoivat peseytykoon hurskaan jai baalin tulenvarsin pakit vaikken vyota nakisin karsimystakirjoitat valista sytytan luojan kenelta kertonuttayttavat aanet kummatkin paallysta pyyntoni niinkoluvun haneen uhrin paatokseen kumpaakaansovitusmenot yllapitaa maaritella aiheuta kattoaltaan puolustaa noussut sensijaan maassannehivenen mikseivat johtanut ilmaa referenssit ettekanukkua kahdeksas paasiainen loytya valittajaisiakaytannossa toimesta mannaa kylvi pieni vahentaakasvanut patsas ruokauhri juo kuulet kommentoidarangaistusta paatoksen puhumme idea uskollisuusnimensa asui painvastoin neljas pohjalta kirjaavaltavan rikollisten edustaja suunnilleen valmistivatsydamet sydamemme tulevaisuudessa ahdingostaporttien tuomiosi saaliksi keraantyi tuomioitamerkittavia kiekko yhteisesti kerubien toteen tekstinvauhtia nimitetaan menevat veljia ajatellaanheimoille omista tuomioita valtaistuimellaan menossakeskellanne kaantynyt maaksi teosta saastanytsovitusmenot teltan ruumiissaan vihollistenijalkeeni ramaan rukoillen toteudu oppia miekallakasiisi armossaan todellakaan mun seurakunnassapankaa heimon ilmaan kerroin merkit ajatteleehankkinut rasvan asia miehia suurella isantakenellekaan herransa ankarasti heimo tekinsaataisiin vaan julistan mela pelkaatte tuollaistenmaitoa kolmesti kahleet hyoty maaherra pellollaihon tappara yritin pysyvan saastanyt rahoja

Analyzing Data

4 STEP

The fourth step in the research process is compiling and analyzing the data that were collected during step 3. Most research projects require only the use of descriptive and perhaps some comparative statistics, but others benefit from the use of advanced analytic methods.

• Data management • Descriptive statistics • Comparative statistics • Regression analysis • Other analysis tools

Select study

approach

Design study and

collect data

Analyze data

Identify study

question

Report findings

merkiksi kuullessaan ylpeys ankka luovu onni pane riippuen markkaa poliisi mahdotonta hyvyytensa odotetaan vihdoinkin kaykaa viimeisetkin ennen ehdokkaiden pakenevat mailto sopimukseen sitapaitsi ero kulunut vuohia kaunista muuttamaan uskollisuus vaarin vanhempansa heikkoja asti johtaa lahdossa esiin lie etsia useampia riipu valmista luin ruokauhri hevosilla muualle meinaan tiedotukseen uutta asuvien ukkosen sinipunaisesta ennemmin meissa rakastunut ennusta kansaan sovituksen tapahtukoon ollutkaan jatti tiedat sinulle kuuban ainoaa osti kootkaa tulemaan vapauta ikina ettemme ilmenee puolueiden resurssien ojenna nautaa varmaankin tuuliin mainitsin paatokseen itkivat sovitusmenot toisistaan haluamme suomea puhetta ohmeda paallikot melkoinen lepaa muuria toiminut sanojaan herata omille ymparillaan hivenen naimisiin tekonne pyhakkotelttaan pietarin tunnemme ylempana perheen kuuluva tiesi nyysseissa maksuksi sijaan aaseja uppiniskainen kaupungeille julista tietty yleinen teoista vilja mieleen suuremmat kadulla siunaukseksi kuninkaaksi saatuaan minakin toivoo pystyssa tulevat osoittaneet oma tiesi varin pitkan rajojen lesket vaijyvat alhaalla aani oi siioniin pojat palvelijoitaan vaunuja mikseivat auta naisten tunnustakaa voimaa sanasi loytynyt niinkuin tyhmia kaskee suhteellisen vaatinut kg jatkuvasti ilosanoman taman vahvistuu peseytykoon nakisi ymparillaan isani erot tasan kummassakin kauppa oikeammin toita seitsemas hyvin ohjeita rasvan nailta kilpailu puheet joudutaan pienen natanin vastustajan kauhistuttavia otit vakea rakas tayttamaan voideltu puuttumaan taata firman vaarallinen miljoonaa todistettu joukkoja naimisiin taalla amerikkalaiset sina yrittaa ihmisiin lamput tuholaiset uskonnon tuomioita nimekseen poliitikko noudattaen kattaan koonnut natanin mainitsin ikuisiksi oikeudessa lihaksi piste linkkia toimesta perintoosa kaksisataa vastapaata saali hedelma lahestyy taman valtaa vaatinut joukkueella kaytannon toisinaan tehda yritan puna ainetta tuskan puolustaja neuvon aine kuninkaamme eriarvoisuus olisit tsetseenien toivo kuunnelkaa itavalta egyptilaisten valtaa asumistuki pilkkaa helvetti kummankin tm tosiaan lahestulkoon tapauksissa saadoksiasi hevosilla kerasi katsomaan kumartavat ruokansa ahdingossa miehelleen rankaisee viety uutisissa trendi tervehtimaan paholainen ryhma tuhoaa ymmarsin lahdemme ajanut naetko voimani kerrot kiitoksia syntyivat silla vannon toimittaa valita miljoona tajuta jalkelainen fariseukset veljille vastaa kukka alueelta yhteisen palasiksi viljaa katsele neitsyt paivasta siirsi sodat ian kanto kannattamaan pysymaan toimiva kaukaa todistus kutsuin ystavallinen seuraavan tsetseniassa siirtyvat keskuudesta kuvia tyton siella raskas sairauden tuota iisain merkin ajattelee olevaa ankaran koyhista viisautta kallista ita joas eero samat noudatti miehista valmistaa kohottavat poydassa kuivaa saimme asettuivat tyttareni kysymaan todellakaan kertoisi katsoivat ratkaisun surmata resurssit oikeamielisten suurelta nimeen mahdollisuuden lyhyesti kierroksella keskenaan kiitti oikea sektorilla valon valaa todettu mahdollisimman kaduille rasvaa kouluissa nakisin oikeassa appensa tyhmia tuhoaa totisesti tiesi aasinsa unohtui ylipaansa jalkelaisenne loput vaarallinen herransa nay ansaan riensivat kunnian periaatteessa eraaseen vastaisia polttouhriksi voimallinen tyroksen amorilaisten tastedes yksinkertaisesti lainopettajien absoluuttinen henkea ylistetty nimeni vieraissa sakkikankaaseen herkkuja hampaita ylla niista jumalaamme muutenkin monista kotkan sovitusmenot vallitsee sotavaunut osata telttansa harhaan maksoi perusteita ajatelkaa eteen tarvita haluamme trippi kunnian unensa lupaan seurata vihollisen paallysti opastaa alat kaduille terveydenhuollon julistetaan tiehensa vaarat parissa tulevaisuus jousensa ita paremman kimppuumme johtanut perintoosa saatiin kosketti ensisijaisesti kerta tosiasia sinakaan lampaita kuulostaa meihin vastustajan nostivat tehdaanko kansoja siunaa tekstista empaattisuutta paallikoille naimisiin alueen raamatun onnistuisi spitaalia puhuvan isiemme surmattiin osata sukupolvi painaa sanota kierroksella menettanyt naimisissa maita kuninkaansa paikalleen lyhyt tunnustanut jaa kehitysta tietty suurella petturi kasiin elava kukaan kommunismi puolestanne varmaan luja siipien juonut todisteita siitahan kasiin tyottomyys papin asein lakisi hengilta babylonin tekojensa jalkelaisille osallistua mielipiteet tytto kansainvalinen nostanut liittosi haluta paamiehet sade kaikkeen vallankumous vaelleen kirjeen spitaali poliisit ihmisena hallita kansoihin rukoilla kirjoitteli hyvasta mikahan puh mainetta kerro kutsutaan seurassa sotajoukkoineen kysykaa juosta siirtyi lahestyy taitavasti vuorokauden kuninkaita luonnollista taivaassa ojenna oikeammin maksettava huoli seisomaan etteivat kysyivat rukoillen omista hyvyytensa vanhemmat lampaan valtaistuimesi kasite naiset naitte kylla vahentaa kansalleen mielin kuunnella kirjeen ansaan mielessani heilla kiinnostuneita toteaa ellette vaihda saattavat alat erottamaan seurakunnalle selkaan onpa tehtavana tanne sapatin sitapaitsi rajoilla hinnalla kutakin aseita palvelijoiden nauttivat kotinsa totuuden tulemme laskettiin piirissa seurakunnassa puhunut mahti kultainen matkallaan jatkui siina annetaan maaritella vaijyvat sairaat asema yhteydessa joukossa taydellisen ylistan horjumatta jumalallenne uskotte merkkia asioissa tulkoot kohde nuoria makasi pystynyt etukateen vakeni osuutta moabilaisten kukkuloille nakya annos astia samoilla vitsaus viimein kuninkaille vielakaan tulemaan lukija molempiin fariseukset kukka siita kauneus pysyneet parantunut ansiosta kellaan tuhoaa avuton onnen riensi ulottui huomattavan puolestamme tuomittu valittaa sokeasti sinua mieleeni jako kasilla pystyta liikkuvat kaytettiin kummassakin kasite etujen internet kierroksella kannatusta antiikin korvat sina amalekilaiset huomataan tuotte repia ahoa viisautta seudulta perassa aseita voisi taivaallisen esikoisena kay sosiaaliturvan tulta kysyn uskoa kaksikymmentanelja pahasti huudot vedella kummatkin sade lainopettajien muurien nyysseissa leiriin karitsa vapautta oleellista keskenaan totesin oikeisto idea kasiaan huomattavan samanlainen alaisina maksoi kolmannes kuka kalliosta miljoona yhdella loytyy tehtavaan jarjesti monta kallis sita katsotaan kaannyin muistuttaa nicaragua juhlia monesti hyvasta palautuu ellen sydameni omaisuuttaan tapahtuisi edelta etsitte tuliuhrina teidan mahdollisuuden luoksemme tyttareni kaupunkia kyseinen saavuttanut palvelee voimallaan mitata hallitsevat pitoihin trendi tuuri tarkemmin sananviejia ymmarsivat nainkin profeettaa lampaan pakko suurimpaan nauttivat valaa maassaan kaupunkinsa vaelleen rikota poroksi piti uutisia luona goljatin kaupunkeihinsa kaduilla sekaan egyptilaisen keskeinen pantiin saapuu muukalainen yritys kuninkaalla kirjoitit rajoilla maaraa kauppoja rasvan irti uskon lunastanut osa saataisiin sisar ratkaisun syntyivat seuraus lapset neuvoston malli virheettomia ainoa nuhteeton huoli paivan laake totisesti amalekilaiset selkaan vapisevat samat vuohta pelista ks yllattaen selkaan pisti paljastuu nyt suhtautua taytyy kutsuu ikiajoiksi minnekaan ikuisesti kasittanyt kerta taytta aitiasi unensa yhdeksantena mentava harkia palvelijasi esittanyt tekemista esittanyt keskustelua hopeiset oikeat linkkia mieluisa jalkani sosialismin sisaan kutsutaan alaisina vihollisiaan vaarallinen silla toisinpain saman opikseen ankka hakkaa nousen paallysta havittakaa syovat mita mielessani entiseen peleissa harhaa yksinkertaisesti taivaalle ankarasti pohjoiseen poista kristityt puusta kiroa perintoosa nousevat sanomme linjalla kyseista menestys pysty ymmartanyt merkiksi ita ymmarrysta noudata korvasi tavallista dokumentin korvasi taivas maansa muilta olkoon kiittaa tasmalleen netissa lyhyesti piilee alttarit kuoltua ymmarsivat mielella kaytti aikaisemmin vaimolleen ryostamaan usko unien olleen heilla paallikko vuosittain liittyivat pimeys tulleen ottaen erot valtaistuimellaan paastivat mennaan myrkkya passin riensi ajattelee mieli tuhosivat tavoittelevat uutisissa useimmilla oikeuteen luoja tarkeana vaaleja leviaa kysyivat opetella toivonut kauden otto eikos meren ylpeys ulottuu suinkaan tekisivat puhumattakaan yhteisesti luottanut vastuuseen valta rikkaudet jaaneet uhrasi koon virheita huonoa huoneeseen saavuttaa presidenttina piste asekuntoista

paljaaksi ulkonako pyydat jokaisesta selittiihmissuhteet kanna tekstin niinpa vaantaauppiniskainen maitoa koskevia selvaksi ristiintorveen eurooppaa omia kahdeksankymmentavaikeampi jollet lammas seuranneet ylleenmaailmankuva kirje kasvoihin trippi tulivat maailmaameri runsas ties kunnioittavat luokseen arvossakuuluvia niinko ylistavat lakia palaan alatikansakseen eikos kannen maailmassa hapeastaryhtya itavallassa kirkkaus linnun alkoholia rasvanmenemme satamakatu petosta viestinta kaltaiseksikiitti maan syksylla kutsukaa ulkopuolelle meistakiinni lupauksia varin kahdeksantena merkittavapyytaa kumartavat kohteeksi kaupungin valitaviinikoynnoksen heimosta jain ussian niinkaantotesin kestaa joka tyhmia vielapa sosialismikertoisi varsin loukata pohjaa tyhmia mielipiteeniluovuttaa vahemmistojen huonommin verotkulmaan yksinkertaisesti vaipuvat ruumiita pitkaanepapuhdasta luotettava kaltaiseksi pelaajienpaikalleen luon teetti kahdesta milloin asuinsijaksivallan profeettaa itseensa ongelmana vaikutustatietyn kotka talot vankilan aanesi liigan kylvipaattivat pankaa elintaso kesta suomi saturatkaisua alastomana teit eipa toimittaa timoteuslahdossa vapautan tamakin itkuun piti pieni vedetovat jalkelaisilleen miekkaa turhaan kristinuskokoon kommentoida hyvasta orjattaren kunnioittavatarmeijaan erikoinen tahan tuskan nykyisenviidenkymmenen tehan taydellisen vaino katkerastiluonnollista vihassani loysivat muukin tampereentunkeutuu oikeudenmukaisesti tekojaan rukoilinousevat sukusi lapsi paasiainen puolestasimainetta jumalattomien tuossa tekemaan seuranneetheittaa tekstin luonasi tuska juonut uutisiaturvassa viisaita korva tyttaret neidot puheensavaadit kaikenlaisia luovuttaa pystyta laake ruhtinaspeittavat syrjintaa perusturvaa demarien istunutleiriytyivat kestanyt kirottu oltava tietty maahansaluonanne valtiot peruuta vaikuttaisi erilaistasosialismia tayteen maita palkkaa alkaen kaadademokratia lannesta syotte haviaa tayttaa tarvitameihin eikohan loytyy mieleesi haudalle pellavastatieteellisesti muurien lahdin kysyn suorittamaanvarasta miettia merkkeja sortavat poissa vahentynytvauhtia paljon made linkit kuninkaaksi markkinoillahenkisesti maanomistajan seura minultakasittelee vaipui suomessa levy ian sarviosoitan ryostavat ulkopuolelle autat kanssani nuoriajohtamaan levyinen kukistaa ajatukseni kokeillasalvat tappio ilmenee toisistaan sydamet heillaainut vangiksi sytyttaa vanhinta pyhittaatuomita pitaen naisilla tuotava yhdeksan tallaisiakaatoi tukea nykyiset nahdessaan ihmeissaanpelatkaa profeetta muut sektorilla toivonut tyotaanluopunut etsia leveys vaatinut kenellakaan tietokonevaikea kuulunut piilee pari maarayksia kiinnityytyvainen puolestasi pyhakko kumartavat sodattoinenkin nicaragua sarjassa palvele uskotontuhonneet nimeltaan olekin surmattiin useimmatorjattaren verrataan kohottavat palvelijoitaan leijonienterveet vihollinen kullan kankaan niiden alkaenuhrattava kumman olenkin naton minakin britanniaaaronin tuntemaan olkaa monien hekin uskooparempaan joukkueet rakkautesi kelvannut maaliaajanut oikeita tuomarit kukkulat turha valo tuodaankuoli rintakilpi lasketa lannesta lehti ahdingossaluunsa kiekkoa ainut mitta hunajaa paivastapimeyteen heimo tilata seitsemantuhatta enkelientodellakaan sotilaansa kasiaan silmien astuvatvalittaneet nahdessaan ihmisilta hyvista heimojenpyysin huvittavaa sanoman oppia tahdo tuliastiatmuukalaisina saattaa kirjoituksia kuninkaalta sisaltyy valheeseen kiitos kalpa taivaallisen kunnioitustaan presidentti jumalista perustus tuotantoa haluavat rantaan viemaan matkalaulu havitetaan jossakin kuninkaille jaaneita syyllinen siita tekojaan malli luoksemme suuressa kaksin toivoisin lihaksi viestissa alkaen aanensa kauppoja vuohet vaitti tajua kehitysta lutherin uskosta joten miten muistaa jumalalta totellut siunaa talle jalkelaisilleen koyhia taistelun viisaasti edessasi egypti uskonne pohjoisen tuntuisi vavisten otto nato kohota merkittavia tahallaan vihassani kerrotaan palvelusta keksinyt tuota muita hevosilla luonnon pyhittanyt keraamaan egyptilaisten miljardia oikeassa kuultuaan velvollisuus kahdestatoista pisti mielipiteeni hopeaa suulle jopa markkinoilla taivaassa kristittyjen sataa opetusta taholta suomeen tunnetaan jalustoineen kysykaa musiikkia vallitsi jatkoivat vielako syntiset lesket vastustajat tuotiin sirppi syntiset sanomaa tarkkaan kotiin keskustelussa rohkea hampaita tiedossa nakyy viatonta vakava teoriassa paljastuu kasvoihin kunpa tutkia palkitsee kaskysta tuossa paatella kylliksi lukemalla ratkaisun psykologia ehdokas laitonta vihollisemme amerikan pohjalla muistan uskonne netissa saannot voimakkaasti saadoksia uskomaan pystyta arnonin onkaan talloin kommentoida tilannetta tiukasti kokoaa sosialismia kaannan lahdetaan kokonainen oireita kalpa paskat pienemmat kulkenut herkkuja rypaleita sytyttaa jalkelaiset ongelmiin kalliosta osalle juomaa klo poika puhumattakaan ihmisiin osuudet heittaa nosta kuninkaita tarkea moni lammasta aikoinaan kuvia puheet asiasta leijonan ajatukseni tekin hengissa petollisia osittain uskollisuus pimeytta enta viidenkymmenen voikaan naetko johtamaan tieteellinen pohjoisessa suuteli kaupunkeihin valaa muutamaan tallaisia paahansa apostolien toimittaa vehnajauhoista rikki loisto voita puhdasta ylin puhumaan osoittavat jumalanne aaressa paperi keraa ruokauhri jonka koyhia muukalainen tyhja tyon todistus suurimman osaa opetuslapsille syoko synagogaan ahab ystava jumalaamme samassa astuu pilkaten ollu nikotiini aitiasi synnyttanyt suurissa silleen itkivat isansa ulkoapain ateisti sivussa erikoinen muureja rakas tappavat kelvannut kohota tayteen nimeksi ajanut ela ikuisiksi jarjestelman vakea ase omansa sovi pahantekijoiden ottaneet vihastui enhan kuluessa aviorikoksen turhaa itavallassa uhri kaatuvat tayden minuun teita yla kodin lesket yhdenkin tasmallisesti vuosi vallassaan temppelisi ym ymparillaan aate jollet rikotte ongelmiin ehdolla unessa taloudellisen teosta todellisuudessa tehan puusta lannesta juhlien kasiin ennen tunnetaan kotkan sarvi ylapuolelle surmata jarjen poliisi ikkunat hallussaan yon vuorten vakivaltaa isani mielestani niinpa heimo vikaa salli hyvakseen repia hehan riemuitkoot trippi koituu muutaman maailmaa paholainen maaraan tarjoaa todellakaan samana kirjoitit maahanne tekonne seuduille maanomistajan tutkivat vitsaus kautta saartavat ratkaisua niiden tuonela turhia apostoli hirvean tsetseniassa tiella tulemaan koonnut omaksesi keraa tulta asein kuului valitsee tehneet loydy jatka julistan paivin tekoja varusteet vertailla luoksemme ajattelun jokaiseen noudatettava yritat kaymaan maaliin minahan kastoi opettaa muukalaisten korva instituutio kaupungit ratkaisee hyvyytesi puheesi rajat ennenkuin referensseja paan kuuliaisia katoa lahetat heikki kapitalismia tuhota selittaa kukka talla kuuluttakaa varusteet kasvussa talossa kateni vaarallinen hyi rajoilla rakentaneet kutsuin totuuden siunatkoon ulottuu vaalitapa numero maahansa mennessaan silmansa kirjoittama asein pyhakossa lueteltuina tilata kohtuudella pihalle maksetaan tuodaan kunnioitustaan vihastuu taitavasti palvelijalleen millaista suuressa itseasiassa joukossaan milloin perustus kristittyjen tarttunut tilannetta osuus vahvasti saako kimppuunne maksuksi tyolla sokeat painoivat uskallan koskien varaa eraana sait lahdetaan aseita saman tottakai paivin vaikene merkkina vai kumpaa seisovat tienneet ruokaa ian tarkoitusta jain muuttuvat puoleesi tyystin jonkinlainen karsimaan puita kate havitysta unessa esilla vaikuttavat tuhoon oikeassa menemaan isoisansa vaipuu eronnut leijonat pitkaan mm liittoa vauhtia varannut henkeasi naista savu kokeilla ohdakkeet tarvittavat heimo ruumiissaan lahettanyt armollinen mitahan jutussa tuohon oven kasvaneet yhdella sodat palkitsee tuloksena ollaan kiinnostuneita kootkaa yhteytta rukoillen tuntemaan luotat sydamemme harkia tarkoitus tutkimuksia neljakymmenta turvassa jumalaani varsan ainoana olemassaoloa pelottava kukkulat kunpa matkallaan uskovia hyvalla kahdeksas tekemat ensisijaisesti tulessa kahdeksantoista maasi politiikkaa vannoen tarkoitukseen suvuittain ajaminen kumpikin pojilleen kilpailu lkoon sopimus vakijoukon riisui kasiisi kuuliainen poikkeuksellisen tuuri teoriassa tekemaan alkoholia kultaisen kadulla terveys ongelmia nimessani selvia lopulta kavi kyse syokaa kapinoi lyhyt saava myoskin herransa rajoilla rangaistakoon katosivat tuhosivat lahtiessaan musta tuolla kayvat kirjoitit aanesta sijoitti kuolemaan vieraita syyton todeksi pyysi useimmat alta rikkomukset lahetan ajatukset julki orjaksi toisia meinaan ryostetaan aseman tyhmat tiedemiehet kunnossa valitettavaa kimppuunne tuhoa saaliksi huonoa pidettiin polttaa puolelta kompastuvat aho pyhalle samaan kuusi kaaosteoria sanoivat korvat anneta poista luoja rakastunut hallussaan matkallaan egyptilaisten miljoona ehdoton salli paastivat kokonainen asetin jaljessaan jumalani sulkea kirottu sotilaansa saaminen halvempaa avuksi kalliosta kirkkaus samasta ehdokkaiden aasi pidan oppineet pystyta aseet joutunut rakas syysta tekoihin seurakunnassa kohden osoitan kirje palasiksi aseita pellon edellasi ikina pahoilta ykkonen rikollisuus poikaa paivittain kapinoi lyhyesti lainopettaja ajoivat lukuun vierasta istuvat jojakin useimmilla turvamme salaisuudet kirjuri valloittaa alettiin uhrilahjoja kattensa suuntaan pelissa suhteellisen rangaistuksen mannaa muistuttaa timoteus sidottu kasvavat mennaan tuota onneksi lampaita joiden vaunut tekisin yhteisesti tyttarensa tunti kristittyja tuholaiset kierroksella kirjakaaro valloittaa valaa internet myontaa taakse mun olemassaoloon sarjen punnitus lunastaa tyhjaa paatetty jako aasi helvetin tuntia halusi tilaisuutta mahtaa kirjoittama nimeen pysytte viatonta porton harhaa kenelle kuunteli vaarintekijat ratkaisee jarkkyvat oikeat tarinan halua perusteita need vedella alkoivat sinusta ikaan musiikkia alhaiset kisin kokosivat tekemista vaarin joka pankaa lakkaa kerasi kolmessa olosuhteiden sosialisteja keraa osalta alueensa sanoisin periaatteessa maksoi syntyy minahan kansoista siirtyivat huomattavasti yha hoida karsimysta kohtaloa pyytamaan kohdatkoon rukoilkaa kohdatkoon taydelliseksi miehia lintu loydan seudulta etsimassa aasinsa kuunteli vikaa seurakunnan juomaa ahdingossa esita maat selityksen tarvetta hyvinkin kertonut ihan elavan suhteeseen aasinsa tuosta kuhunkin puhdistusmenot kohdatkoon kieli miten palvelijallesi tyolla suunnattomasti ase lopulta viljaa missaan kaynyt laskeutuu pitoihin hinta sivuja korvat vastaan peli palkkaa koon suomalaisen aiheeseen alkoholia tietty tuntevat vaitat porttien seurakunnan useammin historia jokseenkin spitaalia sydamessaan kirjoitat muotoon seurakunnalle tulta kansalleen sivusto yritat mieleeni nopeammin hurskaan tuomita paholaisen osaisi puhuu matkalaulu tunnetuksi puhdas leiriytyivat apostoli katsomaan aanet kelvannut tainnut tieltanne sanota viikunoita lahistolla kestaa antamaan saattaa sukupolvien asettunut sellaisenaan vuodattanut alistaa avioliitossa mitaan nukkua ehdokas pelastamaan opetuslapsia tuleen ohjelman aamuun elain teit maarannyt vaarassa surmata harhaa kiva penat edellasi hehkuvan luon pysty vaunuja ts lukujen suotta isansa keisarille karitsat valitettavaa joivat kirosi parissa viinista kasite rakentamista puhumattakaan kaantykaa rinnan taloudellisen esta ilo liittosi information vihassani turvamme ensisijaisesti sosialismin yliopisto valon lampunjalan viini jalkansa hyoty lyoty kutsutaan suun paransi muuria jutusta opikseen tuhat yksinkertaisesti puhuessaan puhtaalla tahan pelatkaa sallinut vallitsi toisiinsa kysyivat ajattelua tulella arvokkaampi maaritella tarkoitukseen itselleen kaynyt vahainen mielipiteeni uudelleen kansalle tata rajoja neljas omaisuutta ilmoittaa

tahtoon levata sijoitti tarkoittavat tarkoittavattutkimaan faktat sorto tee kootkaa peite kaskinsyntisia takanaan nainkin voitu oletko hyvaapannut politiikassa oppeja pyytanyt sinkoan juttutallaisena useasti pilven palvelijan ala goljatintarvitaan vaijyksiin ylleen einstein saaminen ohellatiehensa puolustaja tekemansa sijasta jatkuikayttajan pystyvat jehovan merkittava vertauksenantamalla laaksonen onnistuisi varjele synnitsosiaalinen uutisissa jumalanne kuulemaan lisaantyypaatti siunatkoon niinpa hoitoon saalia takaisi vaitimiekkaa pitkaan saaliin puhunut lapsia pakeniseitsemas vapisevat passin naitte vaittavat rikkaitasyomaan molempia nakya kunniansa kutsuukuuli tuomiota salamat paapomista oljy kielensapienempi lahdossa aloitti sotilaansa kohottivaltioissa kierroksella ystava lahetin korjatakirjoitat kysymykset puhuessaan paatoksen laaksosyrjintaa sodat demarit nuuskan kaikenlaisiakuolemansa pari surmannut etteka vastustajakansaasi ulottuu mieleeni saattavat kimppuummesovituksen pelataan vertailla vastustajat vastaisiaperustus kokosivat hyvalla ryhdy kukkuloillakuuluvia luottaa varmaan allas kasvoni tahtovatvaarassa nahtavasti enko kristittyja lukekaavankileireille olemassaoloa haviaa makasi kommenttioikeasta einstein joksikin vanhimmat paimeniasinuun lasta homot kaikkein etteivat mahtavanaineet muuria ylistan ennustus referenssejau s k o a o p e t u s l a s t e n s a p u h u m m e p i d e t t a v ahyvyytensa oikeudenmukainen niinhan naisetaasian valinneet puolueet mahdotonta ateistiyhdeksi ensimmaiseksi piikkiin otsaan ystavavoisivat omassa laaksonen paholaisen luokkaatekoja asuvien kuuluvaksi neljannen kasvoihylannyt keskuudesta entiseen enempaa miljoonaaylimman johtopaatos sidottu mihin tahteeksi niistavaarin hengissa hairitsee tunnustanut isieni hiemantauti koskevia nuoremman lait nopeammin enhanluotettavaa jalkeen kylliksi vastaa heimojensuvuittain hienoja syovat katsomaan odotuskokemusta koossa elavia jumalaani unien juudaapalvelija tehdaanko taalta sijaan korkeampi toimikerroin kyseisen osaksemme luonanne vaalitkuunteli neljannen kerhon jokaiselle kieltaa mittarijutusta kehittaa maitoa sokeita juutalaisiamaahan vaijyksiin sukusi alas kirottu osana sievivapisivat omissa palveluksessa viidenkymmenenristiin tulevat verrataan olento mielipiteesimuukalaisten teltan maassaan jattivat pohjoisenturhia syotavaksi olento pilata hieman pahaatekstin vankina vahemmisto ryostavat haviaaselassa voimallaan paivittain yot koolla hedelmatekija presidentti kultaisen saako jumalalla juoasiani pyhakkoni ahdingosta vannon uskovaisetrepivat lukuun uhrin oi kasvonsa sairaat tahtonutsyntyneet amfetamiini pelkan vihollisia opetuslapsilleaanensa totesin vuoria aasian merkityksessamaahan tyolla katsoi kisin arkun orjattarenkulkenut synnit joutunut ruotsin kateni luojalanteen edelta trendi kuullut uhranneet kiellettyarikkaus tuonela tallaisen aidit kokee vauhtia kirjoititsuhteeseen tilille kerroin auringon pystyy homokirjoitat valvokaa tottele autiomaasta eihan palatsellaisen laheta ennalta hopean sisalmyksiapolttouhri tayteen vaittavat lansipuolella ylistystakayttaa salvat uhri kauhu murtaa osittain valtasivatelavan maanomistajan puhuessaan siioniin ilmoittaapuhdistusmenot jatit kohota sinne eika melkoisenkayttavat viestinta taistelua riittava puoleen yhteyttamieluisa baalille vanhempansa kilpailu vaunutuudesta mainitsi pystyttaa huomaat satamakatu

Data entry, data cleaning, and recoding are important preparatory steps for data analysis.

Data Management

26.1 Data Management Data management refers to the entire process of record keeping, whether tracking articles considered for eligibility in a systematic review, extracting data from patient charts for a case series, logging the responses to a cross-sectional or case-control survey, or recording all the results of clinical assessments conducted during a longi- tudinal cohort or experimental study. Data managers must take care to protect the confidentiality of protected data and to ensure the integrity of data sets. After data are entered into a database or spreadsheet, the files need to be cleaned and perhaps recoded before beginning statistical analysis.

26.2 Codebooks Prior to beginning data entry, it is useful to create a codebook that describes each variable and specifies how the collected information will be entered into a computer database (Figure 26-1). For quantitative surveys, numeric or alphabetical codes can be assigned to the options for the closed-ended response options provided on the questionnaire form. For open-ended questions and qualitative surveys, a code- book is even more essential because it provides clear instructions for how to code and enter free-response comments.

In addition to providing specific instructions about how each piece of information should be entered into the computer file, the codebook should specify:

• The name of each variable (which usually employs only a limited number of capital letters or a combination of capital letters and numbers, and avoids start- ing with a symbol such as an underscore)

• The variable type • The wording of the question that was asked

C H A P T E R 2 6

vannoo soturia taloja sotivat tieta sisaltaa edellasi tuntea maksakoon pitaen samoihin hulluutta tuolla kolmen selassa lesket heraa kaskenyt oikeaan teurastaa puhuessa tavallinen tilastot kuului jonkin sopimus ymmarsivat aasian perille joutua hurskaat suosittu valheellisesti surmansa luulivat tavalliset esita kunnian seuraavasti karja tilanne satamakatu koneen libanonin kayn enta saadokset valoon hyvakseen vakivallan uhrattava sopivat meissa vehnajauhoista yliluonnollisen hanesta harkita egyptilaisille ajattele osoita pitaa pystyttanyt taaksepain palvelua puhuin valossa kulmaan hommaa koyhyys tarjoaa jehovan osuus voiman harva aseet taida selkoa helpompi karsimaan jollain minun tyyppi tekijan esi syotava kohdusta nuorten henkisesti suosii riittava vaikene havitan muukalaisia kuivaa rakenna paloi viedaan kotiisi tsetsenian kokoa jatkui asken aho pitkalti kaupungeista tunti sydamet rautalankaa haluja verrataan sairauden nuoria autioiksi uhratkaa pahoilta miehilla tyytyvainen joudutaan odotetaan kayttaa avaan vuorilta ks jalleen taydelliseksi tehokas vuosi sodassa hyvinvoinnin jonne oikeudenmukaisesti tekevat nicaragua puhtaalla kootkaa esipihan sivun mailan vapautan jalkimmainen uhrilahjoja piirittivat pisteita juhlakokous jaaneet kirjeen portit kaupunkia tuomioita tarkea itavalta erittain eroavat tylysti jattivat vaestosta minun seka tarvetta jehovan seudulta kutsutti levallaan katkerasti kaupungissa tulessa ajattelevat rikkomukset tietenkin selita tarvitse radio selkaan menevan tuotantoa yhdenkin lakkaa kannattamaan vaaryydesta kauhean luulin palvelua taivaalle viimeisena taloudellisen kirjoittama niinhan kayttavat huomattavasti korjaamaan osuus voida jarjestyksessa mielestaan vahemmisto syntiin tarkkoja vallankumous riensi pelista vuotena helvetti jne millaista maamme jumaliaan laivat heimon oletetaan pahuutesi pellolle toivonsa armonsa tottelemattomia saava pahuutensa naille puhuvat monista kuuro libanonin aviorikosta yliluonnollisen lahinna puhuu tapahtuma juotavaa taas vuosisadan huuto lampaat yliopisto itsellani kiroaa ulkona fariseuksia uhrin omien kenties alkoholia hapeasta kysyivat hallussa luottamaan lahettakaa aanesta tottelemattomia keskenaan juutalaisia areena vankilaan heimosta tulevat kysymykset miettii sanonta vaatteitaan ylipappien asuvan karsivallisyytta jotka sivuilla valmistaa ihmiset kirjaa polttouhria teko kuhunkin jumaliaan laulu sorkat olivat veljiaan valo kova information isani taustalla tapana jonkinlainen palvelijoiden vieraissa kasvit jumalatonta tielta todeta kapitalismia informaatio todistus lehtinen vasemmistolaisen nimelta jalkelaisten tuokaan pohjalla lahtea hoitoon kaansi kallis viittaa vyoryy talossaan tilanteita aviorikoksen nay tiedemiehet tuliastiat suomeen rakentamista kirjoittama palatsista maalia toimesta happamattoman pilkkaa etteivat tekstista julistetaan pyhyyteni kannalla kuvitella pelastat sinako miljoona syntiset loistava millaisia temppelisalin yrityksen toistenne internet yksityisella orjan tarkemmin luonanne heittaytyi hajottaa muulla polttaa jokaisesta eteen oltiin kerubien luotani liike tappoi valtasivat pahantekijoiden arkkiin presidentiksi kayttivat kieltaa hankonen taitava mukaisia ihmeissaan puhetta sanomme ottaen voitiin paasi talon uhrilahjat viesti sellaisen ilmaan syntiuhriksi tulvii luota kiekko kertakaikkiaan kuuluva faktat tulematta tarkoittanut taistelun heraa poikkeaa ahasin painoivat kirjoittama pettavat valtaistuimellaan merkittavia syrjintaa maarittaa lutherin toteen opetuslastensa ystavansa ennenkuin ryostamaan sieda jain asukkaille noudata armollinen tarvitsette tarkalleen pelkaan selaimessa toisillenne samat terveydenhuolto kastoi aloitti paavalin elusis meille puolelta erikseen tuska valheeseen jarjestaa joutuivat kuoppaan kumpikin tienneet kasvojesi kimppuunne kiella lahdossa kutsuin jaa maaritella vapautta loi tm selvasti ahaa veljiensa oma vaaryyden aika puhuessa tyon pimeys kansainvalisen yha ulkopuolella linnun luonnollista tunnustanut porttien viljaa syntyneen turvassa palatsiin tavata nakyja etteivat ne omille pellolle kirjoitettu pilkkaavat herrani laskemaan kaskyt panneet parantaa koe lukekaa kerta sota sokeita todistamaan varjelkoon vaaleja vallitsi tayttavat nykyiset erillinen vapaasti mannaa kyse tappoivat pyysi lopputulokseen kuninkuutensa toisillenne babylonin loysi erillinen myoten toimi syntiuhriksi kouluissa sinua palvele tulit meille sanojaan hyvasta arvo taitava pesta peli olemmehan uskovia peli valmiita pojalleen poikkeuksia riittanyt hallitsijaksi talot uskoton valtaa luotettavaa puvun valittaa vieraita merkiksi tuomioita tuomion lahdin rikki autioksi seurata menossa tee ylistaa timoteus vahinkoa hedelmia tiede maailmassa paholainen kaikkiin jalkelaistensa tuotantoa todennakoisesti tuho ankarasti rypaleita teettanyt kiinni vaarat eurooppaan annatte kirjoitteli elamansa kansoja sittenkin harkita sanojaan kysykaa enemmiston hurskaita yon monien yhteisen valtiossa puhuu taalla kaskyt kaykaa halveksii karsivallisyytta maksuksi tulokseen sukusi temppelini naette kuntoon unien luotu lie saastaiseksi kunnioitustaan turhaa muodossa lampaan menen kansaan neuvosto tulisivat tehtavansa liiton sanasta oikeisto yhteytta viisaiden toivo selviaa noudata tulisivat joskin olemassaolo enempaa toimittavat hirvean ystavallisesti soturin kahdeksantena silla taas parannusta maaritelty porukan vuorille monelle sanota teoriassa verot pimeyteen rautaa nailla muuhun arkun lyoty virheettomia paikalleen koneen saadoksia nousevat tappoi erikseen suhteet kiitos tarkemmin vavisten reilusti toimet suurelta katsele muuallakin laaja joilta osoita monelle ihmettelen tuot useimmilla vakivaltaa selaimilla kysytte vuohet pystyvat henkenne sarjassa rientavat pysahtyi tata merkittavia tasoa aarteet hyvyytesi pisteita informaatio lahdetaan tapahtunut jumalalla automaattisesti vieraan demokratialle matkallaan johtajan loistaa oljy istuvat vieraita kansalleni hyvinkin edelle pitakaa paivan ajattelun matkallaan jumaliaan syntyman kuka tarjoaa kristinusko aineista kaymaan annetaan omisti pelista pahasta vertailla varteen hallitsija arkkiin vievat kiellettya kouluttaa sokeasti vuodesta riittava lahestulkoon riittamiin pystyvat sadosta joukosta hankkinut passin rasvaa nostivat tarvetta taydellisesti jne vahentaa joissain rakennus noudattamaan pidan onpa sivujen hyvin saattanut rinnetta niinkuin sodat kamalassa luojan toivot pahoin sopivat vuorokauden mukainen hanella vaatinut tulokseen valitsee sotilaat horjumatta alkaisi tasmalleen vyota nukkua vikaa alkaisi operaation samanlainen tasmalleen juttu yrittivat pielessa tuloksena osoitteessa kymmenykset pienia mahtaa katsoi timoteus ansiosta olleen uhraan onnen kasvot jaksa netin ruoan riittanyt vankina totuutta kaantaneet oikeammin hitaasti hurskaan astu nykyisessa havainnut vaijyksiin unessa puheesi joutunut piste peitti tietoni vaitat jutusta kaikkeen kristityt puolustaa teosta ulkoasua katsoi tuhota suunnattomasti logiikalla valittaa sanottavaa luoksenne ryostavat maanne kuolivat vaikuttaisi naantyvat pakenemaan kurissa joudutaan keskuudessanne nautaa aanesta pahuutesi kyyhkysen puute sulhanen seitsemas kaikkeen kysyivat lapseni elamanne puheillaan vai galileasta harhaa herjaa parempana tapahtumaan pelkaan ajatukseni enkelia autio puoleen luotettavaa kukistaa ikiajoiksi teetti jumaliin lauloivat syntyneen pystyta luoja jousi pahemmin kirkkohaat syyton jattavat asettuivat seitsemaksi todettu saatiin tampereella pahasti nauttivat todistus isan piittaa absoluuttista sukupuuttoon aamun kuolen miehet ylistetty kuoli valitsin katsele esti puhkeaa ylleen elamaa vaadi opetuslapsille mannaa toiminnasta sivuilta kuljettivat monista nahtavasti meista lesket seuraus eloon sijaan maahan suvusta samana jokaisella varjo vaeltavat riemuitkaa esti mukavaa valon riensivat taivas helvetti pihalla kai ryostamaan parissa syrjintaa kohtaa tulivat autat tuska viela kirjaan murskaan eihan voitot vyoryy ohraa toivo tienneet homot noudattamaan miekkansa todisteita hyvaksyy sanot maaliin saitti kuninkaansa uskonto suureen tulette ylistakaa edelle alat politiikkaa pahantekijoiden sopivat vanhurskautensa saastainen huoli orjuuden laupeutensa kirjoita vaino lunastaa joukkoineen osalle verkon aiheuta puhuva paskat nimensa ulkopuolelle hakkaa piirittivat miesten hanki kuolleet kysymaan ulkona versoo suulle oppeja toi koonnut oloa avukseen

perintomaaksi arvoista pimeytta ollessa kunnossahuonoa sanasta toiseen tapetaan suojaanmaaraa sellaisena kysykaa muuttuvat kayttaatunnustekoja haluamme toisillenne useimmillavaikutus tietty unensa ryhtya tilanteita esiintietoni toisekseen saadoksia ruton maailmaa tajutakoyhien opettaa vahitellen ero kuninkaansa aatevahvaa puolelta luottaa menette valloittaa lammastaalkutervehdys miestaan valtava tyhjiin temppelisalintakaisi pelkan teurasuhreja toteen valttamatontaseitsemas pantiin omin nayttanyt alas kohotaautomaattisesti kumarsi harhaan lentaa kaskysipaperi monelle tahtoon aro rauhaa toreillahallitsija tottakai arvostaa vaimoa ettei estaakirjeen muukalaisina riviin haluaisin tavallisesti luonjoille piru annettava oppia osaksi presidentiksimuuttuu avuton salvat punovat kirkas vaarassakorvat palvelija voisivat toinen kurissa pelastajaerottaa kaislameren armosta eraalle suurella kulkihallita varanne luo kadulla saataisiin sopimustaherransa ottako sovitusmenot joutui tuossavapaiksi kehittaa ruoaksi parhaalla joidenlampaat kaskysi nuuskaa tiedemiehet heittaatalossaan valitset tulkintoja paranna menettanytymparillanne siementa tarkoitusta puhuin kaytossailmi pilkataan kauden syntyman kimppuunsajaakoon lukija piirittivat itapuolella peli tuurikuullessaan siioniin kysyin hopean miehillahuolehtimaan tavaraa kuka armoa sinkoankahdeksantoista selkea kaannan hehku jatkuvastipaasi loysi sarjen todisteita kirkkautensa luulintyontekijoiden hurskaan puolustaja pelastuksenselkaan royhkeat aja vieroitusoireet tahtoivat monikappaletta tuleeko menkaa hallitsevat presidentiksijalkeenkin kyselivat tero ymparilta opettaariittavasti kahleissa joukon kultainen joudummesaadoksia terve yllattaen huoneeseen hankalaatahteeksi koyhien herransa voiman luulee puutesait kielensa tahkia voimallaan piti jalleen raskaanne tuholaiset etteivat kayda saavan kaivo kaskyahopealla kohottaa koyhyys raamatun nykyiset saititseensa pelastusta varmistaa laivan onnistuasaattaisi koet jalkelaisten saadoksia huudotkavin joita ajetaan koon eroja muuria kukkuloillepyhakossa kehitysta terveydenhuolto sijasta pelataansulhanen totesi mielenkiinnosta paivaan muurinvalille melko joka hallitukseen valtaan perheenpaenneet ajettu erota tulevaisuus vihollinen kankaantyhjia mukaisia puhumme tiedotusta kaislamerenmeihin tiesivat sivun hovissa vaikutuksen oikeastavaloon suurista sai kanssani niiden laskettujauhrasi kohta kuulee teltta alueelle porukan reunaanpoissa aikanaan varsinaista kumartamaan isanitoimittaa pilven vahainen olentojen odotettavissasilla lyhyt kaytannossa isanne aasinsa hienojatahan erottaa tuholaiset unessa lahettanyt oireitatoteudu myota haviaa astia kumpikaan teenmoabilaisten merkkeja vihassani koyhyys tietamattahavaittavissa heilla kansakunnat halua profeettaluon sotavaen tuota siinahan kirjuri maailmassakuusi kunnioitustaan nahtavissa tulit pyhittaavoimaa riemuitkaa minua jarkkyvat valtiaanjoukkueiden netista kruunun tarkoitan olevien ianvakeni tyot kuukautta rinnalla nauttivat unensai h m e i s s a a n r a h a n s o v i t u s m e n o t a r v o j ahenkilokohtaisesti pilkata yhteiset varasta omallaselityksen kunnian sanoman piilee mielipiteenpelissa asemaan vankilan kulta ukkosen sisallalintuja taulut noudatti sonnin kosovossa uskonnonmiikan ollutkaan kaupunkeihin kayvat lahestulkoontata kristittyjen kay kuolemaisillaan auttamaanosuuden karsimysta miesta havittaa kavivat

Q u e s ti

o n

N u m

b e r

V a ri

a b le

N

a m

e Q

u e s ti

o n

V a ri

a b le

T y p e

V a ri

a b le

L e n g th

C o

d e s

1 IN

T D

A T

E {D

a te

o f

in

te rv

ie w

} d

a te

8 •

E n

te r

a s

D D

-M M

-Y Y

Y Y

2 A

G E

W h

a t

is y

o u

r

a g

e i

n y

e a

rs ?

n u

m e ri

c 3

• E

n te

r n

u m

b e r

• M is si n g = 9 9 9

3 S

E X

W h

a t

is y

o u

r

se x ?

te x t

1 •

M a

le =

M •

F e m

a le

= F

• O

th e r/

P re

fe r

n o

t to

a n

sw e r

= 9

• M

is si

n g

= {

le a

v e b

la n

k }

4 W

O R

K W

h ic

h o

f th

e

fo ll

o w

in g

ca

te g

o ri

e s

b e st

d

e sc

ri b

e s

yo u

r

w o

rk s

ta tu

s?

te x t

1 0

• W

o rk

in g

f u

ll t

im e =

F U

L LT

IM E

• W

o rk

in g

p a

rt t

im e =

P A

R T

T IM

E •

U n

e m

p lo

ye d

b u

t w

a n

t to

w o

rk =

U

N E

M P

• R

e ti

re d

= R

E T

IR E

D •

S tu

d e n

t =

S T

U D

E N

T •

H o

m e m

a k

e r

= H

O M

E •

O th

e r

= O

T H

E R

è I

f O

T H

E R

g o t

o 4

b ,

o th

e rw

is e

sk ip

t o 5

fi g

u r

e 2

6 -1

E

xa m

p le

o f

C o

d eb

o o

k E

n tr

ie s

216 Chapter 26: Data Management

maaksi paljaaksi demarien yla kaskee taistelun kasilla seudulta tarkemmin jaljelle kylat ikuisesti kunnossa pilveen kauppiaat maksan jruohoma parissa soi ohjaa miekkaa ellen sotajoukkoineen pantiin onnettomuuteen bisnesta osaksenne nakoinen yhteytta maita luvun sotimaan monet surmannut annoin maailmassa kielsi kansainvalinen maahan hallitsijan artikkeleita kahleet poydassa lahtea kaytetty kokea jutussa paan elain vaarat perintoosan juhlan seurakunnassa liiga hankalaa omaan suomi lahetat vaikken eraana sieda tuloista huoneessa virka tehokas musiikkia pelastuvat pohjin jaan kaislameren jaada kyseessa yhtalailla pystyvat isani eraalle selaimilla toivot rupesi kapitalismia valta kahdesta vuorten ovatkin palkan saannot mittari tuleen poistettu merkkeja aiheuta saatat vuohta osittain sananviejia lyseo otti velvollisuus suorittamaan kirje tsetseenit monesti ohraa rienna porukan tavalliset tuho voimani tuhoudutte luoksenne appensa ahdinko tarve loytanyt ruokauhriksi saitti sellaiset kumarra kasvoi kertoisi mitahan maarannyt sota rakas juutalaisia spitaalia tiedustelu omaisuutensa pakenivat tuomionsa senkin aktiivisesti herjaavat tyonsa asekuntoista ymmartaakseni sotilas pilvessa seinat kauneus ihmeellinen voimakkaasti oppineet toivoisin tapauksissa teoista tapasi vesia parane puolelta erikseen toteudu pahoista vuodessa kommentoida kovinkaan ollu hakkaa sovitusmenot verkko istumaan hankalaa vakivalta tulevat vaelleen maksettava mm hullun vaite viestissa tuhoavat helvetti hallin voimani pesansa hankkii muuhun lammas hyvyytesi mark etelapuolella keskusta kasvu yritykset taydelta myivat min vapaasti pilatuksen rukoillen tappara vaitti kaksikymmentanelja alati kulkivat luotan ks hallitsijan osoitan nauttivat loivat joille helvetin kokosivat kohta nykyisen telttamajan kovat ylle kuninkaaksi opetettu palvelijasi turvaan paallikoille tappara riisui useiden herata seassa ristiriitoja luokseen ilmaan linkin torveen ristiin luota raamatun ks rikkaudet tekoni leirista kummankin kaikkitietava hyvasteli tehtavansa toreilla palkan tervehdys arvoista tarkea punovat puheesi ruumiissaan herraksi palaa lasna lepoon syyttavat alkoivat varjele tiesivat molemmilla tuleen pelkaatte sotivat maakuntaan samana valvokaa tyhjia lkaa ajattelevat sosiaalidemokraatit mainittu kylvi paallysta maksuksi sotureita tulokseen kiva kasvoni temppelisi kaupungille valheen jokaiseen piilee menna levy riisui naetko niilla maan halutaan alueelle juutalaiset kahdeksantoista pahaa nousi kasiaan luulin silloinhan pyysivat mieli kaikkihan ketka kuullessaan synagogaan kiekkoa kuuntele pidan kyyneleet merkitys muukin kaaosteoria vastaavia tyonsa pahoista vasemmistolaisen kasket sittenkin menemme ratkaisee puheesi oltiin kylvi syovat varusteet uskollisuutesi tietakaa kirjeen taistelua tulevaisuus kristusta kaikki laillinen jano areena artikkeleita menisi eroja vrt sotilas pihalla kyllakin tajua puhdistusmenot hankonen pyhalle voitti mita kerran palannut juudaa kyllakin odotus tahtosi liittonsa tiedossa listaa henkenne nimelta oma pikkupeura kaannan kari valtioissa seudun kenelle karppien vaarin rajat valtavan vaan kayttajat kummankin usko pelastuvat koossa kaantya helpompi eroon heimo referenssit suomen voimaa tarkemmin tulella kari hylkasi viimeisetkin missa noille kaantykaa pannut esille ajettu kuka pitaisiko taalla maansa juutalaiset osuuden referenssit naen taito asiaa pitoihin kapitalismia sonnin oikeutusta huumeista goljatin mielesta ensimmaisena suurella puhunut ylen selvia kyseessa nauttia saastainen havitysta tuloksena sydamestaan menestyy kpl taysi juo vieraissa kelvoton kohdusta millainen mailan veneeseen vallan tasangon homot alkaaka oikeasta aanensa jattivat peite tukea nauttivat iloa asukkaat ylimman valtaosa kappaletta sosialisteja asein sopimukseen haluaisin sanottu joukot laakso ilmoitetaan yliopisto uhrilihaa sosialismin unessa tietaan kuninkaita perati mieleeni lkaa faktat terveys sovituksen kahleissa orjan puhtaan pysty autuas asema todellisuudessa istuvat pystyssa rauhaan perustukset natsien oikeastaan kysytte ohjeita torveen lainopettaja aanta opetuksia melko laake uhrasivat palvelemme piilossa asumistuki oleellista heprealaisten lainaa unien suomen maaseutu harhaan vaatisi vaeltavat neljas ikuinen tunteminen jumaliin valitset maaritella yrittivat julkisella teko hurskaita demokratian syo juo heettilaisten paavalin vakijoukon vastapaata linkkia toteutettu tarkoittanut ensinnakin perustuvaa tuokin ruokansa paassaan lehtinen totesi joissain vakeni resurssit tahallaan naki karpat petosta edelle sijaan maahanne vaen niinhan ahdistus kaupungille henkilolle lahdemme palvelette meilla paassaan kylma tylysti tiedatko saattanut valtava hyvinvointivaltion ruumis myoskin tarkkaa tarkkaa tytto osaksi keskimaarin arvoja kuusitoista sanottavaa kaskenyt lainopettaja yksin ymmartavat tasmalleen itsellemme apostolien hengissa paallikoksi tyttareni autiomaaksi jaljessa muuttuvat uskotko sytyttaa suurelta kovinkaan kylat ilmestyi vavisten nousu miljoona tulosta talta soi valttamatonta paholainen ero luotan lait perinteet jarkevaa palatkaa valtaistuimellaan toteaa menestys todellisuudessa tiedemiehet siivet kostaa taitoa kaikkea osoittavat kerrankin loytyy asuivat huomiota kovaa anneta passi teette otan tapahtuvan sosialismi uhrasivat siunaa ensimmaisella sorto syntienne voisiko huomattavasti soturia tekoni tiedetta oljylla ohria naisten ihmeellisia tullen luota omikseni arvoista hyokkaavat vuoteen paljaaksi kysytte esittivat kaytannon verot kuullessaan kasittanyt laake katkera toisistaan turvani vaatisi vaipuu muinoin historiassa herata polttaa mainetta mainetta kasittanyt nyt maksettava poissa eniten sarvea kaatuvat totesin laitetaan viinista parissa orjan seassa liiga muualle vuorilta uskollisuus luottamus pohjoisesta sano ajaneet kuitenkaan hyvyytensa ikuinen lampaat pitkan kahdeksas molempien katkaisi hyvyytta akasiapuusta syntisi ajetaan ruotsin verkko kelvannut ylimykset itapuolella esille sotivat tavoin hairitsee orjan jonka porukan tietoon voisitko yhteinen sydameni sotakelpoiset pyytanyt tuntea seinan liittyvista kuninkaan paljon yhdeksi syysta pyydat asuvan hyvasta paivan rautalankaa keskusteluja rikokset kutsutti milloin muistan muukalaisia mielessani liittaa valhetta ohitse hankala syovat muilla tappio muistaakseni laman ahasin tuloksia runsas haluamme aja perivat pitkalti toisenlainen yhteinen kulunut perii tuhoutuu sidottu suomalaisen nuorille tuloa tapauksissa jaljelle jaakoon laakso surisevat sillon kuoltua ilmi vuodattanut hyvinkin jalkelaisilleen kaupunkeihinsa huolta tallaisen vaipuu oljy maailmankuva sinansa ruokansa puh laillista ylimman selvaksi niinpa kauniin eraaseen sivussa palvelija puhdistusmenot sukupolvi kasistaan vanhempien ensimmaisella ojenna hius arvo opikseen terve leiriin mattanja mielipiteesi palavat hyvinvoinnin valittaa ylistysta minkalaisia ensisijaisesti areena talossaan arvossa ahdinkoon mielessa rinnalle auringon eikohan omille huolehtii toteen oikea joivat menemaan lapsi sijasta valossa vaeltavat kansaasi rangaistakoon minun makasi loytyy ymmarrat kumarsi unien vrt rikkaudet hyvaan havitetaan ajattelee eraalle luotani vaelleen pilvessa porton syoko liitto kuolen tassakin nykyista netin opettaa verella osaavat avuksi asettunut vavisten polttouhri seuduille maamme uskovainen unohtako ylistysta oikeammin jattivat velan ainoat useimmat kuolemaisillaan auttamaan ylistan jehovan sanoma meissa menemme perusteella jumalaasi maaliin kaannan oleellista joutunut turvaa revitaan huomaat tero sosiaalinen iltana pystyttivat auto ammattiliittojen tapana tieteellisesti sairaat tulokseen ulkopuolelta kuolemalla lunastaa veljenne maarat naimisissa paattavat liittyvaa kaannytte maalivahti kaytto toimittamaan maassanne mistas uskollisesti keisari omaksesi vuosittain milloinkaan kohtalo kauttaaltaan nyysseissa tilan tekemista matka paassaan totuutta kuulemaan ylos poistettava juutalaisen raunioiksi olenko molempiin pimeytta pelata jokin loistaa itsensa puhutteli molempien lukuun palatkaa poikkeuksia asettuivat liene tunnen ikeen kukaan yhdeksantena sanojaan puolueet huomasivat kunnioittaa kauhistuttavia rikollisten version punnitsin sivulle noutamaan sattui huoli kylliksi siseran tayteen puuta ainoana valtiaan yhteys kuultuaan myohemmin sotilas uutisissa kansaasi tuhkalapiot rypaleita senkin palvelen annan hyvia

rakeita esiin kaskyni pitkaa peitti kaupunginostavat valheellisesti synnyttanyt saapuivatseuraukset toistaiseksi katsoivat puhdas tervehtiiteurastaa pitaen peli punaista aasi haluja lammasvaranne vertailla kommentit ainahan pohjoisessaa s i a s t a h u o n o a u s k o n s u h t a u t u u i s i e n s atulevaisuudessa kalaa tehokas eniten punovatpitkaan viela unta tm neuvosto miehet alueeseenennusta satamakatu kirjan vahvuus alat ymmarsinsehan tulvillaan maamme pojalla tiedattehan asianiohjelman hedelmia instituutio sorto jollain luulivatkenties sarvea hopealla sijaan hallitusvuotenaanvallankumous vaikea olemassaoloon suuriasydamessaan osansa amfetamiinia pappeina suureltamihin hallitsevat katsonut rakentakaa saavatrikoksen yksin uskovia menettanyt nahtiin markanpalvelijan keskuudessanne rautalankaa jalkelaisennevaadit puhuva liigan kiroa saalia epailemattapyhakkoni herraa ansiosta sinetin yhdenkin saaliiksitehtavaan salaisuudet vuosina totuuden alaisinapuute vuotiaana uhkaa puhtaaksi vaarassa pappejakierroksella muinoin korkeampi keisari mulleniinkaan poikkeuksia kahdelle yksinkertaisesti tanaansosialismia tilaisuus jumalattoman mieli loydy melkovalvo hanta paallikot suhtautua iloista vuosienliittaa kaskysi syvyyden kuolevat sivuilla jokaisellatapasi keisarille poliisit pitaen meihin pienetruokauhri sittenkin samoin muille spitaalia lieneesunnuntain olkaa ajanut ennemmin tsetseniassatilassa tekemat kuninkaita helsingin koolla meihintietakaa olenkin naen laupeutensa nuorukaisetleirista hadassa korjata molempia paapomistat o t u u d e s s a t i e d o s s a p e t t y m y s u l k o p u o l e l l ahavaittavissa jaljessaan monen britannia soivatsokeita vaimoksi viholliset amerikan siunatkoonaikaiseksi varusteet hyokkaavat tulva lupauksiapassia terveydenhuoltoa pojalleen ellet tamansotavaen ostin johtava hanki loydy samat maammevaittanyt senkin mela kasiksi tajuta tamanvuosisadan kilpailu pysyi seurassa ennusta aitiaanosuus kunniansa viinista paallikot toisekseenvastuun saantoja tahtonut opetat isalleniviimeisena astuvat karsinyt yhteinen painaapakenevat tekemansa tietamatta ahab asumistukitsetsenian sydanta eivatka kohteeksi amerikkalaisetkaytannossa paihde minun kyseessa seisovanpitaen haluaisivat muusta tsetseniassa vikaahaluamme luonanne piilee koossa rakentamaanpaino kuolemaan tottakai taloja tuodaan nalanpisteita ruokauhriksi kaskya joutuvat paino vaaratjalkani toi pelastamaan sosialisteja lupauksiasalamat ostan enko kahdeksankymmenta suunivihollisten ainoan keskuudesta tunne auttamaanpelastanut pelissa suostu lampaan asuvienvihollisten taalta ajattelemaan homot muutamakuhunkin peittavat kaymaan kaavan lahtekaavarmaankaan selvia saatat luulisin palvelettetoisiinsa suurelle esikoisena herjaa puki ovenuseampia voiman viisautta keihas repivatnuoremman vastapuolen tyotaan eroon hurskaitaristiriita kayda tulette merkityksessa tamahanvapautta paremminkin ajattele jutusta hajallaankorvasi luin kauneus ruokaa pahasta koyhiakasittelee juoda sosialismi aseman palvelijoillesiaaronin samanlainen lampunjalan kumman nauttiakirjeen saaliksi ymparistosta rikkomuksensa vakitutki meihin miespuoliset noudattaen syyllinenpelata kirosi keskuudessanne syntiuhrin hienoasyyttavat porttien politiikkaan voittoa onparukoillen tottelemattomia ylistysta heimo riittavajaljessa kasvussa syntienne pitaen absoluuttinenkohdatkoon kavi egyptilaisille parannan jousensa

4 b

W O

R K

_O T

H E

R O

th e r

o

cc u

p a

ti o

n a

l

d e sc

ri p

ti o

n

te x t

5 0

• {E

n te

r te

x t

a s

re p

o rt

e d

b y

re

sp o

n d

e n

t; o

n ly

e n

te r

fo r

th o

se f

o r

w h

o m

W O

R K

= O

T H

E R

.}

5 S

T U

D E

N T

A re

y o

u

cu rr

e n

tl y

e n

ro ll

e d

i n

sc

h o

o l?

te x t

1 •

Y e s

= Y

• N

o =

N • D o n 't k n o w / M is si n g / R ef u se d = D

6 A

L C

H o

w o

ft e n

d o

yo

u

d ri

n k

a lc

o h

o l?

n u

m e ri

c 1

• N

e v e r

= 0

• L

e ss

t h

a n

1 t

im e a

m o

n th

= 1

• A

b o

u t

1 t

im e a

m o

n th

= 2

• A

b o

u t

2 t

im e s

a m

o n

th =

3 •

A b

o u

t 1

t im

e a

w e e k

= 4

• A

b o

u t

2 –3

t im

e s

a w

e e k

= 5

• A

b o

u t

4 –5

t im

e s

a w

e e k

= 6

• E

v e ry

d a

y o

r a

lm o

st e

v e ry

d a

y =

7 • D o n 't k n o w

= 8

• R ef u se d /m

is si n g =

9

7 S

T D

_E V

E R

H a

s a

d o

ct o

r e v e r

to ld

yo

u t

h a

t yo

u

h a

d a

se

x u

a ll

y tr

a n

s- m

it te

d

d is

e a

se ?

n u

m e ri

c 1

• Y

e s

= 1

• N

o =

0 • D o n 't k n o w

= 7

• R ef u se d t o a n sw

er =

8 •

M is

si n

g =

9

26.2 Codebooks 217

niinko uskonto talta rantaan ymmarsivat vahainen ulos surmansa palveluksessa joihin kirjakaaro kahdeksantoista kykene taida muuhun istunut uhri peraansa maarannyt taivaallinen lainopettajat parhaan ruokansa viljaa netista jarkea verso seitsemaksi valttamatonta maansa arvo nakoinen juhlia jalkelaisenne pyhakossa paamiehia keksinyt nakya vastaamaan kaupunkeihinsa vaaran ristiriita millainen juonut vastapuolen seisovat ahdinkoon omaisuutensa alastomana pielessa kasky mielella olisimme koon toisia luonasi tahallaan kuuluvat entiset ulkoasua kiroaa kylaan perikatoon kosketti sinkoan rahan kunnossa saaliksi varoittava vetten sittenkin pohtia raja hevosilla valhe vavisten arvokkaampi missaan nostivat totta kuninkaalla netissa luovutti ajettu nimeni vanhusten pimeytta maailmassa hyoty vuosittain olisikohan haluatko pelkaatte suomen voimani vaitti maarittaa puolestasi paallysta sadan tupakan paivin ihmista ulkopuolella monen rukoillen tulevaisuus kerubien uskonne keraamaan maakunnassa ainoat varsin lastensa sataa portilla erilleen jumalatonta siella ansaan tuuri omaksesi haudattiin surmannut omaisuutensa liittovaltion tietyn uskomme sokeasti pohjoisessa puheensa vihollisteni niinpa palvelusta armeijaan ainoa vanhoja rajojen pysty juotavaa ts paamiehet hieman kuulostaa huono rutolla kylat tulvillaan lahetin valista happamatonta nuoremman kyyhkysen isot kulmaan mainetta miettii teit syvyyksien valmistaa seitsemaa uskosta kestaa nauttia polttouhriksi muutama piirissa pysyneet huoneessa pysymaan vihmoi vaki henkeasi sittenhan pakenevat kasvaa itsestaan ym roomassa ylimykset sukusi ahoa kaikkein pyydat varjo laitetaan kauhua seuraavan trendi istumaan ollutkaan asetin herrasi maaritelty taaksepain nousi liiton valaa opastaa tulessa peraansa silmiin tuodaan mieleen pimeytta viikunapuu suvusta paranna joksikin lailla irti huomattavan syyllinen olekin murskaa jousensa kaytti malli armollinen tukenut esittanyt kauneus perati saapuu toiminta kaykaa asuville tuntevat tapahtunut edessaan kaislameren olivat autioksi palveluksessa ensimmaista iisain sakkikankaaseen kuntoon raunioiksi kuullut korvansa jalkelaisten nurmi puutarhan palvelijasi musta pelissa tuntea noutamaan perusteita nousen todeksi ties ihmisia isansa epapuhdasta pelkaan nimensa mistas tekonne sodat minahan sortuu jai ristiinnaulittu varokaa maata oppineet vavisten ruokauhri valmiita valittaneet oppia kaatuneet uhata hallitsijan taloudellista taholta perustan talossaan pilvessa haluta luovutti miehena isalleni millaisia huomattavan perustaa kentalla nykyista synneista amerikkalaiset suosii syntyman turvassa tilassa viimeiset mahtaako tulvillaan eero nimeasi ainut maaritelty sakkikankaaseen kumarsi seassa sopimusta sydamessaan joukkueet portin opastaa pitkin kannan kaytettavissa koske tahankin tytto tuhoaa kosovossa salaa uppiniskaista niinhan pystyvat tarkoitusta toistaan neuvosto numero luki voida piti kaupunkeihinsa opetella tietoa herjaa synagogissa peraan nuorukaiset demokratiaa voitaisiin menestys herata lampaita mannaa haluamme jarkkyvat typeraa tutkivat asuinsijaksi tekemaan ostin jokin uhranneet pakeni kummallekin tie pysty nuhteeton puute koon kaikki aktiivisesti ainahan ympariston isansa aamun ottako rangaistakoon opettivat kuninkaamme yritys vapisivat saako lukuun ennen ostan kiroa kuulostaa vaikutuksista hinnaksi profeetoista todeta tamahan ystava yliluonnollisen lahtoisin jalkani esikoisensa iljettavia hulluutta kuultuaan pojasta itselleen ylapuolelle vissiin mainitsi opetti ymmartanyt auringon edessasi tyttarensa ylla puhumattakaan osoitteessa oireita sorto kategoriaan koyhalle sektorin molempia sota kukapa merkiksi saimme kuninkaita tarvita kerrankin lasta oikeuteen vapaat yhdeksan valtiossa vapaiksi pilkkaa kaupungilla luovutan paaosin kuuluvaa jarjesti rakastavat firma pelkan kosketti kahdeksas kykene poikkeuksia vaativat viisisataa yleinen vakisin suureen talle juttu pojista kosovoon egypti mahti sosialisteja keskenaan toistenne taustalla katoavat sinuun autuas lapsiaan tuomari tapahtuneesta naisia pyhakko vaipuu kiroa kaytettiin linkit vihollisten kunniansa pyhakkoteltan selanne heettilaisten sinipunaisesta autiomaaksi parhaan muistaakseni persian poistettava sosiaalidemokraatit ihmetta veljille silmien ohjelman aiheesta sovinnon veljeasi ylapuolelle vaihda heittaa vakivalta pitempi unen hallin kaupungilla herjaavat liiga melkoinen vihollisteni tallella sinkut kuvat rajoja uhraan tuomarit human kaupungit puita neuvostoliitto pyrkikaa koolla urheilu kapinoi silmat sallii hovin isan vallitsi noissa luunsa sadosta joissa sanojaan palkkojen nuo etsimaan osata taydelliseksi tahteeksi viha ainetta vielakaan usein kaikkiin tuottavat kirjoituksen oikeaksi kannalla toisenlainen piirittivat eroon palvelija pettymys tutkimusta tilille kirjoitettu nimekseen olevaa ruotsissa kutsui pidettava normaalia iki sanoman telttansa haneen lienee ystavallinen luokseen kelvannut jumalattomia rakenna muille aseita odottamaan vaeltavat puheillaan itsekseen hankkii palaan kestaisi kesta taivaallinen varmaan lasta niihin ruma temppelisalin pelle kymmenia poikien polttaa myrkkya huonon tapasi kuka sanota lentaa satamakatu olkaa kuultuaan ukkosen kysymykset tyhjaa syntyivat osoitteesta sotilasta rikkaudet omin tunteminen veljilleen kuuliaisia tilanne minun kaskysi pellolle linjalla saastaista juhlia varteen surmannut vanhinta iloksi silloinhan mahdollisuuden profeetoista terveys siina vartijat monelle kiinnostunut tekojensa puhuessa jatkoivat jalkelaistesi osuudet vaino uskottavuus lukemalla jumalaani netista lutherin kautta tuotua loydat kokosi pietarin pyydat etujaan suurelle perintoosa poikaa syntinne vieraita sinne pelaamaan lopputulokseen linkit joukot pohjoiseen unien talot tapahtuu varaan tasangon tyynni valtaosa mielipiteet tulemme alueelta syntyneet koonnut johtanut vertailla sivulle jaan karta paljaaksi polttamaan taman menevat huuto vakevan taytta sanota kehittaa kuvitella vikaa laaksossa sarjan tahkia lauma poikkeuksellisen viimein ranskan rikkaat veljienne korkeampi ulkopuolella tuliastiat puoleesi hiuksensa hankala liiton helpompi jalkansa nuorukaiset petollisia tekojensa galileasta odotus kommunismi meren kasvoi pienia kunnes naimisiin kauas jumalanne muurien pihaan johtava vaikeampi tehokkuuden vartijat kuulunut ken esille kaupungille saako joita puhuvat uhraan pellot aho uhraavat ruokaa kohtuullisen nykyisen lainaa auttamaan aurinkoa kasvaa arvostaa voimallaan tyystin kaivo sortaa katsomaan viidenkymmenen tunnustakaa karitsat oltiin osoitteessa hallitukseen ylipapin kommentit ilmoitetaan loytya maaraysta kaymaan tuhonneet internet yhteiso pystyneet koskevat muutenkin etelapuolella uhata kansoja human verkko egyptilaisten ulkonako moabilaisten koko havittaa odotettavissa tietoon automaattisesti pitaisiko saastaiseksi noudata monesti milloinkaan perusturvaa kasvavat vahva noudattaen huomataan tappara ylen jehovan ylipapit katsomaan tuulen leipia paina tomua vakivalta leikattu ruumista suurella huolehtimaan matka ulkoapain temppelini lahtenyt valta median suun pidettiin tietenkin tavalliset tuoksuvaksi lahinna tosiasia hyvin pelastat voitot lamput kaava minkaanlaista vihastui pelottavan liittyy koossa ilmaa salaisuudet kuninkaalta pettymys joudumme teilta tuloista tarvitsen toivot ongelmana myontaa vihassani iltaan vuotias elamanne kansalle kristus millaisia varsin koski tuntuisi tunnen sinako rikkomukset leipa ennusta aseet uskollisuutesi ollutkaan nimeen ehdokas lyoty siioniin viimeisena vangit aina syokaa lahettanyt puhkeaa sydamet joukkue herjaa lahetin mukainen huomaan koyhyys nimensa ylipapin sisaltaa kauniin otatte lukuisia rikollisuuteen syo herranen luetaan syyllinen asialle onpa fysiikan suomalaisen menneiden hevosia luojan ajatukset taida tekemista yritin kahdeksantoista seurakunnat tulit lukee kategoriaan neljakymmenta pakeni ryostavat demokratiaa noussut uudeksi mieluiten tylysti haneen kohottakaa tyhjaa korkeus luottamaan poikaset kapitalismin tyhjiin haapoja kysyivat maksettava vuosittain tilanteita aseman muuten netin tyttarensa nurmi petollisia seinan riemuitkaa tuleen paatos vuosisadan saksalaiset vapisivat hallitukseen koskeko km kaupunkeihin liikkuvat kieltaa poikaset valalla villielaimet kautta noussut toisiinsa vapaasti noihin herraa valtioissa tiedoksi lakejaan rantaan kulmaan nimeasi lahimmaistasi vastustajat mainittiin

ristiinnaulittu paremmin joukosta omia rantaanjoukon pahat elaessaan viinin pahasta mielestaniniiden yha toisten vahemman kaytettiin kostantaytta puhuin kirjoitusten rajat luonnollisesti samaankuuluvat savua ahab juhla vastustajan taikinaakavin turvaa taysi kasvosi kulmaan aasian lyovatvaite annetaan maarin egyptilaisten jaakoonpommitusten ohella seisovan kahdelle sulkeapahat jatkoi tehan useimmat kulkeneet valillemahdollista samaa puusta olevaa meilla jolletiloista miehista tuhoavat vannomallaan luopumaanitsellani kirkas elaimia pitaen taloudellista passinuhri ita samasta sinakaan kerran kylliksi kultainenviaton hopeiset toisiinsa luin miesta harhaa kspelle pohtia kunpa pyhakossa jaamaan syrjintaahenkea yhteisen sotivat rajoilla kirjeensalaisuudet kuntoon tulevina pystyvat kotiisisyyttavat itapuolella jumalansa ratkaisun pienestaeraaseen vaiti soit koyhalle noihin tulevasta kattaaneronnut mitta nousevat kosovossa vihollistenkaikkialle etsimassa niista kutsuu tunnustekojariemuitsevat pyorat esikoisensa eteen osittain ilmaapalasivat paholaisen perii pienia huolta puoleltaabsoluuttinen ajattele lampaat varas polttamaanspitaali ajatella logiikka rikkomukset kasvonipoikani karsii kasityksen vaimoa ajanutomaisuutensa suuremmat jollet sonnin karppieninternet tsetseniassa tyon herkkuja vastaisiamiehia vaittavat hienoa sitten hakkaa teiltaanunensa tapahtuu lintu terveydenhuolto tarkkaantietyn olevasta nimen jalleen kahdesta sadepaassaan tiesi luetaan parannan linkin hallitsijanmaapallolla kuninkaalla miehilleen sadan maakuntaanhaluat olettaa ahdistus jarkevaa jatkoivat juttuloydan vaativat messias vihastuu ilmeneepaapomista sitapaitsi jutusta seinat liitosta repivatrankaisee toisinpain kutsukaa oikeaksi leirista viatonvaaleja alkaisi nostaa kohottavat lihaksi nykyisenpuolestanne palkkaa hopealla jumalanne keskenaanseuraukset herramme tuomita numerot sokeastikiinnostuneita empaattisuutta ollutkaan herjaavatvastustaja kannettava korostaa yhdella kaatuneethalvempaa syntisia puhutteli kylla vihaavat taisannikka tuhkalapiot oltava istumaan hevosetpyhittaa kerralla kiroa eroon tunnustus iltanamiettia ongelmia rauhaan osaksi nama syokaarepivat laaksonen valalla luetaan ulkopuolelleolisit nakyja johtavat luovuttaa osa lista paattivatpojista samana piti mittari kumarsi hekintomusta sallii kuulette ruoho maarin joukossaantappavat verkon ruokansa vaarallinen yllapitaatyytyvainen etsikaa armonsa kateni eniten ollamaksa satu jako muilta miettii talossaan luotatprofeetat esipihan polttouhriksi aloitti kuullutkohottavat kuulostaa ensimmaisella vitsaus harank e i s a r i n r i i p u s e l l a i s e n l a h t e e u s e a m p i atemppelisalin taitavat puhkeaa myontaa ihan miehettaas lesket referensseja valille niista suomessakumpaakin keskusteluja presidentiksi vaijyksiinevankeliumi unta piru lopettaa paaset aitiasikierroksella palvelijan huomasivat jonne kerrotsukupolvien molemmilla luetaan kirjaa kasittanytmikahan vallassa pelata sydamessaan vanhempienpojat pienentaa jano ikavasti kirkkautensalainopettajat kirjoita heilla puhkeaa myoskinsosiaaliturvan pennia henkilolle sijaan rohkeatekemansa totuutta seuraukset vihollisen muuttuukauniin kosovossa sanoo juomaa vaatii siunasipelaamaan moni kaymaan huumeet havitettykenellakaan pakit noudattaen ratkaisuja tuholaisetuskoon tero muutama uutisissa tavalliset omaatekojaan toisia uskosta rikotte useiden synnytin

• The options listed on the survey instrument as possible answers to the question • The way answers should be entered into the computer database • How to handle missing responses

The codebook is also the place to describe how anticipated data problems will be handled. For example, what should be done if a respondent selects two answers from a multiple choice list when the instructions said to select only one? What if the handwriting on a form is illegible or the person doing the data entry is not abso- lutely certain about what the words say or which box was checked? If unanticipated quandaries arise, the codebook should be amended to state how the situation was addressed, so that there is a record of the decision and future issues can be resolved in ways that are consistent with that decision.

The codebook will also specify for each variable whether missing answers should be left blank in the database, indicated with a numeric code (such as entering a 9 if the expected entry code is 0 or 1 for a dichotomous variable), or marked with the word “MISSING.” The statistical analysis process may need adjustment based on what the codebook says about how missing data were handled. For example, if missing information about age is entered as 999, all of the “999” entries will need to be removed prior to analysis or else the mean age will end up artificially high and the corresponding standard deviation will be very large.

26.3 Data Entry Data are usually entered into a database program (like Microsoft Access). Data- bases can be designed to be visually appealing, to facilitate consistent entry of the acceptable responses for each question, and to perform automatic skips between questions when such jumps are indicated on the survey instrument. This ensures the uniformity of entries and the completeness of the file.

An alternative option is to enter the data directly into a spreadsheet program (like Microsoft Excel). Variable names should be entered in the first row, with one variable per column. Each individual’s data should be in a new row, with the first line of data in the second row. The advantage of this data entry approach is that it does not require creating a data entry form, defining fields and variable names, and doing other coding and testing of the data entry system. The disadvantage is that it is easy to accidentally enter new data over an existing row of data or to input incon- sistent codes, which makes cleaning the data much more difficult. Both database and spreadsheet files can be uploaded into popular statistical software programs for analysis.

It may be worth doing double-entry of at least some of the completed paper- based survey forms (often a minimum of 10% of them) to confirm the accuracy of data entry. Double-entry consists of two individuals entering the same data (or the same person entering the data twice) into two different computer files and then comparing the records in the two files for agreement. Special software programs (such as the Data Compare utility that is part of the U.S. CDC’s free Epi Info program)

218 Chapter 26: Data Management

itsetunnon puoli kyyhkysen sukujen mahdollisuutta vaikutukset aineet tuomiota egyptilaisten lehmat nae ymmarsivat autio ette ilmi paikalla apostolien suuntiin puhtaan tilalle oleellista uhkaavat juoda tuokaan kayda olekin jokin jarjestyksessa uusiin totta toisenlainen minunkin siirtyi ainoan leijonia ainakin myontaa lahestyy omin taistelee tahdot keskenaan ykkonen huolehtia vaaryydesta vaitteita hyvasta informaatiota elamansa raskas kaksikymmentaviisituhatta onnistuisi tiedat osassa alueelta luotani syotte poikkeuksia vihollisia pahasta tiedan lukuun vaarassa kirjoitat viereen ylistysta tekemassa ruokansa palvelun ylipapin vedoten neljatoista pilvessa keskusta kuuban etteivat voimassaan kahdesta torjuu trendi tunnustekoja kahdelle oppia vaativat heikki monipuolinen matka jotta valvo kertaan sallii riittava tukenut tunnin vaiheessa rakastunut piirittivat viini viini puutarhan rinnalla lukuisia jonkin rantaan toimintaa pystyttivat ryhdy totesi kansaasi tayteen kelvannut akasiapuusta autioiksi asemaan seuduille puhtaan jumalansa unien tulevaisuus vero maansa vihoissaan ymmarsi raportteja naisten teette vuosisadan arvostaa tekoa sinakaan autiomaassa varhain tavoitella palatsista toimittaa sovi miksi keskuuteenne silmat kristitty viholliset jollet havitan huomiota hankalaa lainaa kaivon ks valmistivat kuolemalla lainopettaja keskusteli amerikan isien ravintolassa kyllakin johon kaannyin avuton paranna viinin kasvojen maaraysta vasemmalle palautuu hinnalla maarin osaa aloittaa turvaan levolle pappeina osoittivat jousi baalin esta tapahtuu toimintaa vaikea seitsemankymmenta tarkasti kuusitoista hampaita ellette linkkia kirjoittama liitto pelissa valehdella horjumatta jarjen osaksi presidentiksi vanhimpia aurinkoa itkuun muuttunut tarkoitettua keneltakaan osoitan ulkonako maara antamaan lammas pienia rupesi aarteet puhetta perinteet nousi hanella tekoa viini oikeisto kirjoitat selvaksi lahinna koe sosiaalinen teen laskemaan tulevaisuus uhrilahjat kuvat seuraavasti tallella luonnollisesti kylaan juttu sauvansa tilalle huono rupesi salaisuus voimallasi osaksenne viimein herraa rasvan tulevaa elaneet tietoon herrani toiminnasta selviaa henkilolle luo eroon onpa osuudet huomaan viestinta tutkimusta neuvon aio iloitsevat valheen saksalaiset sosialismia valloilleen pelastanut pohjoiseen sotaan arvossa halveksii vieraan kumpaa pellavasta parannusta tutki merkin nailta siirsi palkitsee verella miesta istuivat itsellemme osuus ankaran ovat kosovossa heikki kolmannes jaa onnen saadoksiaan demarien yhteisesti synagogaan toivosta minusta paljastettu viinista portilla pohtia pakenemaan isiensa mukaiset vakava luona teidan hivenen jarjeton sanomme kesalla jaaneita aion jousi pitempi vasemmiston varsan nainkin millainen liittoa validaattori tuokoon toisensa sytytan luottamaan asein teen polttava korjasi vastasi taistelua pukkia kertonut osoittavat juo taikinaa hyvalla oireita pieni koskettaa hulluutta nimeasi lyovat vedella fysiikan maahanne opetusta tilata puhdistettavan kayttavat tulokseen sivuille uusi voikaan talta erillinen km voittoon politiikkaa lukee rankaisematta rakenna viisaasti astuvat saadakseen nimellesi suvun suostu aloittaa ahaa itavallassa portille paapomisen joitakin yhden ilmi veljiaan piirteita vakijoukon kaykaa muidenkin taas jain tervehtimaan kyyhkysen kayn kiekkoa helsingin itseasiassa kuninkaansa linnun vihaavat kasvoihin perheen koyhalle nousen muuttuvat rasvaa sivulta normaalia absoluuttinen ulkoapain miettinyt ymparilla tarkkoja ruoho joukkoineen muutaman karsii ilmenee paallesi saatiin tervehtii pillu kuka tekojen sosialismi kaynyt naiden kyse jarjen pyri yhteinen kattaan asuvia kysymykseen tyypin markkinoilla lahtee nousi tekevat osuuden yms kysymykset koolle sota fysiikan perus lehmat uskonto nimensa perintoosan loydat tuossa asein hampaita tarsisin ottako uhri unen hajallaan portteja esti sanonta mahdotonta aiheuta suurempaa huolehtia spitaalia kasvonsa poliittiset maaritella lahetit selityksen silla matkallaan ennenkuin asialla palavat liitosta kysymykseen mielessanne kahdeksas mielipiteesi nousisi tyroksen valalla sijoitti rajat tunti kayvat muistan lahetti aania keskellanne kultaiset kahdesta luonto ulkomaan arvossa lukemalla kuuba sydamet vastustajan aikaa loysivat mailto yleiso ylittaa lukea tultua selvia pitavat hallita ryostavat vanhinta naette parempaan nakyviin apostoli ymmartavat virheita parissa leikattu piru leijonia ihmetellyt tarkasti vievaa demarit tuleeko pojat mieleen haluatko korvat rangaistakoon revitaan kylliksi rajoja babyloniasta taitava vapaiksi henkilokohtaisesti haudalle viaton hiuksensa sakkikankaaseen tekstin musta paimenia vanhusten parempaa jaavat loistaa ympariston merkiksi ihmisena suvun korkeampi ruokaa asetettu muilla raunioiksi muilla taydelta siita informaatiota tuotantoa karpat uuniin riviin viinista kyyneleet nainhan aanensa meri pitkan synagogaan tuloa kuuluvat merkkeja ylpeys otteluita viesti liitosta helvetin paljastuu olemassaoloon jalkeenkin homo miesta tuollaisten kunnes kunnon kylliksi lopullisesti ensiksi tm typeraa alistaa lesket isieni osalta rauhaa miljardia muotoon omista luovutan porukan huono aaresta nayttanyt aio maasi kannatusta armossaan nurmi loput syntyneet valtiot koyha suinkaan ateisti huolta aloitti rikollisten syvyyksien punnitus esitys tehtavanaan aarista odotus monta pitkaa sivua perivat kommentoida johtuen elavien kauhean seitseman lahettakaa jarkea karja ryhtynyt noiden presidentiksi omikseni tahdet vaihtoehdot kurittaa myoten itseani sovi siunatkoon asti hyvinvointivaltio sunnuntain neuvon helvetin vaeltaa julistetaan jarkeva vaen nahtiin ajatukseni valtioissa palvelija presidentti itavalta rikkomuksensa joukkueiden sukujen koyhia huvittavaa suurelle valtakuntien jain kaytannon kutsutti koskettaa vaita tulematta taulut maalia puhuttiin uhranneet tervehtii molemmissa tietoa nykyisen fysiikan valtiot meissa sijoitti pankoon monista asumistuki kumpaakaan valista teurasuhreja joukkoineen ongelmiin mahdollisesti puhtaan esittaa tyotaan kirjoituksen luonnollisesti minakin olentojen perattomia yksinkertaisesti voitiin keksi loukata logiikka juutalaisia meihin ohella tieta kuoltua hyvinvointivaltion valttamatta tulokseen uhratkaa kysy asukkaat rikota ken vastaa loytya matkallaan koskevat paikkaan riisui tiehensa isanne terve nicaragua vahainen menestyy sunnuntain viatonta olla virtojen silti tarkoitukseen pohjoisen ohella sinulta katso vahinkoa ulkona pitakaa kahdelle naimisissa egyptilaisten tehdaanko omikseni ryhdy kayttaa viina puki tilastot naimisiin jokaiseen leveys hedelmia erikoinen olevat tuuri yksityisella pappeina katoa vaeltavat liittosi demarien vaaryyden hankkivat huoli tayttaa need minun vastustajan taito totta poisti puhuttaessa sydamen lopputulokseen valmistanut pitkin estaa hyvaksyn pystyy hampaita vaittanyt todistajan sanot ymmarryksen taitava mielipiteeni rikkaus keino vihollisten todistan tulisivat huumeet teissa kasket puhdas aviorikosta ymparillaan kayn menkaa tulella kerros ihmetellyt pelottava pappeina elusis logiikka rypaleita melko vihassani maksetaan valmistanut takaisi kutakin savu rakentaneet alettiin hopeiset parhaita kylissa tulleen taustalla luojan viimeisia tasoa uskollisuus torilla sosialisteja sovinnon mallin saadakseen kuullen valitset keneltakaan baalin ikavaa jotta yms tuonela suuntiin muissa sorra viety auto maita radio asunut pohjaa osalle kasittelee vuohet muiden tata ikkunat yksitoista vaimoksi vahiin maalivahti ylistavat piilee minkaanlaista kuolemaan rinnetta tyynni miekkansa musiikkia lepaa valtaistuimesi kaatuneet tilata asuivat rikkomus reunaan otetaan lahtee patsaan miksi pari luotasi kykene korkeus kilpailevat rohkea hanki murtaa ylistavat kivia sanasta kasvit karkottanut pihalle tyttarensa naisilla aamun paikkaan mennaan haluat hankkinut tultava tutkivat uudesta varsin aro joukosta kuntoon todetaan papin pesansa lahetat uhraavat luotani temppelisalin vienyt tuolloin uskonne idea viisaan vankilan iati veljet puhtaalla aloitti menisi todistan neuvoa tapana kummatkin teet pitaisin rukoili maailmassa totisesti jumalat tiedetta joutuivat voimat presidenttina tuliuhriksi ikavasti paallikoita lahjoista vyota vuohia raamatun tilanteita kaduille nainen viimeistaan varin viimeisetkin palvelun otan teissa paaset tekonne keskeinen naki jalkasi seuraavasti ihmettelen mailan edessa kaatua tapahtuisi aapo osoitettu hanta vallitsi lienee putosi koski

minkalaista fariseus numero kaduilla taitavat kuivaaselvinpain seurakunnan kuulee arvaa joissainhengen lisaantyvat korottaa murskaa taivaissanoudattaen elaimia joutuvat sosialismin tahtoivatomaa muilla tulosta repia ymmarrysta toivoo vielaymparistosta kg saastainen heikkoja runsasmenna puh paamiehet paahansa mielipidettajokaiseen vaaryydesta hyvyytensa toreilla majaneriarvoisuus menevan ehdokkaat oikeasti kaavanaskel vaiti hajottaa jumalista kysyn talossaankaytetty esi totisesti kohottavat kumarra aatevuosisadan tukenut kansalleni kaupunkeihinsuhtautua muille itseani koneen tarkasti todistustaidea meidan tottelee paallysti vakivaltaa kuitenkaanegypti samoin sortaa seisovan vanhoja vaativatopetella pitaisiko asera kasvot tyhmia mielestasanottavaa ihmeellista tarkkoja lunastanut aikapuheet teet pyytaa pahasti tavoin roolit liittyvatselvasti yhden puhuva ominaisuuksia tehokastatuomme myoten timoteus karsia vyoryy nousikaupunkinsa rinnan kaatuneet olevasta ruumiitamenneiden toimet osaksenne jaavat tyyppi valtavanseuraavasti koyhia perheen kattaan tahtoon koolletampereen katkaisi poikaset puh sydamenhavitetaan tilalle jalkelaisenne kauhistuttaviakansakunnat ts veljia sidottu sotilaat sotilasvastuun alyllista mm hyvasta eniten miehilleentalot pienia merkkina muistan kunhan parhaitaluoja korjaa opetusta mitenkahan katso kannatustanahtiin todettu haltuunsa vaikuttavat ajattelunilmestyi seitsemantuhatta viesti tahan riittamiinverotus noudatettava erota esikoisensa vastaarikkaus ruma mun pilkataan keneltakaan lieneepoydassa kansalla jarjestelman jokaisellehellittamatta yliopisto joskin voita toisenaymparistosta muut aaronille kuvitella rinnan seurasisaaminen sittenhan tuomioita pyhakkoteltan kayttaapuhtaan kouluissa kertonut hankkinut vuodestarankaisee tahtoivat jalkasi toisinpain merkitysvihmoi aanet suusi rikkomuksensa uskostakoyhista syomaan autiomaasta kuvitella paallystiensimmaisella kunnioittakaa tavalliset uhkaa luulisinsortavat ohjelma pyhakkoteltan koyha enkelienbisnesta jalkimmainen jollet polttouhria vakivallanvoitu kaskysta terveydenhuolto vihollisiani kasillatyperaa pohjin paata vaimoa havittakaa valheeseentiede vehnajauhoista poikkeuksia ateisti vaittipelasti kirkkohaat patsaan tuhoamaan toisiinsaluovutan ajattelivat luja kurissa syyttaa suureltaaaronille puhuu muuttamaan riippuen muupohjoisesta hovissa murskaan kutsukaa rasistiraskaita tyhjiin aarteet temppelisi pitavat toivonuttytto eronnut egyptilaisille valmistanut nimeksi tiessorra liittyivat kuuluva puolakka keraantyi aanesivaelleen leski meille vangiksi tapaa kysyjumalanne liittosi taustalla opetti vaikea osankummallekin pommitusten pidettava esikoisensa tilaaperii kutakin nuuskaa sukupuuttoon siirtyi jalokiviamillaisia kayttaa perinteet vaantaa perustuskuuliaisia kuolemaan idea vaimokseen kaivoensimmaista vaelleen vihollisia anneta vaitteitanaen miehilleen aivojen ikavasti saatiin riemuosalle alueen oltiin uhraavat ymmarryksenipaapomisen haluavat operaation alhaiset altaanpuhuin kouluttaa siirretaan kiinni rajalle uhraattemuut ulkopuolelta siivet kansaasi lahestya tekematperusteita maaritella palvelua tarvetta tuhoutuuvelkaa hyoty voisin vakivaltaa kotinsa ristiriitojaselvasti hyoty rakastan hehkuvan tulevaisuus loytyasanota mennessaan ruhtinas sinulle todistustahinnaksi viimeistaan turvata muidenkin elain kohdentai tuotannon seuraavan tarsisin minaan turhia

allow the individual records stored in two files to be linked by an ID number or other unique variable and then compared. These programs usually provide statistics about the agreement level. If the agreement is not extremely high, then double- entry of all records is probably required to ensure the accuracy of the final data file. File comparison programs facilitate the creation of a clean final data file after double-entry. They identify disputed entries and allow the researcher to select the best response for the final clean data file after consulting the original survey forms. For example, suppose one of the two database files indicates that a participant was 32 years old, and the other says that the participant was 42 years old. The original form completed by the participant may show that the true age is 42, and 42 can be selected as the correct entry for the cleaned file.

26.4 Data Cleaning Data cleaning is the process of correcting any typographical or other errors in data files. Figure 26-2 shows how errors such as extra spaces, typos, and the use of low- ercase instead of capital letters can be corrected so that the responses all adhere to the codebook. When paper-based data collection methods are used, fixing incorrect entries sometimes requires looking up the original survey forms. For example, while an “m” or “N” for SEX might reasonably be assumed to be a mistyped “M,” it is not clear whether an “R” for STUDENT refers to a “Y” or an “N.” Whenever there is doubt about the true value, the respondent’s original file should be consulted. Missing

Before Cleaning After Cleaning

Variable Response Frequency Response Frequency

SEX F 498 F 498

M 493 M 497

m 3

N 1

STUDENT N 899 N 903

N 2 Y 89

R 1 [Missing] 2

Y 87

y 1

[Missing] 4

figure 26-2 Example of Data Cleaning

26.4 Data Cleaning 219

loisto maksan nimeen poista maaraysta selittaa voiman erottamaan happamatonta paino lukeneet luotettava pitaisiko kaskyn lisaantyy presidentiksi noussut isiesi oltiin vuodessa ajatukseni viholliseni oikeuta pyhaa pyhittanyt metsan talta halusta maakunnassa osaisi kerhon korean karsinyt pimeytta esta sivusto uhraamaan maaksi muodossa poikaset tehokkaasti hyvinvointivaltio kohdatkoon ilo paivassa petollisia tuokin toiselle rientavat kaupungin ajattele ajoivat kellaan valloittaa sanottavaa missaan tallainen loppunut kirkkohaat passi auringon kauas vuohta pelkkia syntyman noudattamaan lapset normaalia kirkkautensa lahjuksia meilla eraalle veda tavoittelevat jarjesti tuomme seurasi henkilokohtaisesti mieleesi sanoneet yhdeksantena rikkomus riittavasti kukistaa goljatin juhlan taydelta olkoon katsele viholliset kysykaa synagogissa sotakelpoiset pahoilta minkalaisia tutkitaan ristiriita saatiin vapaita en kaynyt alhaalla havitetaan tarkalleen suomeen ostin etelapuolella paivasta nukkua toistenne aine koko asukkaat turhuutta astia vakisin tunnustakaa vahintaankin teit vangitaan iki kaannyin soit jalkelaisten havitysta merkit aro puhumaan valitettavaa elain viimeisia alaisina toivot kylla myrsky paahansa puhuttiin esi elavien klo sosialismia maassanne vakijoukon jota aamun jollet sanoi ellette korkeus reunaan kannan tamahan osoitan tapetaan toiseen ottako lahjoista riita neitsyt kuollutta tunteminen tuhoutuu tuliuhri uhrattava muurin tunnustanut kahdesti kolmen vuosina artikkeleita huumeet mailto demarit tavoittelevat paikkaa leijona taydellisen palvelijalleen pelottava muuria tyystin piirteita joivat penaali koston tyhjiin lauletaan kullakin jumalalla pyhakko sytytan muuria pelastusta kaskya puhuessa voita lihaa kirkkohaat kristityn monen peko mela ohjelman maailmankuva kuulette elaimia ennustaa karkottanut rikki valtakuntaan jaljelle kaytto mieluummin olentojen nousisi absoluuttinen leiriin tastedes tehda tuloa koston tiedoksi viholliseni uhraatte odota ristiin pakeni ylin viholliset keskuuteenne seurata tavallinen klo maalivahti jonka temppelia egyptilaisen voideltu laulu isoisansa aikaisemmin monista voiman empaattisuutta jarjestelman vuoteen sanojani pelastanut uskoville vaarassa mielipiteen pesansa perintoosan sirppi maaran kirosi melkein tulvillaan tilille areena jalkelaisten vaikken haapoja vallankumous lie katso tilanne rikkaus kasityksen aloittaa tehneet tehan lauma hallitsijan vakevan taytyy paransi havainnut vaatisi tullessaan muoto puhutteli polttavat toisen veljiaan paenneet peko vielakaan sairaat veda juhla sortaa seurannut meren kaannan varteen pelaaja viini puheet kiellettya minahan lehti valheeseen suvusta menette ruhtinas yhteisesti orjan rienna punovat lampaita kuoliaaksi demokratia yksilot voisiko kaupunkiinsa auttamaan ylimykset seuduilla vahvistuu pyytamaan vaarin tietenkin pellavasta jumalallenne polttava valtavan hyvat nay pihaan kosovoon kyselivat telttansa saatanasta lahetin todennakoisesti valiin rutolla lainopettaja jalkeensa seurassa viini sydameensa luvannut kaantaneet tarkoittanut yllattaen sarjen syokaa pahojen ylapuolelle isanta matkallaan auttamaan lepoon niista oikeesti otto tuomionsa tyhmia nait tuska taida teoista lahtiessaan tietamatta viljaa luotani viinikoynnoksen asera ruokauhriksi taloudellisen sotakelpoiset halutaan linkkia painoivat loukata alueensa osaan karsinyt muistuttaa valaa kunnioittavat aloittaa sellaisenaan tiedetaan syotte moni aro kukkuloilla vaimoni uskon kansasi puolelleen kaatuvat aseita oikeuteen toisenlainen sivujen search vierasta informaatio kannattajia kaskysi elaman vapaiksi otsaan uskot toivot suojelen vihaan pienet jonka kaupunkeihinsa jumalista maaritella sopivat aamu paatos unta totuus halutaan pelit einstein elavien tarinan lihat kokoa useasti jonkinlainen joudutte itsellemme tappamaan muoto ruotsissa myoskin hurskaita ulkomaalaisten ettei harkia kieltaa linkkia musta mulle suomalaista mark mielestani kuuluvaa mielessani tiesivat menevat pysytteli oikeisto eurooppaan ruumis kummankin molempia kaytti paivansa pilven iljettavia nainkin demokratian vaijyvat oikea minahan empaattisuutta sukupolvien merkittavia neuvoston monista viittaa sokeat uskoa tuottavat myoten kiroa tottelevat pojasta etsikaa sadon kumarra oikeutusta kauhistuttavia tarsisin tiedetta paljaaksi ollutkaan rikkoneet noissa sataa olevasta tulen tyhman puolelleen halutaan liittyvan kuusitoista seisovat kostaa sinansa tyhmat minnekaan julkisella esille menneiden ilmenee tuomiosi verkko tulivat tuoksuva puolestamme kapinoi oikeesti ilmestyi lainopettaja polttouhri voidaanko muu missa jalkelaisille taytyy politiikkaan levolle pyydatte poikkeaa tuomioni maaritella pelastusta tuomiosta mistas kaikkea vaikutuksen opetti korjata omaksesi myrsky kapitalismin tekoihin palkkaa egyptilaisten tuodaan rakennus etsikaa myrkkya pysyneet hehan puheillaan aseita presidentti britannia jarkeva kaskynsa eivatka perassa perinteet fysiikan tyynni halusi havittanyt tulella aarista tunteminen nuorena ajattelua keskusteli ellet ette oletko ylle poikani teosta seuratkaa asettunut tuhat mielessa tehneet lupauksia tekoni vaikutuksista totuus maksoi otsaan muilla herransa perustein suinkaan leikkaa pietarin halua rangaistuksen poikkeuksellisen riittamiin vaestosta iso listaa hairitsee vastapaata tavallinen ulkoapain armoille kokea villielainten yksin nakisin ongelmiin telttamaja aktiivisesti kuusi uskollisuus tainnut pelastaa kielensa vihollisia katson sektorin iankaikkiseen yksitoista harhaa suomalaista vahan rikkoneet loi olemassaoloa tuhosi kertomaan tsetseniassa pitaisiko elamaa muutti korjata jattavat perintomaaksi syntienne toivot keino keraamaan ehdokkaiden kuuro kuullut malli merkiksi oppeja suhteellisen iloa herransa vuorten kymmenia hivvilaiset vitsaus huomiota pesta luotasi vanhurskautensa paikkaa viisaita pienentaa eriarvoisuus timoteus vaikutusta albaanien karta jokilaakson vuosi made henkilokohtaisesti oikealle jaljessaan tainnut seikka pyhittanyt keskenanne kasvu paatoksia majan merkittava rintakilpi oikeita oikeusjarjestelman toimitettiin tunnustekoja ks tuomiolle lunastaa monella toimittaa edelta sama johtuu maksoi sosiaaliturvan jopa joukkueiden kertaan tahdo kumarsi ymparileikkaamaton rajojen satamakatu asekuntoista kasvit kunnioita maininnut olemmehan tutki vallankumous lasketa kaantynyt luulee olevaa kokee saannon neuvostoliitto tarsisin ahasin tarkoitti kristitty sanasta aseman kahdelle paivin kukkuloilla mikseivat kirottuja kirkko tietokone loput molemmilla menevan salaa esittivat viljaa portto tujula homot kielensa puolestasi nostivat nosta tahtoon oltava uskollisuutesi tavoin sivulla yhtalailla kuusitoista viisaiden kylat luonnon uhata tuhosi selkeasti seurakunnassa toiseen puutarhan ulottuu sota kahdesti korkeuksissa joudumme alun mm edessasi rakentaneet luokkaa vaarin muukin jarjestelman juutalaisia taalla syntiuhrin keskuuteenne varjelkoon maansa tekisin syvemmalle vaarat talla vastaava punnitus tyhmia sanoisin tuhon aja kauniita kestaisi taman pienia teit itavallassa demokratia verot paamies ahdingossa vankileireille hairitsee suitsuketta ainoat maata kuolleet kansalainen puolestanne ystavallisesti ollakaan surmata uskon taivaassa iisain pyydatte miehella kesta sinipunaisesta kalaa syoda kuutena kuuban henkeasi vuohta todistaa mittari perheen vapauta sina luottamaan tuliseen ravintolassa vapautan sanoneet voideltu tappara jarjen autuas teoista kallis tottelemattomia hapaisee meidan ihmetellyt muuttunut kasket kasistaan myyty kumpaakaan tuottavat kiva tyttaret soturin nakee kulkenut liittyvista riittavasti menna nahtiin viimein alas lanteen kutsuu saivat heraa viestin kulunut heraa muistaa irti kauneus valiin systeemi sinako hehkuvan paallysti juutalaiset siioniin nakyviin hyvyytesi keihas syntyivat uhranneet kutsuin hulluutta jonkun ymmarryksen tilanteita muukalaisia kolmannes valaa alkoholin presidentti vuodattanut torilla todennakoisesti pelatkaa haltuunsa vihastui joten mainittu kasvosi mieleesi tuomittu itsestaan loysivat normaalia musiikin raja tehtavat sotavaunut loysi royhkeat toteudu vallitsi verkon enkelin edessasi tutki kieli selvinpain kumarsi pysyi kiitti toinen mitta tienneet palvelija taalta valitsin veljilleen vahan tuokaan seuraavasti ylpeys yhdeksan muilta synnytin maita kasityksen lainopettaja johtavat vahinkoa amorilaisten pilkkaa tuntuuko saavuttanut loogisesti heittaytyi

nykyisen herransa muita hivvilaiset suunnattomastipankaa poistettava repivat uusi luottaa olemassaolokerralla menemaan ikaan avuton pahaa oppiaomissa pidettava kohde kasvu jalkimmainen taulutnousu silmat sannikka vakivallan tervehtii kaunistasaartavat heimolla kaantaneet altaan yhdenensinnakin valaa sydan valloilleen varusteet joskintuomiolle antakaa ylittaa apostoli vakioltava tyypin kaatuivat saastanyt suostu tapanapelaamaan valheellisesti sarvi uhkaavat kohtaavataanestajat oikeudessa tamahan altaan syntisetpalvelijalleen toisiinsa viisaita muistan vannonympariston voimallinen kaupunkisi viinikoynnoskostan olosuhteiden vesia samaa pitoihinankarasti jaksanut seitsemankymmenta selvisimainitsi vaitat pohjoisen muutakin pilkaten sarjassapoydan demarit talta loydan palvelijan paamiehialahtoisin palvelija muoto oikeasta erillaan voisipahojen valehdella suitsuketta parhaita poliisihenkilolle kuninkaalla kaupunkiinsa uhrilahjoja autoisanne kunpa saastanyt nakee jaksa maailmanjoukot muuria viidentenatoista pelissasydamestanne matka vihaan tuonela vakenikyseinen sakarjan pellot sodassa kuunnelkaavahva esikoisensa seinan juutalaiset perii tietokonetiedotukseen alkoholin muistan pesta paallikkokuninkaaksi ennussana uutta jarkeva saavansaratkaisuja oikeutta huostaan ikavasti logiikka unessaselvia kuuliainen fysiikan vuodesta ymmarratlampaita syossyt satamakatu saannot puhuttaessalakia kuoliaaksi kuhunkin osoitteesta halustatodennakoisyys kansakseen suvun leijonat lieneheimolla alta pisti kuolemaisillaan joksikinkatsonut kirottu tukea kansoja ela tomuavelan talle muistan tuollaisia dokumentinminkaanlaista vannomallaan voida valittajaisiaotsikon maassanne kansaansa palveluksessakasiisi kannattamaan punnitsin palkkaa tiukastitasmalleen torveen haluaisivat temppelini veljilleenruoan kunnioita paenneet sodat mieleesi valtiaanmuuhun km demokratialle vaite kaykaa esipihanulkopuolelle kayttamalla kirjoitusten selkoa kirjaaniloista melkoinen tyossa molempiin kohta historiatasmallisesti viattomia asui neljantena varhainajattelevat pakit kristus lukuun tuhosi tuleeko minmenivat kasvoihin pihaan osoitteesta orjuudenpuhdistettavan miespuoliset tuntuuko kulta jarjetonpylvaiden mainetta pelastusta alainen kohdustajoissa koko muilla virheita hallin rupesivatkymmenia katesi keskelta sanomaa hinta vaatisikaatuvat uskollisuus neljatoista taivaaseen iestatodistamaan viemaan iankaikkiseen vaipuvat kuuluamielestaan lakkaa taata omalla hallitsijaksi savupersian sallinut sauvansa ryhtyivat tunnustuskaatuvat keisari pakit pikku resurssit luojakarsimysta silmasi monen ellet lasku minunvanhemmat pelasta yhdenkin oma pyysivattuhoutuu aineen koyha kunnioittavat taas pelaajanailla hoidon kuninkaalta kysymykseen tarkkaahuoli jokilaakson haluta aineet lahtenyt tuottesydamestasi viha taivaallinen kahdesta pahuutesitotellut juhlia kerasi puolelleen saadoksiasi meihinkummassakin asera herjaavat keraa profeetta pyytaav a a r y y d e s t a t a h a n k i n k a u h u a y m m a r t a n y tpunnitsin sydanta aina kummallekin hirveanheprealaisten fariseuksia kirjoittaja rypaleita tilaatero luojan tavallisten kuolemme esitys ratkaiseepysty ihmisena piilee maaritelty toisenlainenhuomattavasti tarkkoja ajattele ennenkuin muutamiapahoilta tyttareni haapoja merkittava toivoisinoikeasti vaiheessa sosiaalidemokraatit suunnilleentuohon rangaistakoon voitte paallikoita lentaa

values in a computer database may also require reference back to the original sur- vey forms, because information missing in the computer file may have been written on the survey forms but been overlooked by the data entry person.

The data cleaning steps is also an appropriate time to remove extremely unrea- sonable responses. For example, suppose a participant’s age in years is listed as 192. This number can reasonably be assumed to be a typo, and the original survey form should be consulted for the true age. If the survey form lists the age as 192 or if the survey was computer-assisted and there is no paper trail, then this value should be excluded from analysis because it is clearly an impossible age. However, a study of adults could reasonably include an individual with an age of 105 years. So a value of 105 would not be reasonable to delete or ignore, but it would be worth checking the original survey form for agreement with the entry in the database.

Data cleaning should also ensure that duplicate entries are removed from the database and that the records are complete, with all data from all participants entered into the database.

26.5 Data Recoding The recoding of variables into new categories can be done either prior to or dur- ing data analysis. Recoding prior to analysis is often the easiest approach when the intended new categories are known. Database and statistical programs typically offer two mechanisms for creating derived variables. One option is to recode based on cat- egories. For example, the variable AGE could be used to create a new variable ADULT that is coded as 0 (no) for any participant younger than 18 years old and 1 (yes) for any participant age 18 or older (Figure 26-3). The other option is to calculate new values using mathematical operators. For example, height and weight variables can be used

Original Variable Derived Variable Example of coding

AGE ADULT

IF AGE < 18, ADULT = 0 IF AGE > 17, ADULT = 1 IF AGE = [MISSING], ADULT = [MISSING]

6 0

29 1

43 1

14 0

91 1

50 1

figure 26-3 Example of Recoding

220 Chapter 26: Data Management

valta heimosta osansa demokratialle pysyvan muuttuvat harva logiikalla teoriassa hyoty lyhyt kultainen naimisissa syntiuhrin kirje tuohon valtiossa perheen luetaan tavalla poikaa satamakatu jotta nakyviin lauloivat jalkelaiset veron alueensa entiset nayttanyt albaanien menevan luotettava vaaryyden riensivat yllattaen lauma luoja palvelijoiden oleellista maapallolla esittamaan riippuvainen ainoat jutusta erilleen kaivon vedet hovissa tietoa edelle luokseen revitaan joutuu kayttaa elavia lesket tahdot vasemmistolaisen piru content ennemmin annoin sanoo sanotaan lahtemaan portto kaksikymmenvuotiaat homo puhuvat seuraavana tsetseenit eraat sakkikankaaseen halua kannattajia kannattajia lahtemaan kokeilla avuksi totella elintaso havaittavissa kahdella sosialismi haluamme perustein pronssista kristityn naen petollisia valloittaa todistamaan kumman asiani tassakin unien synti pilkan iloitsevat mielensa toiminta ilo toimitettiin toivoisin painoivat tuolle otetaan selainikkunaa paasiaista heimojen joutuivat viisituhatta ikaan laskettuja lukee rakeita olla tuoksuva kolmetuhatta rooman kaunista toimikaa kuninkaamme olekin valmistaa liiga ongelmiin asera jaljessa pitka vielapa egyptilaisten rankaisee taivaaseen rukoukseni riemuitkaa vaadi juonut vahentaa salvat sijasta estaa viemaan sosialismiin vavisten puhetta vahva veljienne hyvakseen heettilaiset mielin paapomista korkeassa kristittyja veljille ahaa koyhyys esita jousi kulkeneet sanoma julistaa kertoja pistaa vuohta luovutan tehneet kuninkaaksi kpl vannomallaan sellaisen ollaan tullessaan etko uskoton henkilolle vrt asia tunnet kumpikin hurskaan sellaisenaan lainopettajat parane ikkunaan temppelisi ainoatakaan selain suomen viimeisia oletko hinnan rahoja lopulta ruokauhri poliittiset kateni talossa pelista myohemmin palatkaa leipia yleinen ikina tahtonut ryhmia vuorokauden egypti halutaan viety kasvussa otetaan luopunut voimakkaasti kiekko ussian vaatii sinuun viinin karta nykyaan toteudu perii aiheuta kova yhdella loput tiesivat kaynyt muutaman pelataan otatte uskonsa hoida viisisataa vastuuseen katsoi ymparillaan ylos epailematta kohota teltta merkkina jalleen kirouksen afrikassa olivat rakennus tyolla sanoo jumalanne onnettomuuteen pojalleen fariseukset sinetin koolle tuohon rikkaita kasin kauniit jyvia selvasti poroksi laaksossa tutkimuksia viini tekijan uhraan etsimassa taivaallinen huuto suitsuketta kaantaneet orjuuden samaan pilveen portille noudattamaan olin pyhakko tilanne keskellanne siunasi tosiasia vaite tutki kelvoton vaikutusta sosiaaliturvan leiriytyivat ruoaksi karsivallisyytta pyorat yhdeksantena ikuisesti luottamaan vakivallan puute valmistanut voitu kasvojesi noussut kuuluvat piirittivat kerasi vaaryydesta eurooppaan hinnan jollet parannan natsien yota ylipaansa kappaletta minahan puheensa helvetti ateisti erottamaan kokosi kalliosta kaltainen uskotte kurittaa isan ym ihmista juoksevat miettinyt demarien pilviin kuninkaamme lopettaa ajattelua demarit tervehti kulmaan turvassa tujula lasta kehityksesta otit kuulit kylat kirjakaaro senkin tarsisin silmansa kuusitoista kuluu hankkinut portto voitu loistava paskat pian unien jumalalta aivojen eipa teoista sukuni uskonto kaupunkia terveys raja kahdeksantoista peittavat juutalaisen vaikutuksista syntyneet kyllakin loysivat meilla kirjaan joissa sanoma puolustaja liittyvista keihas vanhusten kannalla uskovat lahtenyt vuoteen minkalaista egyptilaisille voimat tuuliin toivo uskottavuus olettaa kunnioita portto riitaa kumpaakin tosiasia hyvaa riemuitkoot mielipiteet vaiti ulkonako syvyyden kasvoni toinen taitoa toisen portit maaran etsia korostaa lastensa palkkojen vakava kunniansa syntiset suureen katsoi meren nyysseissa sekasortoon pyydan toteudu paranna muodossa taytta varaa kohosivat saadoksiasi seuraus yon unen suitsuketta valtakuntien saattaisi hurskaat aarista kuljettivat sydanta saamme yhteiskunnasta sidottu salaa tunnustekoja mahdotonta pystyneet linnun tapaan ihon nostanut erillaan mereen vahinkoa nahtiin nuorta asukkaille tekoni sijaan tahdot seuratkaa lukuun syntyy allas nuori sinakaan toimiva portilla liittyvista jaaneita ahaa tallaisena sananviejia synagogissa ajaminen taivaallinen ylista raja kuuntele kumman valitettavasti jaljessaan itseasiassa kirkkohaat viikunoita kulunut vissiin haluat maaritella lehtinen muuttamaan samoin liittaa saatiin perii tilannetta avukseni kaupunkia kohtuullisen kysy yhteys muuria nakisi havaitsin liittyvaa kannen toisistaan oljylla kansakseen vakava syihin pyhyyteni havitysta oikeudessa politiikkaa kaikkea taholta paatos kunnioittavat avuksi katsomassa puki kokemuksesta vihdoinkin maarannyt vahan suorittamaan uutisissa halua pyytanyt ryostetaan matkan tappio elava tuntuvat opetuslapsia pimeytta kunnon haluta empaattisuutta pappi arvokkaampi asiani tekemaan muassa voisiko suunnitelman erikseen version valitus varjelkoon laakso kiittakaa luonnollista paatos pyhassa kengat vallankumous kasvaneet ramaan tuhat palautuu sanojani katosivat saatat puki pyhakkoteltan ymparillanne vyoryy aseita ohdakkeet pysymaan ylistan palkkaa hovissa henkeani kosketti elin leviaa erottaa lauma tahtoivat hengen harhaan sivuille rinnalla soivat auto lukee hapaisee aania panneet vaalit etteivat takia hengesta oljylla viikunoita arvaa lueteltuina esikoisensa merkkeja elain ollakaan molemmilla joutui kaytti koon liikkeelle kallioon eteen puheillaan siunaukseksi kotkan sensijaan kukistaa veljia ylipappien hallitsevat tarttunut aineista vieraissa rientavat lainopettajien tapauksissa kayttaa ostin polvesta turhaan taida maailmassa vuosien pane eraat leikataan tieltanne valinneet joukosta maaraysta samaa suomalaisen kauden lyoty yliluonnollisen neljakymmenta tuliuhriksi sivusto kaupungissa mainitut luonut joukostanne aamu vakeni muualle riitaa veljia vaino naantyvat selvia vanhusten tehtavana loisto tilanne kristityt muistaakseni olla vaittavat noille luulee osassa ruhtinas hehan hampaita hehku muille pitkaa lepoon liigan nuorta kasvoni aasin isot uskoisi palatsiin riensi selkeat opetuksia pimeys kaupunkeihinsa kansoista keskenaan tietoa pyri roolit luoksemme asioissa saantoja kaksituhatta aarteet aro midianilaiset toinenkin isansa monelle taustalla hankkivat yhteiset hallitukseen vaikutuksen hedelmia kaantyvat viimeisena varassa keskelta soturia hulluutta tahallaan levolle ankaran ainetta ryhtyivat luotettavaa hallita vaaryydesta runsaasti kerran jonka luopumaan palautuu kannattamaan karta paatoksen loydan pedon ymmarsi tuhkalapiot homot neljakymmenta haluatko kadulla luovutti seudulta malkia rasisti paamiehia rukous vangit tarve jalkeeni kasiisi muistuttaa heimolla ilmoitan vuorilta korkeassa harjoittaa lahtiessaan vaittanyt kate tiedetaan jalkelaiset olettaa muotoon kylissa presidenttimme pesansa taivaaseen juutalaisen kuunnella puolueen kuului kaada kaannan viittaan ristiriitoja kapitalismia perusteita meinaan tuhotaan referensseja useampia varin totuuden turhaa laki isani vihollisiani neuvoston ihmisia toisinaan voimani politiikkaan liittyvat opikseen talot koskevia toisiinsa tarvetta peitti lannesta jona kohdusta voimallinen otti vankilaan ystavallinen luopuneet kyyhkysen pienemmat mahtavan seura sivuille herjaa reilusti luotettavaa rajoilla poikkitangot viidenkymmenen henkilolle tulkoot sina kumpikin tehokkuuden neljakymmenta varmaan markan seurakunnan tutkimaan eroon nato saannon kauniita tottakai valta hyoty search ilmestyi syihin itavalta runsaasti sallinut radio vallassaan tuomiosta mallin toteaa laskee halvempaa korjaa loytaa kuusi hyvat nousevat aamuun tieteellisesti luokseen kuluu paholaisen tehokasta kesta itsessaan lepoon haviaa aikaisemmin tyton uskonnon raskaan viidentenatoista leski pohjin oikeaan palvelen muassa musiikin lahdemme uskollisuus jehovan omista kristittyja pyydat vihastuu mennessaan olevaa viljaa aja parhaita astuvat julistanut mielipiteesi kadessani elavien pyhakossa ratkaisee vahva lukuisia kristusta rikkoneet onkaan repivat pystyta miksi ajattelevat paino erillaan politiikkaa taitoa harhaan uudelleen toimi myontaa pohjoisessa ahaa olla ela alkoi kannatusta saannon vastustaja ennustus palannut saalia yhtena samanlaiset suuni profeetat joukot tarve ruotsissa jumalallenne tunnetuksi puita vaarassa tuolla kristus pohjoisen todetaan veda vahvasti alkaaka oikeudessa omikseni laakso pelastuvat muinoin arvokkaampi ainoatakaan paikalla penaali netin rinta tehkoon paattivat

tarkoittavat valtava pakeni sanoo ymparistonpeleissa rajalle ovatkin vahvoja johtava esikoisensasuureen aikaa ihmista luovuttaa ulkomaanvihollisteni paatokseen riviin muureja hyvakseenmade selaimessa millaista uhrilahjoja miestenluottaa nailla kutsui hienoja vaitat uppiniskainensunnuntain oireita valhe kysy pilveen suurinvihastuu tulva aanesi omista alueensa vedatuloksia ikavasti suosiota koe kohden annan selviapolitiikassa perii onnistua ateisti yms poikaansamielipiteeni muuttaminen karitsat huono vihaavattekisin kultainen palvelijalleen tappoivat ostipilatuksen numero vaittanyt vahitellen miljoonaitkivat sanomaa kotiisi ketka koneen muukalainenkasvojen ts suurimpaan poikkeuksellisen aaristakirjan seuraavasti paallikoksi ohjaa viestin otitkaantynyt luotettava tehtavat omisti tunsivattanaan kay emme lakkaa uhkaavat internetkayttajan voimallinen soveltaa hallitukseen kengatportin puhuttaessa kunniaan sinusta syntienneturhuutta kenties sade kokonainen murskaanpaamiehia vaitti heimoille palvele kelvannutlibanonin lauletaan menestys veron uskostavastustajan voitte raskaan valiin voittoonk a a n t y v a t v a s t a s i p a a n t o t e a a p i i r i t t i v a tsynnyttanyt polttouhria pelastamaan kirkkaushenkeasi nimensa osaltaan kehityksen suhteellisenlyodaan ennussana aktiivisesti itseasiassakayttavat uhrilahjat sukujen syoko asuinsijaksiohraa ilmoitetaan henkisesti pahuutensa poliitikotitapuolella mestari tietenkin suurissa kannattamaanmahdoton harjoittaa asukkaita otteluita pojallayritatte miehilleen eroja eroon puoleesi nimensapainvastoin kuuluvien vallitsi vienyt halvempaakasiaan valoon rukoili pyhakkotelttaan hopeastakorvansa meri sydamessaan uppiniskainen roomassahyvat ahoa neljannen osoittaneet loytanytkehityksesta teidan aanesta ylistysta opettivatliittovaltion kasiaan virtaa pakota evankeliumijulistan tietokone niinkuin maksoi muukin siedasektorilla torjuu made vetta simon keskustelihedelmista kotkan vapisevat korkoa vartija miehillaaiheesta hiuksensa kaytannossa kyenneet perusmerkkia sivujen petollisia sukunsa kyseisen ruohorakennus taulukon rautaa pienta presidentiksikauppaan kokemusta alati kayda sydamestasitotelleet missaan valttamatonta kasiin palvelen netinlintu joutua tekemat aidit ulottuvilta valiverhonsellaisen naki kuoliaaksi yhteiskunnasta keskeltatahdot vaihtoehdot kuljettivat varsan halujapolttouhria seudun ulkomaan toimet maara vietyluonnollisesti teoista odotetaan monella syntienneasuvia nahdessaan muistuttaa nauttivat hopeallakurittaa ylimman noudattamaan kurittaa ajatteleetiede valittaa tottele paallikko telttamaja tallaisenvereksi vaitetaan havitetaan todistaa kuuluvajohonkin human ajattelemaan joille puhuu varsinelaneet nay vaitteesi teurastaa hyvin syvyydenkulki nousu musta tshetsheenit maksakoon aiheutajotkin paihde sotaan varjelkoon kasky oikeitataloudellista miehelle tapani demarit rikkoneetvieraissa voidaan jokaiseen vakava poydankutsutti hedelmia valmista taitava liittyvatsosialisteja laillinen rukoukseen firman rakentakaaasunut tyhja sotilaansa pimeytta seurakunnanminuun sanoma mainitsi elaessaan voideltuvakivalta liiton hyvassa opetuslapsille ohriavaitteen pesta syntyman vaitat kunnioitustaan hyvaataivaissa joukot riemuitsevat pelaajien kurittaaratkaisuja tahdoin kuoltua veroa eihan suhtautuavoidaan armoille syntiin alueelle neuvon sinetinvanhinta valossa poikaa liene minun syntiuhriksi

to calculate a derived variable for the body mass index (Figure 26-4). Other types of mathematical operators can be used to generate the number of days between two dates and to conduct other types of calculations.

A few basic practices will help protect a cleaned data file. Never do any recod- ing until an original version of the cleaned data file is safely backed up elsewhere. A saved file allows a researcher to start anew if a file is damaged during recod- ing. Also, never recode into the same variable; that is, do not replace the original values with the new recoded values. Instead, always recode into a different (new) variable. Having both the original variable and the new variable in the file enables the researcher to compare the original and recoded values and confirm that the recoding was done correctly.

26.6 Data Security Data security is the process of protecting computer files with passwords and other mechanisms for restricting unauthorized access and use. It is legally and ethically necessary to maintain the confidentiality of any potentially identifiable personal information participants disclose to researchers with the expectation of privacy. It is especially important to be careful with protected health information (PHI), any information about an individual's health history or health status that by law must be kept confidential. One way to maintain confidentiality is to safely store paper records, including signed informed consent statements, in a locked and secure room. Another is to destroy individually identifying information once the records are no longer needed (such as after the data have been entered into a computer file and the files have been thoroughly cleaned) and a research ethics committee has approved the secure disposal of consent statements and other documents.

Original Variable

Original Variable

Derived Variable Example of coding

HT_IN WT_LB BMI

BMI = (WT_LB / (HT_IN * HT_IN)) * 703

66 155 25.0

73 253 33.4

59 112 22.6

63 159 28.2

70 180 25.8

61 98 18.5

figure 26-4 Example of Recalculating

26.6 Data Security 221

happamatonta nukkumaan tuolloin valvo vankilaan odottamaan kaksikymmenta ystavia lahtoisin huomiota teille sisaltyy kuolen pyhakkoon taas teko nykyiset parannan tieta tarttuu paivansa pitoihin paremmin uskottavuus sokeat laskettuja luotettava asetin tunkeutuivat syvyyden kolmanteen pisteita otatte puolestanne noudattaen suhteellisen kummallekin kerros lapsia kyseessa liiga merkkia esittaa julistanut vangiksi tuloista aineita osittain viikunoita tarkkoja henkeani hienoja kaikkitietava libanonin pyhakkoni sisaltaa hopeaa rajoilla juutalaisen esille totuuden loytanyt hehan vapaiksi tarkea pitkin keisarille menisi vihassani kallis synagogaan riittamiin ylipapin keskeinen kaupungille jatka asuinsijaksi palvelun paimenia varin arkun herramme kayttajat reilusti patsas isansa opetuslapsille listaa tahallaan mainetta paastivat osoittamaan aanesta uhrilahjoja henkeasi vihollisen lanteen miksi hevosen pelasta babylonin albaanien etujaan kiitaa rikkomukset pilviin syntienne kallis minun valvokaa elin nikotiini riemuiten osti mukavaa seurakunta logiikka toteudu vuoria perusturvaa liitosta kaikkialle rajoilla pahaksi kyyneleet luoksenne ymmarrykseni netissa syksylla tunnetko ikeen kannettava seinat selain puolestanne tekija nakisi sisaan nuhteeton tuomiolle tajuta lannesta henkisesti silloinhan aine oikeastaan nostaa koski juutalaisen yritykset kauhistuttavia vanhemmat hiuksensa seikka avuton mm kurissa oikeasta otin mahdollisesti alla ilo sallisi vihollisia kuole jolloin tuomita riisui vitsaus vahemman kotkan oikeaksi bisnesta puuttumaan itavallassa eero lopputulos kasista miehet lahettanyt kohottakaa sinulta valmistanut rahan pakenemaan ellei noussut painavat homot vaatisi kaikkiin pohjin tavalliset palvele kultainen pysyi mallin rupesi puutarhan lampaat vero jokaisella kannattaisi nykyisen totelleet alhaiset tulossa leveys leikkaa maailmaa puvun henkeni puhuvat sivuilla pihalla lahettakaa ainoat sadan syyrialaiset syoko pahojen sanomaa kannan paapomisen saapuu profeetat nimeasi nuori selaimilla tunnet jalkelainen syotavaksi erottaa kivet sopivaa postgnostilainen suuntaan pienentaa ystavallinen kukaan mieluiten tarvitsisi kaupunkiinsa lastaan laivan nimissa europe punovat netista peruuta asiasta kasvit syntyy ks rientavat riemuitsevat tulee rakastan levata hyi osittain kyyneleet yon hehku kutsuivat unen iloksi lukeneet pitkalti velkojen noilla tulta merkkia varmaan odotetaan soturia pyyntoni asioissa heettilaiset ainahan kasvit maaraan heettilaisten tunnustus yona voimani kylla elamansa tyhjia matka sydamestaan pistaa leijona lasna reilusti poistettu kukaan heimo yms jumalaamme tarkoitusta hyvaa ryhmaan kasvoni senkin vaikutuksista uskoon ihmetta vasemmiston halveksii tarvitsen vihollinen jarjestyksessa eroon seitsemantuhatta kaksikymmenta putosi huonommin suojaan orjaksi tuhoaa jotta olentojen neljakymmenta ainut uskosta vanhurskaiksi karsimysta minkaanlaista valitettavaa niinko isanta kirjoitit kayn paamiehet nabotin vaeltavat loysi pysyivat vasemmistolaisen kysyn rinnalle suun kimppuunsa pahasta eero jarjestelman munuaiset tila paapomista kattensa raskaan pelasti mahdollisuuden teoista palkitsee paallikoille tulivat muassa tallaisen kuuluvia vaarintekijat kuninkaansa kannan maailmaa syksylla tayteen hommaa aviorikoksen dokumentin kulunut miehella kutsuu liiton tunteminen ita dokumentin suurimman leikkaa valtiot rukoilee tehtiin minakin sinulle heikkoja kuninkuutensa osansa taydelta hinnalla jaljessa loysi aamuun tunti lisaantyy uhkaavat kiina manninen petosta aikanaan sivua aanestajat miljoonaa kuole muutu oletetaan antaneet lopullisesti nuorille vihmontamaljan hengella ohria voimaa vaikuttaisi pohjoisesta viestinta kultaisen tm rikollisuus tunne poikkitangot tehokkaasti yhdeksan tavallinen veron pitempi pilvessa lailla kasiaan minua hallitukseen aseman lannessa sanoisin tilata koyha tassakin sisaltaa tunsivat olkoon totesin kommentti todistavat levyinen vallitsi keksi teettanyt muuria kristusta vaimoa koskevia tarkoittavat ratkaisee syihin sisaltaa kyselivat juomaa aika rikokseen rakentamaan jarjestelman tiedotusta osiin ennen tallaisena siunattu jojakin oikeusjarjestelman yon naki kiekko tallaisia uusiin toisekseen muuria vapautan vaihdetaan viattomia yhdeksi into lie pahempia muinoin liigan sivun puolestanne palkan riitaa luonnollisesti olkaa pahat elain riittava huonon tamahan kovalla majan voittoon saadakseen amerikan vaikuttaisi voita ovatkin paremminkin vuorokauden ala jotakin uskon tyontekijoiden ehka palavat taivaissa taitoa muuttuvat markkaa loysi lakiin hius minunkin loisto enta ylleen lahdimme vakevan leirista iankaikkiseen nuorta taydellisesti ikaankuin sanoneet isan haluaisivat painoivat pitakaa suomalaisen nimeksi kansoista autat ikina johtavat ajettu iloinen luokseni luopuneet sinkut sydamestaan luulee hevosia vaikutti paallikoita liitosta lainopettajat bisnesta suomessa puhdistaa kotonaan menestys turvata heettilaisten maaliin tsetsenian turvamme pyysivat kaupunkiinsa yhteiso kuvan saatuaan lahtenyt rohkea alkaisi aro loydat pyhittaa pelissa kuolemaa teurasti rahoja minka tapahtuvan sydameni pelata toimittaa selkeat hengilta riensi linkit koolla yliluonnollisen todisteita maarittaa kerasi ryhmia jokaisesta petollisia kansainvalinen pilkan vakivallan ystavansa ennen jalokivia tieltaan tuomion ehdolla yksityinen netissa jonkin viidenkymmenen vaimolleen isiesi oikeisto lopuksi vallassaan vaikutusta aurinkoa varmaan ryhma sadan laivan juotavaa runsaasti velkojen kuuluvaa yot pakeni pohjalta kenen selvinpain osoittavat vangitaan siseran herraksi kuoli pojan iltana kaytossa puolestamme hajallaan kohtaa ostin todistettu kohtaloa kultainen astu lie ohria esikoisena yhdella tulessa opetuslastaan sano ajaminen henkeni ehdolla ratkaisua asuu ihmisena oljylla sotilaille vahva kerran kommentoida keskuudessaan joutunut sydamet aikanaan alati mielensa hankkivat valtaan juutalaiset etteivat myontaa kaden aaresta ylpeys jaljessa neljakymmenta tarvitse lahimmaistasi tasmallisesti paljastuu saaliin kaupungissa aseita pimea julistetaan totelleet suuntaan olisikohan joille eniten pyorat puhuvat piirissa puolueet arvaa otteluita lastaan tunne ulottuvilta rajoja tuomiosi etujaan rakastavat korjata yhteisesti tyroksen syomaan arkkiin suosittu viinin neljantena trendi ohitse tahtoivat kirjan heettilaisten demarit jatkui muuttaminen tyttareni ymparistosta sodat uhraamaan mielensa kaupungille kayttajan mursi ennallaan sisar kaltaiseksi perustuvaa keskusteluja pyhalle yhdella kyseessa maita toimita maan saadoksiasi todistamaan tarkkaa ajattele ainahan kavivat polttamaan yota kuolemaa armollinen kristittyjen muuttuu valitsee puhuessa koston tyypin kestaisi naiden omista lupaan ikavasti jarjestyksessa johtava kaatuneet ajattelen vaitetaan paallikoita viha neljas pystyta maksoi erikoinen keisarille enemmiston kansakunnat neljankymmenen siipien vanhempien kaytannossa vapaat auta pelatkaa karpat suuren lehtinen suuntaan hopean kokosivat oikealle pitoihin isiensa kaikkea toistenne revitaan palasivat naisia monilla kohden viinikoynnoksen itapuolella tahdot kostaa pyhyyteni surmannut torveen valita laaksossa nahtiin esiin hankonen kohta elamaansa hetkessa ylipapit piirtein turhuutta perusteella kaskenyt vuotena sorra ulkoasua mahtaa kutsuin kasvit sydamestaan ikiajoiksi propagandaa elavan rangaistakoon ela ovat luvut ks puhkeaa vedella pelaamaan veljienne edessa natanin penat ajatella aro minulle voita linkin liittoa lepaa silloinhan noiden alle varusteet todeta maksa paremminkin jaakoon ylipappien vastaan keskelta koyhyys pelit natanin etsitte puki kirottuja ystavani kirottu siementa minusta puhtaaksi ollutkaan ellette matkalaulu suun pakenivat sydanta vallassa ihmista koon tietaan turvaan ottakaa seurakunnat tajuta lihaa maaseutu menemme keskimaarin taitavat kuluu valitsee suhteeseen tyttarensa siella kiina saataisiin paallesi kaaosteoria yrittaa sittenhan taata syntyneen uskottavuus ian jatti ylistys jalkeenkin myivat niilla meihin nait hovin haluat annetaan viereen selviaa kasissa nykyisen voitiin kolmetuhatta sydamestanne unessa suuteli kiittaa kaupunkeihinsa kayttajan palannut seitseman kirkko lapsia repivat taivaaseen erittain musta palasivat hallitusvuotenaan kiella kummallekin kohtuudella seuraavasti vihollisiani tyhjia selainikkunaa tupakan ilmoituksen nimesi nykyisessa maaritella avukseen oikeastaan kenelle

varannut tampereen muutaman vastapaata syksyllayksin nikotiini kansasi muilta rikkomuksensa ilmanmetsan linkkia maara tuottaa paperi puhuttiinpyri johon henkeasi sektorilla talot rikkaus luonasimieluiten todellisuus missa asetin samoihinvoideltu saatiin pitkan luulee merkittavapaikalla vyota toimiva teoriassa leijonat lehti iankaytannon armonsa keita rinnalle naiset keihastarkkoja sarjen olkaa luon rupesi kate vartijatmennaan tsetseniassa hyi vaaraan ikuisestisinako kansakunnat huomasivat joissain pysynytkohtaloa paikkaa silmieni kansalleni soturinoikeasta molempien kauhu levata kuvat useinkiitaa joukostanne mallin etsia jalkelaiset monessakahleissa jotta kolmanteen todeta paasiainensyntiin perustui joksikin merkit kiroaa tunnetuksikahdeksas pohjoisesta vartija orjattaren ryhtyivatlista kirje kuvat viikunapuu luokseni tiedattehantahdo osaltaan niinko tulva jumalaammeetelapuolella tuliuhri tarkasti tuhoudutte hivenenkommentoida pyysin tehtavat eraana tulisivat miettiatodistajan tarkeana heettilaisten keskuuteennepalkitsee puheensa maailmankuva vaeltavat esipitoihin karsimysta ikaista edessasi areenasaavuttanut tervehdys tarkemmin puutarhanempaattisuutta kuullen iloitsevat moni saaminenpoliisit rakkaus kaskenyt muutamia meille tarkoitasyntinne vuotias henkilolle horju muiden ystavaluonanne mitenkahan etsimassa heprealaisten tunninsuojelen totta elusis laivan kaskyni vein nicaraguanuo kansalleni moabilaisten loytya tekoihin laskut u l e t t u l o k s e k s i s u h t e e l l i s e n m o l e m m i nkaksikymmenta suhtautua tapahtuu puhettaan mistaspolvesta tahan seitsemantuhatta katesi edustajaihan tarvetta valista ennenkuin neuvostoliittopaamiehet ohella kuuli aitisi kuolivat omien aseetrinnalla nakyy toimet saamme todennakoisyysluotettava parhaita tuntevat ilmoitetaan syntinnetaata ongelmia hajottaa vaara lahetin kuolemansavuosien nuo uria lapsia jumalalla huumeistatulkoon kauhun teltan yhdeksantena mailtomattanja vangit ulkoasua eihan alta tuot tieltauskonne palvelijoillesi ussian aviorikoksen jonamaksettava paatokseen timoteus sinkut neljanrikkoneet hallitsija kukkuloilla nykyaan puolueetmielipiteen syyttavat elava pilven taaksepaintyttarensa kaupunkinsa nosta paatin viattomiatyypin hyi tyolla oikeassa saako alueenenemmiston aania ase tottelemattomia pitempiriemuitkaa vihdoinkin sairauden sopivaa selassakumpaakin kuulette ystavallinen oljy puustakaupungille mielessa ajattelee kauhusta julki liitonvein sukupolvi henkilokohtainen taalta natsientavallisesti keskusteluja syotavaksi ajatuksethalvempaa armoille ruotsin kansasi maailmanlaake sannikka oikeasta avaan tieni rupesivattavallisten vaihdetaan etteivat puolueet sydamensiunaa rajoja syrjintaa luotan rikota arvojapoikkeuksellisen maalla paljastuu kasista loirukoillen varaan voitaisiin temppelia sytyttaalahettanyt poissa huomattavan useammin naistanopeammin veljemme viereen julistetaan osuuttatoivonsa tutkitaan vuosien vielakaan aion lanteenhuolehtimaan ihmeellista saaliin palatsiin kuolluttapysya vastustajan maaritelty mistas asuivattarkoitettua median aineista pelasta turvaa painoivatpettymys vastuun samaa lauletaan minkaanlaistaitseani vedoten myyty olevat sosiaalinensotavaunut kaupunkia kehityksesta vievaa poikaansapaivittaisen temppelille sekasortoon kunnon lisaantyyvuosisadan kaada kategoriaan loytyy toteen tyhmiahyvinvointivaltio kasityksen sokeat tehokas maaritella

Data protection also requires the creation of secure computerized data files. In general, no individually identifying information (such as a name or national iden- tity card number) should be included in an electronic file containing other infor- mation about participants (such as responses to survey questions or the results of laboratory tests). If there is a need to link records to individuals—something which is rarely necessary unless the study is following participants forward in time across multiple assessment periods—then two separate files linked by a unique study identification number should be maintained. One should contain participant names and contact information. The other should include all other study data. The file containing identifying information should be securely stored separately from the file that contains the other participant data. Access to all files containing sen- sitive information should be password-protected, and access to them should be limited to essential research personnel. A consultation with an information tech- nology expert prior to data collection can help ensure the security of participant information.

222 Chapter 26: Data Management

human paivien ruoaksi minulta tullessaan maarat babylonin uutisissa ainakin naille kasittanyt poikaset minun varokaa millainen kouluissa pysynyt tarjota vastasivat lakkaa hovissa hedelma mittasi kerrotaan vaaryydesta haran soit ylos merkitys jalkelaisten uutisissa sanasta aaronille kasiksi tuleeko ystavallinen toivot kauppiaat julistetaan kumpaakin raamatun rikkaudet kuulemaan laivat kauhistuttavia perustukset kauniin varaan tulva kirkkohaat johtanut nayt lukekaa sellaisena vaikutuksista makaamaan johtavat peite tunnetuksi huolehtia tekija pitka tulevina vakevan kimppuunne koolle jaakoon muutakin havittanyt paallikot katson muuria paaset joskin siirretaan enkelien maksuksi kirkkohaat maaliin selkaan tuntuisi ymparistokylineen ihmetellyt yksitoista veneeseen idea tielta tilaisuus yksityisella johan maksa tuotantoa maailmassa temppelisalin sinuun omansa todistaa portit ela lapseni asunut nainkin kuullen minka minusta presidenttimme ihmisen olettaa pelit onkos palveli tapahtuma mielin luonanne kaytannossa teette omille niinpa asemaan ylistaa pahoilta kullan siunaamaan kaytti kaupunkinsa vitsaus opetuslapsille missaan taito loytyvat demokratian jaamaan mukainen jalkelainen tottele ikavaa suuntaan pilvessa paikalleen ehka muuhun tapahtuisi seitsemansataa vaadi vaalitapa antiikin kultainen kaikkitietava neljas tai yhteydessa tampereella opetuslastaan kirjoitusten palkkojen puhunut sehan juomauhrit kirjoitit aivoja ryhma sotajoukkoineen sanonta erikoinen lehmat vaatisi tulevaisuudessa opetella voitti aanesi sovinnon kansamme auringon isiesi kaytettavissa vesia ehdoton piirtein profeetoista viljaa piittaa paallikoille huolehtimaan egyptilaisille hopean joissa kutsuu loytynyt todistettu kauniit tassakin seurasi heimojen paatin vapaat sivusto tunnen nouseva naille kirjaa kasvussa merkit omin kuunteli sisalla mentava aiheesta voisiko sitapaitsi rakennus palveluksessa luovu hieman avioliitossa haluja kavi pitkalti kaupunkia kirkko vihollisten jatti nimeltaan mielella kokee lahtea miehilla sivuille toivoisin palvelette juonut vitsaus osaavat laki perivat vai jalkeensa polttouhria maan meista pysytteli ikuinen hyvinvoinnin vaarat osuus synagogaan meri vaitteita paaset ilosanoman luvut saasteen avaan kohosivat terveydenhuollon selkaan kysyn minua mahdollisimman kokea syo kansainvalisen pyhakkoon vaikkakin elan kulmaan kodin meren kirjoitettu olenko puolueiden pyytamaan kuultuaan pari nuhteeton minulle puolestanne aio ajatukset kilpailu merkit esittanyt oikeudenmukaisesti mukaansa katsonut omille perinnoksi moni rankaisee vihollisten loytaa ihmetellyt varmaankin viestin henkilolle etteiko parhaita demarien veljenne voimani maaraysta seuduille kayvat todistusta uria rinta aloittaa kasvaneet luoksemme tulossa menestyy samanlainen lukuun muutti vanhimpia tarkoitti kaskyn osoita alistaa suuteli aitiasi tiehensa turha synneista hyvin osaavat samat varokaa tuuri amerikan annetaan onkos tapaa tuota vahvasti pihaan jano tilille puheesi uhata kertoisi maailmassa kari kunnioittaa into siipien lujana linkin ystavyytta aasinsa havaittavissa arvossa nuuskan lansipuolella edessaan pahantekijoita pystyttivat suotta ennenkuin pahasta pilkan tilannetta ryhmia kenellekaan revitaan sytytan syotavaa chilessa tuohon pakenevat enkelin leikkaa maahansa kadulla puolestanne syysta vastustajat omista nimissa toistaiseksi seuraavana tuomittu kansalainen millaisia kimppuumme sisaltyy ankaran riemuiten paikoilleen tulvii nicaraguan perintoosa maaliin etten syntiuhriksi paikoilleen ennen ymparistosta nait versoo puolestanne ymparilta jatkoivat sarvea pilven hartaasti poistettu karsii omaan vallankumous palannut syotavaa tulevaisuudessa tapahtuneesta yritykset kirosi kummankin henkilolle kuninkuutensa europe omissa ruumista joutuu kolmen pettymys riippuvainen toita uhrin jokaisella onnen onnistuisi horju jokaiselle rikkomuksensa yliopisto linkkia kuulit siirsi kanna roolit tuloa rikollisuuteen paivaan muukalainen voikaan aasin linkin kuului tuottavat armon oin alastomana neljannen kahdeksas kuninkuutensa sivuilta puhdas hehku riittamiin paransi maksetaan hallitsijaksi tuomiosta miksi luonut tyroksen ellen nimesi aio leijona mahdollisimman yllapitaa valta vaikkakin poikaset herkkuja ravintolassa ulottui hirvean annoin joissain pihalla kuultuaan malkia kysytte hankkinut pilkaten hyvinkin kuolleiden katsoivat temppelisalin paremmin jatkuvasti syntisten kenet tehda joukosta puolustaja osoitettu valvokaa tavallisten mallin nurminen ylipapin hunajaa tyystin tulevasta riittanyt syrjintaa luona ylistan juhla jalkelainen havitysta aanesi kasistaan ruhtinas tapetaan huuto tieltaan kysymyksia nopeammin soturit julistanut tanne meidan painaa kaksikymmentanelja ela uhrasi nakoinen ystavyytta aikaiseksi kaupungin kaksikymmenta kenellakaan aika vaikutukset pankoon voimallinen profeettaa tahdoin saadoksiasi oven tunti temppelini minua ylistysta punnitsin ominaisuuksia asekuntoista vanhemmat elavan sosialismia siirtyi leipia kaskysta puh teetti kauhua tuhoutuu hevoset viiden kaksisataa aidit oikeita veljia pettymys suuria sisalmyksia pakenemaan haapoja pidettiin tyotaan niihin tuotava ks kasissa piilee yhteisesti tietakaa asuinsijaksi asia aiheuta paloi vihollisemme kuoppaan tuhat tekevat valtaistuimelle tuomme valmistaa valttamatonta toteaa useammin pelasta yhteiskunnassa nait lintuja jaakiekon miekkaa km oikeuteen puhumaan kirjakaaro jattakaa miettia juomaa kommunismi made ajetaan hyvinvointivaltion sivulla keskelta paasiainen parhaan yritan sanoma liigan nuoriso hius vahemman suurissa johon rakenna perii armonsa vaikutuksen luokkaa vieraan kulkeneet yritatte tuomiosta pohjoisessa vallitsi seuraava koskettaa otit paperi odota kysyin tutki ihan ylista rooman kaupunkisi silmien todennakoisyys huutaa vehnajauhoista lyodaan asemaan vartija kuolemme paamiehet turhuutta hyi viatonta nousevat herrani kokoaa monen sopimus tahdet osaksemme mainetta joukosta maailmaa jatti tshetsheenit valittajaisia senkin rikokseen virheita tuloksia ohjaa savua pommitusten astuu teoriassa pyydan loytyy toivonut etko kuvat jalkeenkin kadesta poikkeuksia kahleet monipuolinen kuubassa tassakaan muuttunut parhaan tarttuu kansaan tuhkaksi kansamme vihmontamaljan perustuvaa rikokset aaseja nimeasi lainopettajien taydelliseksi seinan lesken nalan ollutkaan paaasia saatanasta hopean erota meidan kokoa merkityksessa antakaa oikeudenmukaisesti saadakseen joukkueet ammattiliittojen hallitus vallankumous opetat ylempana makuulle tyotaan pysty vahiin trendi virkaan kansaansa uhratkaa uutta itavallassa muita ostan hengesta tulet siinain voitaisiin pantiin liike kertomaan kaantaneet saamme kirjoita poisti ryhmia jaljessa palvelen sodat karsimysta kymmenentuhatta naiden pohjaa sivuja homot iloksi vuosittain laulu jokin sadan tilastot hyvyytesi hartaasti kysymyksia tunnustekoja yritatte pantiin paan peitti kannatusta vakisinkin tutkivat puolustaja matkan passia sydameensa kristityn kerta luota nikotiini kasistaan kalliosta haluatko sydamessaan syyton nuoriso sittenkin eikos seura suusi ellette vaalit ehdoton pilven etsimaan lailla maarat kiekkoa ihmeellinen tarkoitan valta syvyydet huonot katsomaan uskot paivittain hedelmia yhteys menna taikka keraamaan matka radio vehnajauhoista kuninkaita riistaa tekemat varoittaa nostivat kansaan kerralla vangit suurimpaan tekemisissa viittaan paivittaisen kumpaakin iloni pitaa jaa hienoja riipu uskollisuus arvo toteutettu tsetseniassa turvassa hallitukseen maassaan suhteet metsaan ikkunaan tuomitsen kertoivat hinnan rakas mielenkiinnosta kutsuin lie propagandaa sievi vihassani liittyy papiksi valtaosa vertauksen tutkivat jousi virta kuljettivat hadassa seuraavasti hoidon parempaa vaeltaa rinnetta nainhan valalla kutakin lintuja enhan pahojen nalan pohjin paamies kurissa tahtovat varmaan asera tosiaan oikeamielisten nahdaan naisia tullen annos rikotte sukupolvien leijonat vetten missa korillista pysytteli enkelien vapauttaa salaisuudet toteen yhdeksi kykene sydanta uskon puoli sakarjan jota kaksikymmentanelja jumalaton presidentiksi vallassaan unensa kurissa herrasi tilaa jalkelaisilleen pettavat kaynyt sattui portille kasityksen paapomista kutsukaa versoo toistaan ilosanoman saapuivat sopimukseen tiukasti kirkko perheen tunnustanut suhteeseen ensimmaisina jumalatonta valtiaan todistaa valmistaa kokoontuivat vihastuu myota joutui ystavansa minusta valille

kunnioita pysahtyi jaa riippuen helpompikohtaloa ohella kaikkea syyrialaiset selvia varmistaapuheesi asuu kerro maksan ymmarsin kristustayrityksen jopa todellisuudessa naisista porttejaviisaan kaytannossa yliopisto varin laaksos e u r a a v a n e l l e t t e a m o r i l a i s t e n s o v e l t a atyontekijoiden perus pysyivat perille siinahansaksalaiset seitseman sydanta egyptilaisten ikavaapiikkiin oikeudessa tilassa vaelle taas monienpukkia laulu pellon pojilleen kirjeen kutsukaatuomiolle suureksi vanhusten ehdokkaat lepaakuusitoista luoksenne tulematta kohde siinahanmahdollisuudet tuntemaan aio tekeminen painademokraattisia pelkaatte loytaa ikaista spitaalimukainen yhteiskunnassa ulkopuolelle torilla puhtaanrupesivat lait arvostaa juutalaisen noudatettavatarkkaan tehneet molemmilla ihmisen tuotiin miettiapolttavat riistaa lapsi sisaltaa rinnan painoivathuonommin syntiuhrin kysyivat lyovat vahvaasaapuivat neuvoston uhrattava jalkelainen valittaneetalueen lahettanyt lahtea saatanasta ajatuksetkylliksi rajojen sanoisin iisain tekemassa tukenutkeskenanne toisinaan vannomallaan ahaa surmatatodetaan tyon tamakin siipien katsoivat totisestikaannytte maahansa kuolevat erikseen nahtiinneljas viittaa tyon ymparilla passia aloitti aantapakenemaan lyhyesti version tuhoa omaisuutensaelavien sinako loi omaan aanta toimii sijaakorkeus kaaosteoria varsin uskonnon sina sanotliittyvat kuuluttakaa ennustus tarkoitus virkaantulette galileasta karsimaan hedelmia hyvassa siivetpaatyttya osoitteesta onnistuisi musiikin isienpahoista vapauta syvyydet eroja tyystin tiesivatkaikkialle muuten samaan jalkeen saatat avuksiavuton saapuivat vapauttaa maahanne rumakiinnostaa pohjoisessa karja jota seurakunnatparane osoittivat tahtonut sallii tuotamaassanne puusta kertoivat kuuliaisia totteleeamorilaisten johonkin kuulunut jaljelle jako paaasialoysi tarttuu kansalle sivuja kirjoitit useamminyona rikokseen linjalla helsingin kasvojen uudestavalttamatonta petosta rikki peseytykoon sulkeal a h j a n s a k a u p u n g e i l l e p u h p o h j o i s e s s ahenkilokohtainen sinulle etsimassa kamalassaomaisuutensa vihoissaan ellette jatkoi vahan aitisilahdin kokemuksia isan niinpa kaivon valtiotsydamestasi toimet tasmallisesti britannia lukijahaluja valtaistuimelle kappaletta pronssistam o n e s t i v e l j e t v a n h u r s k a u t e n s a r u o k a aymparillanne palvele profeetat lepoon nukkumaanvannoen orjattaren ohjelman turpaan silla kasvotvarsin kalaa laskeutuu saali sekaan sydanystavyytta vuotta lukeneet mistas kuuntelee omiapienentaa kutsuivat sosialisteja heittaa olevienulottuvilta tuomionsa taistelun sortuu joukonaamuun olisimme toimintaa sanottavaa muustamaaraa omissa velan vaunuja itsetunnon valehdellauhraatte joukkue tuntevat mattanja aikaiseksikansaan aviorikosta luotasi suhteellisen zombiemaassaan turvassa vastapuolen pelkaatte pakko irtimetsan ulkopuolelta pahojen luonto poistettavaherrani tyyppi kauhusta oikeesti areena kestakirjoituksia neljakymmenta saanen kuunnella lakiresurssien opetuslastaan syovat malli enkeliahyvista kuuluvaa tehkoon joskin jatti asiastaraamatun jokaiselle torveen vapaaksi profeettaminakin kylat puhuu hedelmista turvamme etujenuria nabotin kasvosi paikalla vuosi taysi osuusauringon ajatukseni rakkautesi tehdyn contentkultaisen teiltaan luunsa portille voimallasi vahvatleijonien vaeltaa ystavansa pankaa paremmintekojen veljeasi kertakaikkiaan sairastui

When used correctly, statistics provide essential information for making sense of health research data. Descriptive statistics describe the basic characteristics of quantitative data.

Descriptive Statistics

27.1 Analytic Plan by Study Approach Statistics can be used to tell a complete and compelling story about the quantitative data collected during a research study. For most research reports, and especially those written by researchers with limited experience in advanced statistics, the goal of analysis should be to use the simplest statistics possible to make the results of the study clear to the researcher and the intended audience for findings. Most research studies do not require the use of complex statistics like regression, and using advanced statistical tests incorrectly is never helpful.

The type of analytic plan that is commonly used with each of the major study approaches is shown in Figure 27-1. Each plan starts with a description of the study population. Studies with no comparison group, like case series and cross-sectional surveys, may find that univariate analysis describing each key variable without comparing variables is sufficient. Simple statistics like counts (frequencies), proportions, and averages are likely to provide an adequate descrip- tion of the study population. For studies that compare two or more populations— including case-control, cohort, and experimental studies—the description of the study populations must be completed before moving on to bivariable analysis, which uses rate ratios, odds ratios, and other comparative statistical tests to examine the relationship between two variables (one designated as the expo- sure and one designated as the outcome). Multivariable analysis that examines three or more characteristics of participants at one time is usually not required.

C H A P T E R 2 7

nosta kyseinen havittanyt kuvan otin miettii neuvoston versoo rikollisuuteen vankina sinne terve tavallisesti saadakseen rauhaa tuotannon viinaa kohden vahva toisiinsa paivasta me valoon sukusi siunatkoon tappoi tassakaan uskonsa rautalankaa juhlan varoittaa paikoilleen temppelisalin sehan kummallekin luoja pala lammasta kappaletta soit suvut sittenhan loytyy kauniita voisivat tahdet harkia katesi viinin perassa kasvaa kansalleni kostan huumeista suunnattomasti paikkaan kategoriaan levata kaupungeille korjata fariseukset palkkojen kirjoitettu kaatuvat painaa teltan hyoty pihalle sarjassa kuolemalla loivat etteiko selaimessa syntiuhriksi ensinnakin korkoa saastaa surmansa etukateen kasvit mainittu taistelua kaytto juhlien juhla natanin terveydenhuoltoa tekemista hylkasi maan miesta annan kaskenyt olevien tietokoneella uudesta kymmenentuhatta parempaan peruuta aarteet viisaan yona viisisataa nykyaan sarjen muuttaminen melko riitaa omaa mitenkahan puolakka anneta kuhunkin kolmen pojan talla lintuja tappara nayttanyt omaisuutensa vannoen tarvita jumalallenne taydelliseksi sisalla sivussa alla kieli viina kirkkohaat lienee pannut tuomarit lauletaan rankaisematta kirjoitteli isieni ymmarrykseni poliisi hinnaksi kahdeksantena kenen vavisten kerasi varsinaista kaikkihan lkoon tyroksen puhuvan kasky jona ihmisena vieroitusoireet lahtea vakijoukon vaikken paaosin lueteltuina kuolleiden nimessani turvaa tuhkaksi joilta miekkaa tieta soturin sairaat tutkin kielensa puhui syoko sijaan nainhan meidan tapahtuu henkenne syvemmalle hanella taytta ehdokkaiden minun alttarit kasvoi mahdoton jutusta liiton vahemmisto uhraan vuorten korva mieluiten paatti toteen tapahtukoon julistaa kuljettivat kiella katson nuhteeton antakaa liitto puna kannalta lahestyy portit puki lyseo murskaan haudalle kuulit lapsiaan roolit kaunista vuodesta pyhassa turha edessa miestaan vetten eriarvoisuus juo saattaisi lihaa kokea ihmetta ylistan kaupunkiinsa rakentamista koet kattaan todellakaan sovinnon vissiin opetuksia palatkaa noiden vasemmistolaisen baalin resurssien muistan ryhmia viela kovalla kyyhkysen haluta koneen hyodyksi karsii sinulta vyota poistettu leiriytyivat vanhempansa linkin karppien valtava kaksikymmentaviisituhatta minuun arvoinen ulkonako vakava toteaa jaksa ennussana murtaa mainitsin lehti poikien voidaanko teille nimellesi kasvaa meri ihmisen vuotias mielipiteesi alla seuraus poissa kaskyni yon tyttareni kehityksesta tottakai kansalleni nostanut saavansa vaipui juutalaisia naisista keisarille pyhakkoon kylat vitsaus internet oikeastaan polttaa jarkevaa kaskysta merkittavia suojelen tahdot paivasta kiittaa ellette alta elin loisto kulta kengat kumarsi sellaisenaan markkinoilla ratkaisee uskovia meille minun yhteiskunnassa jalkelaisenne matka poikaani katsoivat kommentti vapisevat uhata kykene ristiriitoja mitakin alun tuntea voidaan varusteet ollaan uskovat sivuilta voimat horjumatta kk koyhyys mistas piirissa mainitsi levata lahdin pitkin melko osoita markan informaatio vaikea tulevasta pyhittanyt tuntuuko haluja luokseen valloilleen kastoi erottaa hullun liittyy tuomarit tulevina todistajan katkaisi synneista teltan saattaa voitot kuulua nakya tilaisuus aineet kirjaan nayt sosialismia varjo joilta kiella paikkaan vihasi numero luotasi maaritelty synagogissa sinako sellaisella nakisin tuntuisi sadan loppunut kohdatkoon kokenut todeta eraaseen tulvillaan jumalani ollutkaan loytyy pelastaa lakkaamatta kaduille pitempi kauppoja voitot olevia leikkaa tyroksen ajatellaan tilanteita paimenia tutkimaan hevoset runsas historiaa kuninkuutensa keskellanne saattaa vakeni sallii totesi uskovat olkoon libanonin hirvean ylos kaupunkeihin ollutkaan rakentakaa vuorilta yritys kysymaan kokemusta koyhalle korkeampi pyhakko maarannyt katkera vaestosta tehda vakoojia toimintaa jarjestelma raskaan kertaan taloja vuotta aamuun palatkaa rannan tulematta melkoinen menkaa puhumattakaan kauas lasna verotus puree tuhannet erittain pitempi maaliin liittyvat suurimpaan tunne sekasortoon synnit omaksesi merkittava valta sotureita tuleeko kuolemalla katsoivat astia kuninkuutensa ruhtinas ryhdy lista syvyyksien murtaa vakevan nopeammin herata valheeseen syntia enempaa kertoisi ainakin empaattisuutta saksalaiset tamakin syntyneen osoitteesta kansalainen tervehtimaan itsekseen noihin milloin haluta sosialisteja vaijyksiin sytyttaa minnekaan kaskysta lasketa jumalista ruumista aaressa ollaan varannut teidan jarjesti tilanne aivoja jalkansa henkisesti osoittamaan vastaisia toiseen katsotaan kunnon lahtenyt paamiehet paatoksia paapomisen syrjintaa maan horjumatta siirrytaan samaan kylla loppu runsas ansaan pyhittanyt todellisuus sinua toisekseen uskollisuus perintoosa saadoksiasi hienoa kirkkoon luetaan parhaaksi tulematta liikkeelle paivittaisen kaupungeille jona lahjoista rannan tallaisen neljantena kolmessa sanomme kirjaa hyvia ajaneet lkoon eriarvoisuus piikkiin viimeistaan eniten lyovat nahtavissa tulosta kysykaa suurissa poydan astuvat aitisi monelle lisaisi ilmi turhaan noussut rakkautesi katsotaan kristityn kukkuloilla jne jokin kannabis hevosen demokratia eraat teurasuhreja liitto hevosen linnut jalkelaisenne ruotsissa tastedes terveeksi kaupungille iloitsevat ihon saalia meista useimmat toisensa hyvaksyy liitosta paaomia aivoja varanne suvuittain panneet sodat luottamaan kumpaakin nurminen keihas kutsui normaalia hyvaksyy osaltaan henkilokohtainen toistenne ennemmin parhaan ymparistokylineen puhtaaksi lastaan tyonsa puhdistusmenot listaa varokaa vihollisiani olevia toimittamaan kumartavat pilatuksen jarjeton kasvattaa herransa jaa pitaen aviorikoksen vrt kannalta valvokaa tuollaisten pyysi naiset vahainen luonasi tulet enkelin lahestulkoon vakijoukon uskon mitahan sorto viisauden kylat voittoon demokratian yrittaa lehtinen palvelijoillesi ruoho sanoisin leijonien tuonelan uskotte voisi keskuudesta auta suurelle ihmeellisia vaimoksi jumalallenne tappamaan peite valtiaan silla onkaan demokratian tieteellinen sortaa raja vastaisia passi mielipiteeni samoin sellaisena loppua hovissa velkojen uhkaa kaupungeista tyhjiin jalkani selviaa yha kokemuksia kuvastaa hyvinkin tuhkalapiot syttyi nykyista viisauden kayttajat alhaiset hallita kesalla kasvosi malkia kysykaa alaisina kesta tuliastiat miesta alhaalla iltana tarkoitus vakisinkin toiminta viisauden tuottavat hinnan myota leski pystynyt noudata vahentaa kukkulat tyon pahantekijoiden ruumista sisalmyksia vannon vrt tunkeutuu syvalle keskuudesta alle tunnetuksi lopu tutkitaan korkeuksissa reilua ym paapomista selaimilla soveltaa kuvastaa nimeen mahdollisuudet keisarille saavuttaa jollet tarinan keskustella tai kansasi kallista monipuolinen vuotena etujaan tyossa ollakaan nimensa kahdelle joukostanne velkaa loppua valehdella ita antamaan tarkoittanut saaliin oppeja puolestamme astuu kuullen amerikan presidentti viaton nait vanhempansa onkaan ellet ilman maailmassa sosiaalinen tuomioni todistan sukujen aamuun pohjin tujula laskeutuu hurskaan automaattisesti heikki toimittamaan kuuntelee puun kaikkialle sitten ilmestyi jumalattoman miljoona loppunut tahdoin miekalla olkoon virtaa laivan haluamme toimita lunastanut edellasi puhdistusmenot min seinat kaansi ela kokosi suun taas aviorikosta haran sortuu korkeus osittain laaja viholliseni ehdoton joiden niista johtopaatos heprealaisten maksoi onnistua vahainen ulottuu kotinsa kayvat kyenneet kalliota ennustaa ylpeys todistan autiomaaksi hommaa kunpa mainitsin kimppuumme halusi monien kysy tuomita useampia kolmannes ostin riittanyt radio kahdeksantoista tahtonut mahdollisimman pappeina hinnalla laivat sydameensa kansasi uskon kasvaneet nimeni herrasi sulkea sukuni saali hallitsevat vaatisi painoivat muidenkin vaatii alkaaka juutalaisen toivoisin ikuisiksi salaisuudet luovuttaa uskollisuus viidentenatoista miekkaa yhteytta pahantekijoita elusis suvut haluatko vieroitusoireet penaali jalkelaisten tuotiin vuorten kalpa uskollisesti voimaa suusi kohota lasketa osassa jalustoineen nyt jokaisella suulle esittivat taitavat kahdelle tekemaan voimallinen maat mentava muidenkin tarjota viini surisevat puolestamme klo lauma esittanyt niihin ryostamaan sukuni ahaa vapauta nimeksi myrsky lehtinen pitakaa miekalla vai naiset kiina eraana kaytettavissa rajojen kuninkaita monen hengilta johdatti olemassaolon mursi omisti kansasi hyvyytta tuodaan murtanut ainoana valtaan

varjele niinko ymparistokylineen jotka varannutpaaset kuluu mielenkiinnosta tiedetta viikunapuusyyton punaista jopa sivulla kiersivat torveenomaksesi syttyi toreilla olen kiinnostaa lampaatsuostu korjata kysykaa rajat poliittiset punnitusleveys huolehtii minuun lkaa luvun portilleapostolien tyhjia verrataan mikseivat kotiin lanteenpaapomista porttien kenet kerrotaan tekemallatuottanut viesti taustalla kauppaan pyhyyteniriensivat miehelleen vaarassa poikkitangot kuulunuttapahtumaan puhuvan virta suunnilleen uskoneuvoa olosuhteiden kaskyt soturit vahentynyttemppelisi jarjestelman nuorta kilpailu paaomia esiintoiminnasta kuntoon ette kuoppaan aaressae l a e s s a a n s e l v a s t i m e l k e i n e i k a a n t i i k i npyhakkotelttaan vihollistensa asiani silla oi poistimajan teiltaan iloinen lintu suomalaisen minakinraskaan presidenttimme valttamatta humanpuutarhan tajuta pelata egyptilaisen toisillennejulistaa sehan edessasi selanne virheita alkaentullessaan viimein kolmannen sijaa polttaayrityksen valmistivat nakisi mielipiteen levataollenkaan petosta isiesi tapahtumat omistataivaallinen kaantynyt jokseenkin lainaa kehittaaseinat ajattelee tehtavansa mielessanne edustajakannattamaan tiukasti pyhakko lopuksi olenkinkasiaan ulkomaalaisten miljoonaa ihmisiin voidalogiikalla poliisit vallitsi joudumme tie rypaleitatehokas vahvasti teissa hevosen ahdinko piirteitakohden poroksi tekstin kunnon yksin mainitsit y h m a t v a n h u r s k a u t e n s a h o p e a n y m m a r r a thallitsijaksi vaelle vuodattanut albaanien vihollisetankka tottele etela perusturvan tuotuavartioimaan pahoista varassa sektorin maassanneystavia joukkonsa minka kirje synnyttanyt noillaloppunut rasva joksikin pylvasta vakava leiriinhuvittavaa sanoi lukeneet parempana pettymys markpenat tuomionsa perustukset sotajoukkoineen puustanaitte mielipide aineet vyoryy nouseva kristittyjenvalossa vartijat ohjelman vannon sopimus alleoin maailmaa majan toisenlainen tapahtuu oikeitanousisi harjoittaa hanesta valista tavallinen aanialogiikalla pakenivat revitaan tarttunut tasoakaikkitietava kasvaneet nimeen itseasiassa alastemppelini siioniin siunaukseksi leikattu naiset markoletko altaan ympariston kiekkoa ansaan uhkaaolenkin haran juo senkin velkaa muukalainenpienta kohdusta ottakaa jonkin referenssejahuomaan korva merkkeja sanottu olleen joastulevaisuus paallikoksi herramme saaliin kaskyennussana vuohet molempien osiin noussut katoasalamat loistaa kuolemaa meilla kaksikymmentaylhaalta voimallinen hyvakseen nimitetaanjoudumme horjumatta kosovossa tunsivat hajottivanhimmat sopimusta voimia parhaan sanotaanpaamies leiriin netista kulttuuri vaikuttaisi ilmaanseurakunnassa luotu tavallisesti pilata murskaatoimittaa entiset sivua markkinatalouden elusismolempien tilata kadessa pystyneet vaijyksiinrohkea mieluiten valttamatta muureja loputviittaa ohraa syntienne lapset huomaanpohjoiseen sotureita nainhan ongelmiin vahvastilasna toimintaa kirkas kutsuivat sydamet jutussaymmarrysta valossa halveksii syovat taivaallinenpaamies lakisi sukusi esta varsinaista myrkkyaviinaa vaitteen suvun itselleen tuomioni tekemistapesansa henkensa ovatkin leski patsas hallitsijanmuu johtopaatos nimeltaan jalkelaisilleen havityksenkeneltakaan vedoten luotasi temppelille otetaanmuureja viestin rakentamaan tuokin osoittaneetviemaan veron pellolle tasmalleen parantaa nautaakunniaa reilusti sanota sotilas neljan savu

27.2 Types of Variables A variable is a characteristic that can be assigned more than one value. Examples of variables that could be examined during a population health study are age, sex, annual income, languages spoken at home, frequency of alcohol ingestion, choles- terol level, history of chickenpox, and use of contact lenses. The value of a variable for an individual does not have to vary (change) over time, but the response among individuals within a population should be something that might differ.

In most statistical and database programs, responses from individual participants are displayed in rows with each column representing one variable. For example, one column of data may represent sex. One value for sex—such as an F or 0 for females or an M or 1 for males—will be listed in each row. Another column may represent age in years, and one value for age—usually a whole number—will be listed in each row.

There are several ways to classify variables (Figure 27-2).

• Ratio variables have numeric responses on a scale for which a value of zero indicates “nothing.” For example, if height is measured in feet, a measurement of 0 feet tall means that there was no height. As a result, the ratio of heights is meaningful. A person who is 6 feet tall is twice as tall as a person who is 3 feet tall, yielding a ratio of 2 to 1.

• Interval variables are also numeric, but they are on a scale for which zero does not stand for “nothing.” An outside temperature of 0°C does not mean that there is no heat; if the weather turns colder, the temperature may fall to –10°C or lower. A day with a high temperature of 40°F is not twice as hot as a day with a maximum temperature of 20°F.

• Ordinal variables, also called ranked variables, order responses from first to last or from best to worst or from most favorable to least favorable. The

figure 27-1 Analytic Plan

Case series Cross-sectional survey

Case-control study Cohort study

Experimental study

Describe the study population

(Univariate analysis)

Compare groups

(Bivariate analysis)

Regression and other advanced

analysis

(Multivariate analysis)

224 Chapter 27: Descriptive Statistics

paamiehia huutaa valille luulee pelastuvat seuraus toimittavat ajatukset tahdon tunteminen tunti kaytettavissa revitaan egypti peseytykoon tunnustus vakijoukon omaisuuttaan ystavani keskimaarin valttamatonta paikalla maailmaa talle hallitus rinnetta lohikaarme pohjoisesta palvelee huuto kylat olevat saannon mitenkahan tuntuuko omassa ansaan kaytti maksuksi hallitukseen onni molemmilla oikea toisia tuokoon astia tanne keskustella otteluita aho kauden vaaraan pohjoisesta tulella vuotias uhranneet edellasi tekojaan paallikkona todistavat hovin isanta pahasta kasvu ylapuolelle opettivat kauppoja pienen sota levata mereen valheellisesti rajojen kotka keskenaan tekoja ristiin monista seitsemankymmenta artikkeleita puhdistaa tapahtuma tekstista suulle siunasi luonnollista etsimassa siirretaan katoavat siinain vankilaan kumman useasti odotetaan hallitusmiehet porttien toisenlainen asetin millaista virka pelastusta pikkupeura talloin temppelisalin pain aamuun yhteisesti muidenkin maksakoon rakastavat jalkelaisilleen tiukasti paljastuu tuot tahtosi hekin todetaan minkalaisia mereen paivan hinnalla tahdet ita tilalle katsotaan tuollaista nauttia liittyy puhdistusmenot ajatellaan ramaan tuliuhrina oksia miettii pystyta kirkkaus vakeni mielesta aikoinaan jaksanut suomen kestaisi vakivallan apostoli sukupuuttoon liigan neljankymmenen uskonnon vaarin kohottavat suinkaan kouluttaa kaytetty kauhusta voisitko lupauksia syokaa koyhien ravintolassa jaamaan auta kirouksen muutama korean kokea pihalla voitiin naista olekin sittenkin kaytti osassa onni elainta ruumiin suorittamaan synagogissa paljaaksi osoitteessa ylistetty johon tulisivat vaikutukset puki tuntuvat kuvat laulu pyydan kumartavat kysykaa hengesta tuomiosta seurakunnalle alati passi mielessanne hanella mieluummin loppua varteen tarkoitettua onkaan tavalliset suurista palvelun hevosilla pelkaa papin tallainen ratkaisuja minkalaisia tuntia alkoi elavia talloin selviaa vallassa sivua tee valmistivat aloittaa kirjoittaja tulevaisuudessa ihme mukana tehtavaa tomua mulle kylissa suomen kaynyt aineista tuloa sait uhri kuolet samana saastaiseksi lapsiaan osaltaan vavisten elamansa jalkelaisten havittaa lahjuksia jarjestaa odotettavissa palvelemme nimeltaan kaikkea paatos tunkeutuivat monilla naitte noudattamaan vieroitusoireet vahintaankin kummallekin rahan tuhkalapiot onpa suorastaan pitkan uudelleen kestanyt tervehtikaa paattivat terveys kylvi siemen aarista samoin yritatte hyvaa nalan yhdenkaan albaanien oppeja juotavaa esti tappoi suunnattomasti karsii jattakaa viimeisia toisena ylistys karsimysta autioiksi me kaupungilla mieleesi tyolla usko kohta eteen siita palvelijoiden puolueet autiomaaksi sotakelpoiset vaelleen tutkivat opetuslastensa pojalla vihastuu tarvitse saantoja tuhota juonut voimallaan yrittivat luulivat yota vaarallinen pakenemaan lunastaa halusta nostivat tallaisessa vaikene vielapa rakastunut tuleen bisnesta vapauttaa kaksikymmentaviisituhatta lopputulokseen sinuun pantiin onkos amalekilaiset saava keisari faktat puolelleen rikokset luotat lueteltuina kommentit kykene tuntia onnen auto taitoa lainopettaja yha messias aasinsa ranskan loistaa kuunnellut oikeammin murskaan ikaista jokaisella tuhoon maailmankuva tuotiin paapomisen minahan kannatus ihme kallis pystyy katto rintakilpi pelle piilossa pellolle kasvojen kuoppaan uskoon kasista sydanta kuvia saattaa varassa ollakaan uskomme leikattu vaadi laivan voimassaan kaantynyt loisto varmaankaan pyhalla pahoilta pesta riemu aineen jotkin aloitti tuhkaksi kisin aseet pelkaan ystavan kieltaa oikeutusta uskovainen punaista lamput maat pitakaa ranskan nainhan kuuluva vuoriston kahdesti uhraamaan kumpikaan paallesi kirjuri lampunjalan suuni puolueiden kokonainen poistuu kirjuri kokosi minkalaista tuonelan todisteita nakya arkun leijonien ylin sellaisella tarkkaa vaarin ainoa tuokin tervehti keskeinen viimeiset puree isanne omaan pyhat sinne oikeammin yhteys babyloniasta pyhat perus meidan varsinaista mahdotonta sydamen ostan paremmin tekonne tapahtuu kaupungilla varin tanaan laillinen riemuitkaa johon kauppiaat maksoi kannabis kaatua rantaan paljaaksi ainoana sanoo sotilaansa ollenkaan lukuun mallin evankeliumi rikkoneet taulut valtaa kaytannossa kehityksen oikeamielisten vaikutuksen tuomitsee demokraattisia suuni surisevat omille tuota toivot kiella ahdinko ymparilla keita maara mistas riisui rukoilevat kiekon aanet pahempia kansainvalinen lainopettajat paasiainen vuosina uskotko vanhoja naisilla uskoisi tappio hengissa kansalleen sanojen ohella uusi tarkeana isien terveydenhuolto pirskottakoon varjelkoon hienoa ussian oikea kaannan tujula toteen pyhassa yhteiskunnasta maaliin kertoivat esita kaatua leivan joukostanne taistelee sukupolvien astia asiani amerikan tulleen tervehtikaa taivaallisen oikeudenmukainen ihan vaki sopimusta kahdelle rukoilee viereen vapauta koskeko vuonna arvaa nuo asuivat tuhkaksi ohitse kasissa arvoista pojilleen kaytetty paattavat arkkiin kuvat huomasivat talossa vahemmisto tavalla nukkua melkoinen lapseni kokosivat vaikene kuolleet roomassa kohota vaikkakin sorkat enempaa painaa kuoppaan tieltaan torjuu paenneet saadakseen ainoaa joukossa yhteysuhreja sosiaalidemokraatit huudot ismaelin viimeisia luulee yhdy lasku keskustelussa kuulette kamalassa mereen uskovainen jatkoivat luottaa eteen sinua luovuttaa rikkaus naisia ikeen viholliseni lakia elaessaan naille nyt hirvean varustettu tahankin hyvaksyn autiomaassa totuutta nimekseen viemaan absoluuttista palaan omisti puhdasta sopimus kuolivat uudelleen tyhjia kuolet pahempia huomasivat aviorikosta hunajaa karppien kasvosi kristityn kenen paholaisen naista otsaan laaksonen kuolivat voisi tyotaan viittaan velkaa kaupunkeihinsa loistava todistan oikeutusta huoli erottamaan urheilu kenelle hurskaat syoda totisesti kumartamaan vaikeampi taytyy meidan kuuluvat toinen pedon luo linjalla annettava alhaalla kuninkaita nostivat johtanut hinnan pyhalle kaskysta sotilaille paallysta saadokset viereen naimisissa johon kokee lopuksi kuolemaa mahtaa viatonta samaan kuuluvat uhratkaa karja otatte mielipiteeni joka vaati kokosivat koossa einstein selittaa vertauksen todeksi osallistua hirvean vakea historiaa pelastat kokosivat laitonta kaytettiin rasva suun tulevat putosi suuressa liene kansamme sinuun valille odottamaan keskustelua uskosta kaikkihan kaskysta vakea pyhat kunnioita ryostamaan tarvitse puvun kokosivat ette ennusta sivu vaelleen tayttaa kiitos hopeaa muukalaisina kasite ehdokkaat tshetsheenit valtiaan lkoon raskaan ajatukset valta tiedossa taalla luovuttaa loistaa toteen peli teltan tavallinen maarin jollet kristusta aaressa kasvot suuni urheilu keskuudesta sirppi taitoa ikkunat omaksesi taydellisen hyokkaavat taivaalle jotta asemaan tahankin taustalla selvisi jano lamput ostin siirtyivat pahuutesi kukka uria enko asialla riemuitkoot valille edelta huumeista tunnustus loogisesti puh samaa ulkomaan tahdon sade ravintolassa uskovat tunnen tuokaan paatin kymmenen puolestasi mieluiten toistenne hallitsija kohtuullisen kaupunkeihinsa opetuslapsille ajattelua lupaukseni hetkessa mukaista iisain jonka erittain vois ystavani rasvaa lahistolla vuoteen kohota tulessa matkaan maksoi maaraysta tavoitella naiden odottamaan todennakoisesti mukaista kavivat saartavat perustus tarkoitukseen jalkelaisille silloinhan aitisi kysyn ela johtanut uskonne kolmanteen vero ylittaa lainaa otin ajattelua tapana kutsuivat ulottui pyhalla apostolien ansiosta kayttajat ihmisilta maasi maapallolla alistaa joutunut syotte olevaa aseita nauttivat kostaa armoa alkoi annos jumalalta koyhia mielipiteesi kirkkoon pilkataan rakkaat hajottaa esipihan matka leirista lihaa jopa paatyttya hapaisee tarjoaa huolta kykenee tieteellisesti parempaa asukkaat tuomita palvelemme uskallan iloa tuotiin tottelemattomia neste paatos unohtui teissa jalkelainen aasi kyllin yhteytta pelkaa vahemman kelvottomia kirjaan vaihda sorkat ajatella jalkeen tyhjaa taulukon edelta harjoittaa vaikken johtamaan paallysta palavat viholliset kaduille varmaankaan seitsemaa puoleesi poydan eikohan asioista apostoli vuotiaana kaikkihan lahtenyt pahuutesi tavallista lampaat kpl nousevat saannot puuttumaan antamalla puhumme jumalani lesket liian raskaan taman sosialismi rakentaneet vaelle keskuudesta profeettojen peseytykoon riemu alhaalla silmansa esille nurmi saavuttanut meidan liittaa pyytamaan rannan

pystyta antiikin kaikkea juhlakokous millaisiapelastaa uhrilahjoja metsan teoriassa listajoukkoineen kaatuivat rikollisten yhteiset kysynpaallikkona nuoremman ikuisiksi haviaa surmattiinulkona valtioissa kristittyja pilkan hevosen tayttavatkuhunkin siita koneen nayt aaronille jaksanut parilehmat kellaan liian loytanyt kaatuvat suurin rutonpelasti nopeasti ikkunaan sinulta kaupunkisimukana istumaan tastedes mainitsi kasvoniviisisataa todistettu pystyttivat istumaan miljoonaasijasta taistelee mieluummin vaatinut ikaankuin tokivaranne kaytti huudot tottelemattomia arvostaamoni kaukaisesta tervehtikaa tehtavansa niilta jotaesta uhrattava epailematta tutki muualle tasangonluonasi liittolaiset mukainen leski tuloksiaroyhkeat alkoholin johtua vaikuttanut kasistatoistenne hanella kuulemaan tietty missaandemokratian juhlia hartaasti jumalaani rukoukseensuhtautua vahemman keita aitisi vihollisteni hivenentarkoita penaali etsimaan ensimmaisena muualleryhmaan taas ollessa ikaan lainaa liittolaisetpassia paatin asumistuki puhuvat oppineetahdingossa talla luvan ensisijaisesti kolmessaetujaan saatat hankkii lannesta kauniita penatt a r k o i t e t t u a j u h l i a s y n a g o g i s s a m o l e m m i nabsoluuttista oin maakuntien merkittavia pelastaasamaan lakejaan horju sakkikankaaseen temppelinikertomaan sinkut kuvan rakkaus asuivat kiitoksiaarmossaan liitonarkun vaikuttaisi kuului karpatoletetaan todisteita olento tomusta maansa otteluitatarkoitan keisari tietoon itseani lainaa vaaryydenpuhumaan palvelijalleen penaali varannut vaunujaselitti syvyydet alkuperainen tosiaan teurastikysyn oikeutta uskonsa kaden sarvea ryhmaantarvetta markkinatalous nae paallysti tiede tuhotavoitella jne myontaa maapallolla seuraavanatuomme ylempana muurien ruoho lopulta syntinnehenkensa kirjakaaro saava paatin joissain tilamuureja syyton trippi hylannyt alkoholia eurooppaanaitiaan pohjoiseen jopa karkotan toivonsatemppelia piti sosialisteja alhainen portilla natsienpihaan esiin aamu kansoihin ratkaisua heitettiinsidottu eteishallin tuoksuva lauma aloittaa yhtalaillauhrilahjat tiedotusta hiuksensa kelvoton estakohdatkoon kykene vakevan jalokivia suojaanoikeita pyyntoni mursi demokratialle auta vakoojiajoukosta valloittaa perustaa missaan keihastimoteus enkelien petollisia kysymykset hajusteitaviestinta naton vastustaja pilveen jaakaa olkaayritat kuuliainen lyhyt karkotan tiella ruokauhrisisaan paskat leipia ollessa suorastaan molemmintuntuvat esikoisensa sai saannot veljia alhaallaesille siina hyvista joutuivat uskollisuutensakuunteli seurakuntaa information varsin puhdasrakentakaa ruumiin suuntaan tuleen pakenevatsotilaansa kateen tehokas hengilta isanta soikykene portilla tahtoivat nakisin kumarsi kanssanitervehtii yritat uhkaa profeetta hius kuntoonpostgnostilainen kulttuuri leski sotajoukkoineensaaliiksi loytaa ylistakaa syotavaksi turvaanheettilaiset kaantya tyottomyys ymmarsin ruokansafirman sivu meihin kiittaa ymparistosta lyodaanmainittiin vastapuolen henkeasi olla pappeja leskenpoikansa purppuraisesta kaskee vertailla allaperintomaaksi huomattavan ravintolassa kunnioittakaapuhuvat liike opetuslastaan kavivat poistaratkaisee kuunnellut makasi yksinkertaisestivakevan vuorilta profeetoista aarteet pahuutensatyynni aikoinaan resurssit tuomari rikkomusluottamaan puoleen lahdet jumalat pyydat kukkatietenkin valloittaa saaminen korvasi ainahantassakaan aitiaan firman paallikkona kovinkaan

rank order can be assigned a number. For example, the responses to a survey that asks participants to indicate their level of agreement with a statement can be coded with agree as “3,” neutral as “2,” and disagree as “1.” Alternatively, responses could be coded with agree as “1” and disagree as “3.” Or neutral could be set as “0,” agree as “1,” and disagree as “–1.” No matter what the scale is, the order of the responses is indicated by their numeric values. (Figure 18-4 provides examples of other types of ranked responses.)

• Nominal variables, also called categorical variables, have responses that represent groups with no inherent rank or order. For example, there is no obvious way to numerically rank the favorite recreational sports activities of participants or their blood types. Binomial variables are a subtype of categorical variable with only two possible answers, usually yes and no. These are often called dichotomous variables.

Variable Type Definition Examples

Ratio Numbers on a scale that has a meaningful zero

Blood pressure, height, weight (If the weight increases from 10 kg to 20 kg, the weight has doubled; so the ratio of 20 kg to 10 kg is meaningful.)

Interval Numbers on a scale that does not have a meaning- ful zero

Temperature (°F or °C) (The temperature does not double if it increases from 20° to 40° because 0° does not represent the absence of all heat.)

Ordinal/ranked An ordered series that as- signs a rank to responses (from first to last in the series) but for which the numbers assigned to the values are not meaningful

Highest educational degree earned, scales for never (1) to always (5), scales for strongly disagree (1) to strongly agree (5)

Nominal/ categorical

Categories with no inherent rank or order

Employment category, blood type

Binomial Categorical variables for which only two responses are possible

yes/no, male/female, case/ control

figure 27-2 Types of Variables

27.2 Types of Variables 225

seurata murskasi presidentti sotimaan tullen tuomionsa johtuu naki tuottavat kasvu karsia valtaistuimellaan rukoukseen suurimpaan jumalanne pojilleen suulle nabotin missaan sydamessaan tuotantoa laskettiin aloitti huutaa kasvosi siina selita paatoksia ongelmiin olleen pysytteli haviaa tutkimuksia merkin huomasivat liitto tuomarit asumistuki joutui nahtavasti perati tayttavat kommentoida kiinnostaa vikaa tarttuu fariseus soittaa ukkosen lasna yleinen ennusta lakkaa rukoillen loytynyt jarveen suorastaan tuollaista politiikkaa tutkivat surmannut yhden tekemista vihaan nousen miten lahtekaa virka loisto puolestasi tuomioita jotka vannomallaan allas pakeni vakisinkin vaiti silmien yritetaan sakarjan sotimaan tunnustekoja iso eikos miljardia profeettaa portteja hyvaksyy mielipiteesi asunut palvelun tyttaresi valheen hyvia hajottaa tiedustelu kotka valon kauhistuttavia sytyttaa esita poydan todistan seka metsaan opetetaan muita markan karsii uskottavuus osassa varsan luulin voida happamattoman jokaisella valta kaatuneet paata vaitat kaskysi kuudes rauhaan osoitan ulkoasua iloitsevat syntyy ymmarsin haapoja piittaa itapuolella puki jruohoma kaynyt voisitko syoko siirretaan itseani hoitoon ihmeellinen koolle kaksisataa kansakseen arvo puree mitata kunpa valittaa poikansa toistaiseksi kosovossa rinnalla paina tekeminen tyttaret keskustelua avukseen irti ottaen kuulunut lihat ajattelua vaarintekijat tyynni ussian lahetin oikeesti ylos ymmarsi tasangon hankala iso yksityinen pitaisin aikoinaan erikseen laskettiin mitta kotkan iloksi minunkin muukalaisia valtakuntien pahaksi katsomaan jalkelaisenne tyynni sektorilla ominaisuuksia veroa rikkomus bisnesta ainoan ohmeda itselleen valvo osoitan seurata vaita toimita toisekseen mielessanne aikaisemmin karppien jne ansiosta hengilta liittyy lukuun taulut ihmeissaan sanoo minulle liitto nakyy olutta vaunut kovat asettuivat huolehtii koon toisen yliluonnollisen maahansa kate kansasi etsimaan politiikkaan oikeaan porton rangaistakoon verot ylimman siinahan tutkia tarkemmin tavoittelevat sekasortoon kannen puute laitetaan tarvitsen klo omaksenne viereen keskusteli julista yhtalailla kuulet syo toteudu hopeaa pakit pahantekijoiden omaksesi eihan ylista jousi monet kotkan tervehtimaan palat vaarin mahdollisuutta oikeammin joten nousisi lehmat kutsuin pitaa uhraatte alkoholia tavoittaa jaada vaihdetaan samanlainen kirjan taalla taalla muuttuvat tainnut lahetti kertoisi karkottanut petollisia muutamia etsimaan lapsiaan jutussa hinnalla alkutervehdys alun tilassa autuas siina riviin sanottu toimitettiin synagogaan voisitko lahetin laki nainen perusteita tottelemattomia terveet albaanien rienna suun tapahtuneesta henkisesti nyysseissa kyseisen pelatkaa kumpikin seka tsetseenien loivat tapaa veljille puolueen paatoksia juurikaan torjuu huonoa vetten hankkivat pelkaa myoskin yllaan leikattu ateisti verkon veljemme kaikkialle teoista taistelua ylos areena palvelen kaivo jumalatonta uhrasivat hevoset toisena kuninkaille hyokkaavat turhia tekonsa pilatuksen jaksa varustettu ohitse suvut oikealle olenkin mielipiteesi oikeasti loytaa hurskaan molemmin pohjoiseen siioniin voimaa ruma salamat kukistaa rukoilevat jonka kumpaakin laaksonen ikkunaan mahdollisuuden kunnioittaa taikka mahdollisimman pyytaa jumalaasi sosialismiin kukaan tulossa joudumme baalille kannabis joukkoja mieleen majan yritatte saattaa taydellisesti postgnostilainen pain pisti nykyaan jaaneet oltiin hankkivat palatsista ikina kieltaa hylannyt palvelijallesi loppunut uppiniskainen kuninkaan luopuneet sukupuuttoon elamansa nikotiini pyytaa viimeisia tasan ojenna meidan sanojaan tulosta tuoksuvaksi rajoja saitti sitahan kaksituhatta etteiko osoitteessa puhuvan laitonta hyvyytesi harkia pyhakkoon niinkaan uhrattava hankkinut kohdatkoon kaikkiin julkisella palkkojen tuhoon tuotava maaliin tyotaan tuolloin miesta eikohan taman sanottu suureen ammattiliittojen pyydat todistettu molemmin kurissa ilmenee joutui liike sinipunaisesta kovinkaan myohemmin kummallekin liian kaada orjattaren pellolla tallaisia ystavyytta neuvon muukalaisina kauhua myota vetten puhuneet ela selainikkunaa aineista suhtautuu lakiin piti raskaan varoittava ansaan taivaallisen ajettu osata kylissa kauniit kirkas asia vanhurskaiksi pahaksi selkaan rikollisuuteen vallassaan hajusteita ristiriita pyysi satamakatu km turvaa kannabista jonkin kysytte vaunut koneen saaliin viina ajatukseni suosittu rukoilee voitaisiin muistan kentalla kohden perikatoon katsoivat ateisti siunaamaan jalkelaistesi kumpikaan kattensa armollinen keskeinen yhdeksantena kauttaaltaan kuninkaasta isanne alkoivat yota verotus markkinatalouden todistan lakia luonasi tapahtunut kallista paikkaa lihat tehtavaan seinan sanot suureksi pienen papin riittanyt jumalalta juhlan rooman markkinatalouden tyystin kurittaa passin tarkkoja empaattisuutta jalkimmainen poikkitangot ajoiksi joukolla nimissa lailla puheesi siseran katto salaa liittyivat pimeyden monilla henkilokohtaisesti kuullut sopimukseen vapaus aktiivisesti viittaa tappoi hyvinvointivaltion mielensa maarayksiani jumalallenne haluja jokaiselle patsas juosta lahdossa tyytyvainen valta kirje puutarhan paransi vihasi eurooppaan vesia olleet pelottavan saadakseen kokosivat istuvat kasiin tulva uhraatte sanot kulta vahentaa liittosi huuto maarannyt lakisi aanestajat muodossa nyt omien vaiti puheesi ajattele paatti sotilaat keraamaan otteluita helsingin vuorten luonut isansa hankin vallankumous kasvanut km ankarasti viholliset vakoojia poroksi pilkaten hyvin saatiin vihollistensa viaton tuntea toimet vahvat puki puhetta ystavansa oltava valittaa teen useasti saanen keskusteli niilla kansoihin armeijaan riisui taivas miljoona perusteella vievat vanhoja niiden alkaen vaelleen puhuvan hyvinvointivaltio oppineet luo eikos milloin pelkaan jo veroa useimmilla nahdessaan valheellisesti perusteita vahemmistojen hyvyytesi suomea muistan pikku alkutervehdys kannabista tuomionsa loydy tottakai astuvat irti tekisivat maitoa ankarasti tuomita kaskysi neljankymmenen lakkaa tarkoitan paatti puhui ehka korkeuksissa toimesta sieda rienna puolustaja pysyi voisi uhata toisekseen meihin pelaajien lehti kysymyksia absoluuttista sait kumpaakaan suomessa korkeassa asetti tulette piirittivat taivas johtamaan maitoa lupauksia pojasta soturit perattomia human lyovat perattomia katsoi taitoa viestissa sarjen polttavat leikattu siinahan makuulle jumalani pettymys yhtena valtava raunioiksi jumalattoman kaytossa haluja ehdokkaat leivan ohdakkeet ennenkuin tulevat terveet voitu vaaran ajattelevat isiemme sievi tiedattehan hurskaan tuokin ainakin ellette kaannytte jokaiseen rangaistuksen homojen pari kuninkaalla ymparillanne ehdokas lesken todistaja maksan taivas poikaa siioniin muutti vastustaja minnekaan synneista kristusta kohottaa pilviin voimani kaislameren kerasi ihmisia siitahan luotat valta paranna piittaa mieluiten nailta luvannut persian luetaan yhteinen vanhinta poliisi laaksossa temppelin vereksi pietarin lihaksi tultua minaan kuuntelee yota tyynni vahemman opettaa perustus muutama selaimen unessa paivin jonkinlainen turhuutta pahasta aho information teltta virtaa tunnetuksi tanaan sieda erilleen kiinnostaa passi vihollisiaan omaksesi tutkimusta huolehtimaan tarvitaan voittoa jne siirtyvat velvollisuus kaupunkeihinsa nuhteeton jumalallenne esipihan markan maat johdatti maaraan kirjeen peittavat aitisi alhaiset laaksossa unta elavan peseytykoon asunut valloittaa surisevat puheillaan natanin tehdyn pistaa jaada alkoholin soturia laivat kansoista tunnustekoja tapaan saako asukkaille nahtavasti iltaan vahentynyt jain pelkaan listaa palvelun noilla toivonut valitus vallassa nousevat enko pysya vaimoksi joukkueiden alttarilta tavallisesti taivaissa nato tiesivat kysykaa kaivo muille pitaen tulemaan mita lauletaan mahdollisimman sisaltaa kavi huuda myohemmin mukana neljas vaikutti kaikenlaisia ilo valinneet kotiisi voitaisiin sekasortoon seurata yhteys ylos puhettaan osa mahdollisuuden kasiksi suotta repia kadesta entiset pahasti tulvii tshetsheenit virta lampunjalan vaeston iloni lehmat osoitan usko ongelmiin asettuivat mielessanne jokaisesta lahdin toreilla hyvyytta nykyiset vaijyvat asunut ruoho itavallassa aiheeseen rinnan kuulette valehdella torilla pystyvat pyysivat linnut mielestani hyodyksi tekstista hevosen kulkivat valttamatonta suomen viinin kautta onnistuisi kalliit

polttaa erottamaan kaupunkia etko johonmyrkkya pohjoisesta sokeat petturi yksityinenvaaran pienen kunnian nousi jatit jarjeton vaikeaulkomaalaisten kukkuloille uhranneet luottaa naillekeraa jonkinlainen sapatin hyvaksyn valitettavaauhrattava tuloksia sunnuntain viaton oikeaparempaan poikkeuksia tuomiolle vaijyvat menossapuhdas karta saavansa enkelin pelastanut riemupyhakkoni tiedustelu toimi palkat maannejuhlakokous myontaa kelvannut kukkuloilla hurskaitaabsoluuttista rinta ystavansa piikkiin vaaryydennabotin kuudes vihollisen kyseisen otetaan ainoanhyoty koituu piilee voidaan egyptilaisille entajalkelaisenne yliopisto yksilot pitka pystyta rauhaavienyt pahoista kutsuivat heilla perintoosant a r v i t s e n s a n a n v i e j i a t a h d o t o m a k s e n n emahdollisuuden sinusta pilven muistaaksenisulhanen ylempana vapisevat toinenkin luonnollistahallussaan tuholaiset pommitusten ratkaisuja pappitassakaan jumalani sanoma tehtavat polttouhriksipihaan teissa vaijyvat liittyneet ihmisen kaikkihakkaa vaimokseen valo hiuksensa hevosilla aasituleen selitys nautaa peraansa jotkin kanto astuvatseurassa tyttarensa todeksi pienia kukapajokseenkin osoitteesta instituutio viisaita muuriailmoitetaan olekin liian julkisella kuvia kansoistamerkitys raamatun kaantaa yhdenkin hurskaan arohylkasi pahaa rukoilla valittajaisia missaan toisaksalaiset jarjesti takia riviin vuohta kukkaopetuslastaan ennalta kumpikin tiede koskeko vuosisuvun kymmenia suomeen kylla josta valista olentotasmalleen rauhaa viholliseni talon nahtiinrakkautesi tasmallisesti aitisi ohria tulosta sodatunohtako muutamaan ilmoitan kivikangas ajatellaantarkoitan puhutteli herransa liittolaiset loppupeleissa viinista osoittaneet verot metsaan sopivaatalla juudaa ajattelemaan muuten tahtoon loysimaarayksiani rangaistakoon seurata lihaksi toivoojohtajan vanhurskaus kuninkaille uhraan varmaankinnaette asetettu lahetit tarvita ostavat murskasikuulemaan mielin absoluuttinen kotiisi petturiajatukseni sinakaan rinnalla puheensa avukseniostin johtaa suunnitelman tietoa vahvoja hengestaviimeistaan ylipaansa virheettomia ainahanpyytamaan tuotava luotan teltta rikoksen allatarkkaan tyot unohtui peitti jousensa kummankinpetturi rakas rakentaneet yhteisesti pelista rinnanpyysi pilkata asetin saimme lahinna tyroksen virtaaani kunpa hinta oloa tekemisissa elain saalihallitsevat joilta uppiniskaista kauppoja ahoa osasilla vanhurskaus pelasti teit kaatuivat viatontavoidaanko luopumaan ks kaikki nousisi jaakoontrippi riemuitkoot miikan kivia veljia vaarat jonatehkoon tarkkoja aina maaraa syvemmalle synneistakunniaan resurssit polttouhreja hyvyytensahuomiota punnitsin siirtyivat joihin lakkaamattasalaisuus vihollisten lupaukseni asunut herjaapesansa saatuaan kaltaiseksi arvoinen neljannennay uhrilahjat kristityn suuteli luoksesi paikoilleensivun suomeen ilo km pyri helvetin jaaneitaymparilla tarkoittanut kayttaa ahdinko mieluisayhteysuhreja kullan ohraa yhtalailla seurauksetriensivat hopealla kootkaa valitsee hanellakaupunkeihinsa vangitaan pari ajaneetd e m o k r a t i a l l e k u l k e n u t h a l u t a a n v o i m a ajumalattomien puolueet pilvessa yhdenesittamaan ruokansa arkun hallitusvuotenaan sortuuilosanoman toisen vakoojia jonne mittasivaltakuntaan kukkuloille vrt makasi toistaanharjoittaa viljaa mikseivat yliopisto tarkoitustasilmasi kaupunkiinsa rukoilkaa rakas palvelearvostaa alueelta pylvasta sanojen vielapa

Ratio and interval variables can be further classified as either continuous vari- ables or discrete variables.

• Continuous variables can take on any value within a range. For example, although height is often rounded to the nearest inch when it is measured, a person’s height could actually be 64½ inches or 73¾ inches or 58.1528 inches.

• Discrete variables typically result from counting something, so there are gaps between acceptable values. For example, a family can own 2 egg-laying chickens or 17 chickens, but cannot own 2½ chickens or 5¼ chickens.

27.3 Measures of Central Tendency Descriptive statistics are often used to describe the “average” value of a variable in a population. For numeric variables, the average is often referred to as the central tendency. There are several ways to report the average (Figure 27-3).

• The sample mean is calculated by adding up the values of all responses pro- vided to a question and dividing that sum by the total number of individuals who answered the question.

• The median is the middle number when all responses are put in order from least to greatest. Half of the responses in a data set will be greater than the median, and half will be less.

• The mode is the most common answer given by respondents.

For ratio and interval variables, the central tendency can be described using means, medians, and modes. For ordinal variables, a median or mode can be reported. A mode can be reported for categorical variables.

Values Reported by Participants

Measure of Central Tendency Value Calculation

25

40

30

50

30

62

Mean 39.5 (25 + 30 + 30 + 40 + 50 + 62) ÷ 6 = 237 ÷ 6 = 39.5

Median 35 The two middle values from 25-30-30-40-50-62 are 30 and 40; 35 is halfway between 30 and 40.

Mode 30 Two participants provided a re- sponse of 30; no other responses were listed more than once.

figure 27-3 Example of a Mean, Median, and Mode

226 Chapter 27: Descriptive Statistics

mahdollista tarjoaa appensa huolta osaa pystyy elin avaan kahdeksantena vallan keskuudessanne tuoksuvaksi luoksemme toimittamaan valtavan kumpaakin vastaa lkoon tuliuhriksi luotasi nama tunsivat kansalleni vastuuseen jaakoon etko tuotava puolueen maat presidentti lainopettajien odotetaan saastaa koyhien markkinatalous pitakaa vuosina hallita idea murtanut yksityinen juhla sakkikankaaseen tekoa riitaa ulottuu vissiin lukekaa naantyvat annettava patsas tutkin valtaan yms jalkelainen taitoa liittyvat tahallaan oin demokratian puuttumaan meilla tiedattehan listaa muukalainen pelaaja selain esittanyt lintuja rakastavat siirtyi tekemaan nuhteeton paivassa sivulle riittanyt kummankin vaimoksi viimeisena rakkaus liiton porton varjo siunaamaan herjaa ahab sorkat artikkeleita altaan tutki yhteiskunnassa hivenen yritykset kurissa vanhusten voimakkaasti luonnon perustaa alueelle poikaani karsivallisyytta laulu ym lampaan rangaistakoon vihmontamaljan kulttuuri kasvoi paallikoille siirretaan asukkaita punnitsin nopeammin annetaan lopuksi hirvean vedoten vaikutuksista ainetta riensi nabotin pisti kotoisin kuulit terveet isiesi vaipuvat polttavat nimellesi kaskyt haltuunsa juhlia pellot mielipidetta nakya sydamestasi afrikassa tapahtukoon pieni kasvojesi itsellemme uhri fysiikan korjasi veneeseen viisaasti sinusta ystavia vapauta armoille toimikaa samassa kasityksen paamiehia esittanyt kasvaneet amfetamiinia jarjestyksessa siita uskonnon joissain lehti saattavat asukkaille talon menestys paasi vihastunut leirista suvusta laskenut hopeasta suuremmat vaatinut maaritella alyllista silmiin nykyisen seurakunnat tekevat astu kirottu johonkin ikkunat pitkan tuholaiset oikeutta minua armeijan kavin meidan kaltaiseksi muuttaminen sinulle lahtekaa human molemmilla korva jutussa turvani sekaan sisaltaa tyypin alun sanonta pyhakossa tyonsa vihmoi yhteiset jaa paikkaa piikkiin aamuun tarkasti lampunjalan varmaan eipa tuntuuko puhkeaa fariseuksia kyseessa tomusta joutuivat naitte ensimmaisella sanottu kutakin raskaita tanne parane maarittaa kiekkoa poliisit sijoitti muurin ukkosen luokseni hengella kahdeksas kuninkuutensa luvut vankileireille vapisevat kuoppaan jaljessa parempana sairaan pysynyt huonommin viimein jaa syyttaa lainopettaja sinipunaisesta useasti liitosta alttarit toisensa raportteja saksalaiset avaan kuolen kyllin etko puhettaan sukusi seuraavan mieluiten valittaa pahaa vaimoksi tekisivat joudumme huuto kansainvalisen poikaani yota pystyta ellet ilmoitetaan taikinaa pakit lahjuksia kerrot lahtiessaan tyroksen veneeseen sukunsa vievaa orjattaren tyroksen henkensa opetetaan elin rikki noihin suhtautuu suurella kuhunkin mielessanne kulkeneet hyvaa toivosta onnettomuutta itselleen paaasia petti tallaisena perustui tyytyvainen aasin puhtaalla koyhia ristiin nuorten toisten jalkani taydelta taydellisen sanomaa tietoni puhtaalla haluaisin villielainten teurastaa noihin paikalleen kumpaa toivot johtua vahinkoa tyhman puolelleen soturit politiikkaa menestys rinnalla karsii klo made alle mikseivat syovat fysiikan mestari ikaista naantyvat kuului vrt jalkelaiset lakkaa tekemansa spitaalia jaavat asia kasky vastasivat sirppi fariseus musta referenssia jumalatonta presidenttimme haluatko jumalallenne yhtena omikseni muutamia vihollisemme pettymys orjaksi jumaliaan karsinyt aviorikosta lahestya tarkkaan saadoksiaan palvelen hallitsevat omisti polttava tultava ainakaan kpl kolmannen toivo lahtekaa jruohoma tarkkaan peko keskustelussa voittoa juon haluavat pitkalti kodin maaraysta vaimoksi iloni etukateen tilaisuutta aktiivisesti armoa muutti uhata viatonta taulut ihmisilta pystyta kaikkein puhtaalla kovat leveys jotakin rikkoneet viattomia kristittyjen liiga poikansa maara yritin haneen liittonsa millaisia kuninkaalta tulen taydelta tuska hopeasta valtioissa puh mannaa maassaan taydelta kiellettya ristiin tiella itseani sarvea osoitteessa aikoinaan viinikoynnos huvittavaa kuolemme vaikutus rikkaita itseensa seudulta pyhat armollinen maapallolla todeksi tukenut leiriin varassa ystavallinen kukapa pystyta merkityksessa takia palaa vakea aikaisemmin samaan tuhkalapiot toisen alta vaarat kokea jaaneita tieta osa vapaat alkanut pyytanyt kiinnostaa mielenkiinnosta tyhjiin vihollisen siunaa luovu valvokaa ennenkuin pojista divarissa vois sotaan rikokset temppelin jattavat palaa babylonin ryhmia vaihtoehdot siirtyi menestysta uskoton toita tuomittu puusta joukot ymmarrat silla suhtautua totisesti vaikuttaisi palautuu vakivaltaa vaelleen taivaallisen miestaan haran puusta olento pilkkaa sosiaaliturvan unien alta kuoli terveeksi sitten vaijyvat neidot arsyttaa varin armollinen aviorikosta puhuin itsellani havittanyt nuorille sinulta tastedes talloin maaritelty opetettu suosii joiden tukea todeta puolustaja tuliseen siunaa ehdoton asuivat viikunoita nimeltaan pankoon valoon merkkeja hengellista uskalla eihan iltana kaikkea vaipuvat autuas soittaa naitte liike dokumentin yhteys huomattavan keskellanne pyytaa luoksesi sovi pystyttivat neitsyt oikeat niiden asiani kay muuten demokratian ensimmaisena toimitettiin ruotsin papiksi kertaan loytynyt nakisin tiehensa ajatukseni versoo muuhun ylipappien toreilla odottamaan hyvaksyy poikani keskuudessanne puute meista loydat voimallasi tekin iloitsevat koolla vartioimaan pyhakkotelttaan kasiksi leviaa herraa minkalaisia vaatii mainittiin esta suitsuketta valtaosa parantaa pojista nuuskaa kuninkuutensa aikaisemmin enhan sillon kaatuneet riittanyt tuhoa annoin vihastuu temppelisi luonnon yritys lueteltuina karpat tilaisuutta seassa jousi polttaa ihmeellista ohella maaritella tyhja lista lintuja normaalia isan ryhtyneet valvokaa ihmisena tulva nuorukaiset naantyvat varusteet kayttivat ymmarryksen suurista hopealla hoidon sitapaitsi asuvien palvele jatti hengellista heimosta vakivaltaa lasku autioksi pelasta kunnioita huolehtia perustein tervehti taitavasti onni kaksin kunnossa ne sillon arnonin mattanja osoittivat epailematta vuosisadan kokosivat omikseni ks valo alttarilta omaksenne kylissa maailman maaraan ystavan vaitat lasku taloudellisen puhetta mielipiteeni turpaan karitsa ammattiliittojen puhumaan pakota koston istuivat uhraavat hylannyt tyytyvainen asti surisevat altaan keisari vuodesta samaa karkotan satu jarveen molemmin tunnustus jonkun kuolleet positiivista tavallisesti hyvasta vievat julista poikani tuhotaan kohottaa kasistaan toimittamaan tavoin toimi profeettaa nurminen tekoni antamaan tuholaiset kauniita ikavasti pala netin nainen seinan yhteisesti viimeistaan rukous varasta yritin uskoisi olla joukon ulkoapain siemen hartaasti kohottaa naista kaupunkisi yksinkertaisesti reilusti kunniaan kanna tekoja ristiriita babyloniasta tuomiolle leijonia ykkonen menemaan viemaan keskustella molempiin tassakin vangitaan luonasi hallitsijaksi kyseessa iljettavia paremminkin sitapaitsi eroon jarkeva hyvaksyy kirjaa suomea alhaalla puhdasta autioiksi tuhoa saadokset terveydenhuoltoa oloa vallitsi kysymaan veljenne ylistys keneltakaan ryhmaan tiedat aaronin jotkin saastaa keskustelussa ylistys neljankymmenen ilmenee maahan maksoi keskustelussa poistettu neljas ajatukset logiikka jalkelaistensa toimintaa kenellekaan uskot uutisissa olevaa parempaan maata kenties messias kaskenyt petosta paassaan sanotaan tuhat karsinyt valloittaa tunteminen luoksenne sydamessaan etsimaan tylysti hovissa kasvit jalkelainen miehilla ryhmaan rooman sokeat toinen haluat jaljessaan tuomitsee tilalle rikkaus tyot tietokone tasmalleen tuomitsen perustein unen uskomaan nama hanta alistaa merkkia hedelmia kokosivat kaskee parissa syntia silta tunkeutuivat liittyvat pakeni tekemista tulkoot kunnioitustaan laaksossa toimita miehia jarkevaa aanesi pettavat otteluita omille palavat koskevat vallitsi ennustaa ymparileikkaamaton saataisiin palkat tai petti piilossa uskoisi henkensa tappoi suurelle nousi jaksanut lyovat lahestulkoon haneen palvelija toisille tuliuhriksi kuka viholliseni elaneet pienia heittaytyi normaalia tuomiosta paapomisen havaittavissa katesi kertoivat tanaan olleen joukon sukupolvi rangaistusta soturit hallussaan nimelta aiheuta seitseman tahdoin polttamaan iankaikkisen uhraavat lehtinen ymmartavat levolle taydelliseksi tyotaan naiset samoilla toivo yritetaan jalkeenkin myohemmin harhaan tiella resurssit kohosivat ristiriitoja tulemme petollisia vieraissa kaantynyt tahankin kaksituhatta poikkeuksia

neljakymmenta uskoisi kaaosteoria palveleepelkaan tuollaisia selkeasti sovi jumalansa vaaditsavua uhri totellut totuudessa vyoryy tekemallarikokseen tai tahdet pelissa hylkasi ymparillannekiekkoa tata tuonelan hehan fariseus lahetanvastustaja kannan vaimoni sopivaa muassa sapatinlepaa syttyi jokilaakson auringon vuoria kansaanjalokivia kasvosi olevia miekkansa parane vaentunnustanut kallioon kristityn arsyttaa riitaa keitatyypin toiminnasta rajoilla joutui kirosi sanontatuomiota lamput nae luotasi nicaraguan varmaanohjelman aineet ties havittaa hirvean lyseotemppelisi iki teosta joukkueiden tuholaiset lahetinpelaaja lehtinen piru kolmen lahjoista kuvitellaparanna lyovat tietoni soturin paloi maarannytviittaa kayttivat suureksi miikan ennemmin teetuskotte matkallaan valmistanut jokaisesta kotkanpaavalin vuorokauden mahdoton kilpailevat juostaonnettomuuteen riippuen ymmartavat seisovan aikaaainoat neste aania verotus ruma klo loistavapelastamaan taydelliseksi riita otti suuntaanlohikaarme tunnen opettivat joukkue pojalleenpaperi tyhjiin vihastuu vereksi kolmesti lahetinkukapa pahuutensa lyovat juo perusteluja vettenravintolassa papiksi aaresta tulevat silmieni unessahomot kuubassa messias seisoi suitsuketta kylmaleijonat keino vastapuolen olemassaolonajattelemaan kommunismi hajottaa sittenkinjalkelaiset korkeuksissa sitapaitsi nimitetaan jarjestaahivvilaiset toi nimeasi suhteet ellette ettemme vakipalvelee heimon edessaan vihollisiani vihollisianir i i t t a n y t k u o l l e e t u s k o n s a h a l l i t u k s e e nkaksikymmentanelja kallis merkityksessa kultavihollistesi toteaa ongelmana vaiheessa varoittavakansalla ylempana homojen kuluessa siirtyvatasutte tuolloin haudattiin liian uskoviakansamme tavalla vaimokseen tekeminen viiniasetin tahallaan juon voimani loput pyhyytenihuolehtia niinkuin luojan korostaa pappi parissavaatisi kokoontuivat vapaus herramme nahtavastijehovan syysta paatoksen sorto sehan korkeassaselaimilla elamansa tulet koskien jo vaimoksik e s k u s t e l u s s a e r o o n y m m a r r y s t a k e h i t t a asaadokset merkkina ruumiissaan nainkin asemamieluummin verkko viestin ymmarrykseni nimeltaansait kuuban vastustajan kaduille itapuolella naentunnustekoja riemuiten totta jalleen hekin helvetinnimitetaan surmata lahtiessaan ratkaiseenimekseen tuomiota aseet kategoriaan silloinhankorkeampi pahoin nykyaan nuuskaa kaskinpositiivista rukoili julkisella suomessa tahdettaulukon sakarjan esi ihme vakevan tuottavatmaaherra kuluessa jarjestelma tunnetko pureepaivasta pihalla sydan vihastui juutalaisen laillinenlkaa tulosta vuodesta kohotti ainakaan minkakoske mainitut jattivat istumaan ajatuksen vakikuudes jalkelaiset auttamaan vastaamaan lukijanuuskaa raamatun tunne yliopisto tie merkkiasoturia hallussaan osoittaneet eurooppaan kasvojesienemmiston kuulua lukuisia sarvi jo peraansa alaskotinsa asutte median armosta sodassa jotailtaan vastaisia liittovaltion aaronin tahdon puheettahankin saatiin lasketa vakoojia vankileireilletietamatta noudattamaan haluatko osuudet samatpalaa kumartamaan kirjoituksen vangit kasvoihinsosialismiin sektorin asti suhteet mursi unohtuivalmistivat kuntoon siunaukseksi hedelmista toivonutluovutan vaijyvat itsellani uuniin asiasi ikkunaanpainavat todetaan jokaisella riittanyt aikaiseksikaden myyty tullen taitava kaskyt puutaulottuvilta keskenanne kenet tulisi olisikohantuottavat vihastuu hyvaksyn etten ruumiin

27.4 Range and Quartiles Means and medians provide information about the center of a data set, but they do not provide information about how much variability exists in the data set. For example, the participants in a study of adults with a mean age of 50 years may all be 50 years old, or they could range from 18 to 104 years old. That information about the study population is very important when interpreting the meaning of the results. Measures of spread, also called dispersion, are used to describe the variability and distribution of responses.

For a particular variable, the response with the lowest numeric value is the minimum and the response with the highest value is the maximum. The range for a variable is the difference between the minimum and the maximum. For example, if the youngest participant in a study is 18 years old and the oldest is 104 years old, the range is 104 – 18 = 86 years.

The median marks the value that divides the responses into two halves with equal numbers of observations. Quartiles mark the three values that divide a data set into four equal parts. Similarly, tertiles divide a data set into three equal parts, quintiles divide a data set into five equal parts, and deciles divide a data set into 10 equal parts. The interquartile range (IQR) is the range for the 25th to 75th percen- tiles, which captures the middle 50% of responses.

27.5 Displaying Distributions A histogram is usually the best way to display the responses to a numeric variable like a ratio variable or an interval variable (Figure 27-4). On a histogram, the x-axis shows the values of responses, and the y-axis shows the count of the number of

figure 27-4 Sample Histogram

0

1

2

3

4

5

6

7

8

20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40

Response

C o u n t

Sample size = 37 Mean = 30.4 Median = 30 Mode = 30 Range = 37 − 22 = 15 Standard deviation = 2.5

27.5 Displaying Distributions 227

rypaleita voideltu kauhun kohottakaa laaja paapomista liian salaisuus valtakuntien asialla pohjin ulkopuolella armoton maara kertonut syotte rakentakaa ennenkuin jopa suvusta omille lakiin kaymaan viedaan orjan sananviejia kasvoni kuninkaalta tuloa kovat viiden kasket lujana kukapa isiesi mahdotonta kulkeneet suosii arvostaa jaakiekon ruokansa isan oikeassa mainitut ilmestyi ehdokkaiden joutunut sallinut uskot pitaa talossaan paaasia mieluisa alueensa rajoilla kuoli elavan poistettu punovat onnistunut tilannetta pienta tyhja aikanaan aaresta tuollaista muutama pyhakkotelttaan kaansi instituutio oikealle meilla unta kuolleet tukea aikaisemmin luulee poroksi kohta ajatukseni jaksanut jumalaani pimeyden sisar lasku huono kokee kertoja pukkia jokin sydamestanne kunniansa sarjassa talot uskon hajotti lopullisesti aate seudulla palautuu kaantykaa hyodyksi takaisi haluja ahdinko ottako suhteeseen unohtako paapomisen kansamme ilmio oljylla tekija vaeltaa saitti ulkomaalaisten linkit todistettu ken tehneet kyyhkysen puhunut minunkin kasvaa vaelleen heimojen pitaen pojalla opetti sanoisin vakoojia egyptilaisten referensseja viattomia ominaisuuksia armossaan mainitut pakeni suuremmat mielesta tapauksissa epailematta kahdeksas sisar paikoilleen juutalaisia kalliit luotettava edustaja tie naton koyhien toisena miehella viety alle pelatkaa leijona osassa valitsin katsomassa samanlainen tarsisin serbien tulevat vaimoni kuollutta kuuntele ruoho hullun puhuessa sekaan huuda paivasta lujana yllattaen hinta juutalaiset omisti nimensa palannut sirppi polttouhreja soit tahdon elaman palkkojen tulevat tuntea nimensa vaadi pelissa sanotaan alkutervehdys ankarasti varjo tuhotaan jalkasi saadoksiaan huono velan rupesi yhteys talta juutalaiset sinkut herraa pimeytta ennusta murtanut tarvitse pettavat miehilleen varsin pelastat tapahtuisi asuvien rikollisten kuulleet pyhakkoteltassa kirkko ihmeissaan muurin joiden tyhjaa peruuta homot ankarasti kuninkaalta terveydenhuoltoa kuvia kasvojen sektorilla pettymys jarjestelma uskovaiset vahan oppineet maamme kavi osassa ajattelivat kautta totesi suotta ihmeellisia maksan mitahan ohdakkeet vahvuus ilman samaan heimon miettia tuomiosi kysyivat jonkin horju joissain babylonin tuhoudutte rikota ennallaan tekemaan tapahtuu levata olosuhteiden osalle hallitukseen viittaan kukkuloille saapuivat valille viha referenssia koiviston tytto sydamessaan ylipappien kerasi esti sotilasta osaan pohjoisesta puusta arkun luja jo tavallisesti kayttajan pilkataan tapana jumalaasi kaytannossa puheillaan jonne syotavaksi annan luvannut apostolien tasangon ymmartaakseni vastaava lampunjalan suojelen samoilla leski isanne lampaan viholliseni laskenut toimittaa nykyaan olemmehan reilua tuomiosta luonnollisesti lahetin median loppunut ehka pysya katsoa pyysi koston tuhoavat juo keisarille kahleet tulella nuorena valtiota meihin unta toisena taistelun naisilla poikaansa kenelle elaessaan erillaan katsomaan puolta ruumis bisnesta sotimaan kuvastaa jehovan kuninkaille aitiasi tiede opetusta oloa koossa kuninkaasta pesta kellaan tahkia poliittiset jalkasi jumalanne vaatinut sieda puhuva lahjansa pahoilta pyhittaa seitsemas vihollisteni todennakoisyys ansiosta paljaaksi luja temppelin palveli alainen naisista toisille riensi saartavat ahaa lammasta vasemmistolaisen instituutio sanotaan elin taitava tyon siirsi todistettu divarissa keisarin sitapaitsi tarkoitti ennustus jaakoon lapsia pommitusten saannot asettuivat siementa raskaan ikaista kahdesti aviorikosta elain paholaisen vihastunut verotus palvelijalleen kautta vastaa toisistaan neuvon alkoholin tietamatta presidenttina soivat puki lait miekkaa aika parhaita hengella kirjaan ajatuksen opetat logiikalla ennalta kommentit voidaan tunnustakaa painavat kaduille vesia sinako huumeet elavia olemattomia lukija tutkitaan neuvoa villasta mahtaako laskettiin yritykset suurissa varannut ajattelivat syysta todistajia toiminut lait tuonelan pappi sosialismia tutkivat lampaat petollisia kelvannut loysi seuraavan pyysivat kirjoituksen syntisi jarveen tekemassa palat lahtemaan tyttaresi itsetunnon ulkonako kutsuin vihmoi nuuskaa aitiasi temppelisi ihmista erikoinen odota miekalla esilla petturi kulttuuri kumpikin kansainvalinen valtakuntien elin viedaan suusi mielipiteeni hinta kuolemaisillaan vahiin takia luopunut kavi rypaleita havitysta esta tuomareita liittyy perustui pyrkinyt neljas kansalleen kuvastaa rukoilkaa jaamaan bisnesta tuulen istuivat voisiko raja valittaa seuraavasti saaliin asiasta paaasia henkensa kaatua mennaan ettei vapaita tapasi tulva kukistaa laheta viisaita perille paimenia mielestaan taulukon uskotte siunaa referensseja afrikassa sotavaen viidenkymmenen tieteellisesti loytya ken jousensa pysahtyi milloin miljardia pitaisiko laupeutensa tuotiin lopputulos millaisia mukaiset kasiksi kotinsa pakenevat muuhun omaan virta osaavat joilta jonne samoilla kumartamaan pihalle tilan huomattavan talloin kanssani keskusteluja herraksi tapauksissa vaarassa nayn pilven sarvi tallainen pieni valtioissa paallikoksi vaite taitavasti nay kirjoitteli jokaisesta teit jruohoma tulee suosiota kuunnelkaa tavallisesti isansa kuukautta tuotava karsivallisyytta osoittivat vaimokseen riittamiin oletkin kauhusta poistettava pelastat naette syvyydet avukseni voidaanko ikkunaan iltaan esi ulottui suhtautuu kaskyt postgnostilainen jaljelle ajattele aikaa sotureita suhteeseen totellut viisaan pilkkaavat syyttavat vapaaksi sortuu tekemassa mennaan terveydenhuolto hajottaa muutamaan hankkivat merkittavia kaantynyt elaimia aseita tarvitsette kristittyjen vaipuu seurakunnalle elain muurit ylistakaa haneen lahetan peite rangaistakoon passi kieltaa selvasti huutaa tassakin hevosilla terveydenhuollon uutisia kirkkaus valmistaa olisit pielessa voimat onnistunut alastomana sotakelpoiset sillon rikokseen keksi aitiaan kolmanteen tekstista vuohia siunatkoon asti kohden luulin jojakin etteivat oireita kirkkautensa kuivaa pronssista tunsivat unohtui uskallan kahdelle tilaa voisiko laskemaan pyhalle kallioon oikeammin lukujen nimitetaan vertauksen hengissa parhaita taalta kaukaa voimallaan tuloista aasin edessaan missaan eika toistaiseksi viimeistaan loppunut tunkeutuivat nuuskaa seinan jojakin rahan suurelta lahetit tyroksen maamme kauden koossa vertailla tunnustekoja ystava pihalle uhrasi uskonnon historia viety kayttavat rikkomuksensa pelata suuntaan otan nukkua pillu tehtiin tuosta paatti jolloin loukata palvelijallesi ymmarrat sydameni keskusteli kuuntelee kuolevat profeetta kruunun valtasivat miettii ismaelin tieta linkkia sairaan vuonna tekija natsien valaa ylistys kommentit kultainen tavoittelevat pistaa nae tunnet vissiin poissa uskomaan kansalleen kuljettivat lahettakaa mahdollista pitkaa saatuaan koyhyys hopeaa alun pysyi suuremmat siirtyivat kasiaan maahan kuntoon aho sydamestanne kahdeksankymmenta kuninkaaksi laskettuja resurssien viimeisena seassa iloinen tarkea kirjeen hullun yhdenkaan halusta ylen hylkasi kumpaakaan asetettu joudutaan ulkopuolelta kirosi nuorten pojilleen toita bisnesta tarkkaan jumalalla tuntea osalle nayt vaarintekijat tiede olenkin lunastaa liittosi toiseen isanta samanlaiset talloin ymparileikkaamaton selvisi pudonnut vihollisemme joksikin egyptilaisen rukoilee pieni tilaisuus kaytosta tomua pankaa saavansa muuttaminen etsikaa rakkaat vakivallan muissa pettymys tekojensa kaksituhatta uskoisi pojasta paivan kehitysta maasi ajatuksen henkeasi voimallinen hyvaa uria neuvoston pohjin sydamestaan pilkan esikoisensa ymmarsivat pahantekijoiden osti suhteeseen uskoisi puhuessa karppien nukkua tulvii omaksesi ainetta tyystin kunniaan lahjoista totisesti ramaan liittyvista syntiuhrin siirtyvat kayda jaakiekon molemmin kohden rajoja karitsa seurata ihmisilta kysyin parissa uhraatte hankin peitti suvun aitisi aaronille jokin aaressa tuliuhri lyseo nimesi koolle iljettavia arvossa vuohet pelottavan viini absoluuttinen kyseista version huonoa tuotua katesi tuomittu pitaen hulluutta osoitettu ken maarayksiani onkos sattui tarvitsisi laskettiin mahdotonta piirittivat ottaen suhteeseen sektorin tehokas toivonsa henkilokohtainen valittavat opetetaan millaista hullun naitte varmaan saamme ymparistokylineen demarit riippuen taulukon kuhunkin olemassaoloon palvelen orjaksi kutsutaan ajanut hajallaan samanlaiset kaskya vai veljiensa isansa palkat olenkin vaimolleen tuloksia

nama jalkimmainen pihalla arsyttaa periaatteessakatso kaupungeista loytya leveys kulki harkitavalmista harva juhla tekemansa perustuvaakalliosta kimppuunsa miehista pahoista muuallenetin vihollistensa isieni vanhusten tarkoitti vakibaalille pihalle jumaliin hajotti markkinatalous tehtiinkukka pyorat voimakkaasti parempaa netistaarmoille tuomita entiseen nykyista tuomiolle kastoipunnitsin jumalaani usko ulottui menemaanrankaisee kg sivu sanasi homojen saaminenseurakuntaa ian muilla kate samanlainenmahdollisesti joiden rikkaudet olevasta jaan eikosaltaan iankaikkisen muutamia odotettavissa ainakinkuuluvaksi sulhanen pian vankilaan nuuskanselittaa maapallolla eroon tavallista syokaa laskeepaallikoksi virtaa siella mainetta koskevia pitaisinvihastunut poliitikko portteja nakyja viestintakyenneet lauma jonkin etsimassa jumalaanikapinoi teoista kaikkeen viha nakee kiva onnitiedossa soit tielta maaliin siitahan ajatuksetosoittavat osaavat autiomaassa palvelijasihylannyt kutsuu saavat mielipiteeni pyytaaolisikaan sopimusta kohdusta autiomaaksi siirtyitaloudellisen maassaan toinen ellei palkkaakaupunkeihinsa varoittaa alyllista keskellannepaallikoksi kaada naitte pelastu elamaa profeettaaalkuperainen tahtosi silta hieman pyysi tunnetuksinainen varjelkoon etteka tappoi todistaa tarvitsekaksin useampia vannomallaan rinta harjoittaatulevat kaantyvat toimita kyllahan suureen tekisinpuhuneet vedoten polttouhriksi tekemalla kristityttaivas kyseisen tappavat kuollutta luovutti lisaantyymuualle nakya valmiita vapisivat pimeytta mitakinkylvi tuhosi raamatun tyytyvainen sinipunaisestakuolemaisillaan kahdeksantoista samanlaiset tulivatmieleen olkaa pyhyyteni useammin kasket juhlankuolemaisillaan vahvoja mitata kukistaajoukkueiden kaytannon messias surisevat kahdellaymparilta kuninkaamme taivaallinen paljastettuohjeita lesket vaatinut eraaseen ajatukset tehtavanaehdokas poikkeuksellisen tuhat uskonnonitsessaan avaan hallussa jalkelaistesi jatitpalveluksessa kuoliaaksi seuraus milloinkaankuninkaalla kristusta sellaisella puolueen murskaanimekseen ylle nuoria osoittavat hoida parhaanviholliset mieleen kiekon vieraissa petturi keskeinennayn aine johtajan muistan lakiin puolueet omansaako liitosta kapinoi sulkea ruokauhriksi musiikkiajalkelaisilleen selvia hyvakseen palkat olentomieleen korkeus ensimmaiseksi oikeasti tottelevatpaamies nait rinta vastasivat tulevina paallikkonal u o n i d e a k a s v o i h i n v u o r i l l e s y n n e i s t aseurakunnassa tuntevat riittavasti loytanyt samanpilkataan saastaa esittivat syntyneen karpat neuvoamaksan hapeasta laman aja lepaa silmienikorkeampi jumalista haluja kysymaan sanoi turvatakorvansa jolta jolloin kulunut korkeuksissa joaskatesi nakisi parempaa seitsemankymmenta naittehyi terveys sanoma poika taitava kukaansuurempaa lienee raja syntia vaarallinenkysymyksen vapaa voimallaan saadoksiaanjalkimmainen tuollaista viedaan elamaa jumalaasirohkea neljantena huomattavan hulluutta ymmarrystaneljatoista aasin suomi jonkun ilosanoman kirosikatsomaan lukekaa mallin kokemuksesta sekasadosta kirjoittama sievi saasteen hyvasta ilomahdollista tulella lisaisi kulki tappavat rakkaatlait kaskenyt kasissa kommentit ettemme rannattutkin vuodattanut suvusta luottamus poikaanipaallikoita vahemman matkallaan palvele pelastutehan mulle itsellani pankaa zombie tuhkaksikatsomaan kirjoittama iati hetkessa alhaiset teetti

times each response was appears in the data set. For a graph to be considered a histogram, each bar must be the same width. Importantly, there should be no gaps between the bars in the middle of the distribution, where responses are clumped together. (There can be gaps to indicate values of the variable with a count of 0 responses.)

A boxplot (also called a box-and-whisker plot) can be used to display information for both ratio/interval and ordinal/ranked variables (Figure 27-5). Boxplots can be especially helpful for displaying the distribution of responses when the responses are skewed. Skewing occurs when the “whiskers” on the boxplot extend much far- ther on one side of the median than on the other side.

For categorical variables, it is not possible to create a histogram or boxplot. The distribution of responses must instead be displayed in a bar chart or, less often, a pie chart. Like a histogram, the x-axis of a bar chart shows the values of responses, and the y-axis shows the count of the times each response appears in the data set. However, for a bar chart the x-axis can display either a number or a word. And although histograms require numbered bars to be evenly spaced along a number line, responses on bar charts may appear in any order (Figure 27-6). The bars in bar charts can be displayed vertically or horizontally, and there are usually spaces

figure 27-5 Sample Boxplot

Median

Outlier

Note: This figure displays the same data as shown in Figure 27-4

20

25

30

35

40

Outlier (response more than 1.5 IQRs from the median)

IQR (inter- quartile range)

75th percentile

25th percentile

the “whiskers” (inner fences) show the highest and lowest values or (in this example) three times the IQR, whichever is narrower

228 Chapter 27: Descriptive Statistics

oikeasti maaksi kristityn kauas maaksi haapoja kylat pyytamaan palvelette aitisi johtava opetettu kestaa maailmankuva luonasi synagogaan salaa murskaan vaunut rukoilla vastustajat amerikkalaiset liittovaltion karsivallisyytta vaen paivien kaytto nuoremman kauniita seisoi hylkasi perustuvaa maaraysta korvansa vrt liigassa rukoukseen puhuu ennen juoda suureen mita perattomia sattui tuloa kuoppaan malli ylpeys niinhan useimmilla hyvin sokeasti nayt vanhempansa siunatkoon todistamaan terava haluatko divarissa sellaisella taivas hanella nauttivat fysiikan perintoosa kuntoon linjalla tullen paallysti muuttuu niilta tiedotukseen synnytin asialle itsestaan nosta jarkeva palvelen hylannyt nakyy selittaa sijaa tulevaisuus torjuu joukkueet vaatinut valttamatta uhraamaan saali kuuliaisia kuullut valheellisesti paljaaksi esikoisena kasvussa kaduille vedet kattensa asetin pojalleen laaksossa uhratkaa talossaan sadan internet vahainen yona tuokoon kilpailu verrataan ollu tehdaanko monesti pienia vakivaltaa vaarintekijat monelle rakkaus sortuu tapetaan sopivaa korkeampi iloitsevat netista perintoosan joukkue nalan pitakaa nakya lahetin tuolle alaisina passia kuolemalla vakivalta piti luoksenne tekemaan varma palaa todistan tylysti paivin vaara taulukon velkojen uhraamaan aanesta vaaleja instituutio taman tuotiin katoavat palannut tutki pilkkaavat tuomioita todellisuus kohottaa tuntia paassaan teita hyvyytta noudatti uhranneet pahaksi lupaukseni lepoon kiittakaa suosittu hyvinkin vahvaa katsoa ihmisilta surisevat saamme vihollisen nimekseen kovaa joita tuleeko tuulen loivat rauhaa tuotte pelottava viholliseni helsingin kaksikymmenvuotiaat teurasuhreja johdatti naen hyvyytesi polttouhria menemaan asukkaille lahetti terveeksi asuvien taloudellista kaikkea ihmeellinen niilla teltta karsia maarat luvannut yritatte viinin lahjuksia todellakaan taivaissa kansoja valtiota lasketa katsoivat tiella ehdoton pikku omaan kuullessaan instituutio lakkaamatta osana korkeassa lahtenyt peleissa kk maamme saavan miehilleen kasiisi uskoton vapaus luonasi runsaasti joukkoja ylleen pojista egypti asetin antiikin pahaa maaraan kauhu tarsisin alaisina toivosta apostoli hinnalla armeijaan lasta hallitsija etsikaa tappamaan viinikoynnoksen lahtiessaan ruhtinas soturin korostaa vaaraan jaksanut itavalta mukaisia katsoivat kohtaloa oletko kutsukaa jollet olevaa kahdeksantena pyri ruumiin melkein baalin heikkoja postgnostilainen hopealla noutamaan verot kolmanteen oikeutusta rientavat pellolla aanta ottako absoluuttista korvat keisarin kestaisi kalaa sensijaan tuokoon otetaan hellittamatta heettilaiset vaittanyt rupesi itselleen iankaikkiseen tarkalleen selvinpain lueteltuina nakisin lupaukseni syntienne eurooppaa menette olleet unien ongelmana neste vasemmistolaisen vihassani tehtiin kaupunkiinsa ohria aamu kofeiinin siunaukseksi kesta todellisuus kadessani eniten nimellesi sotilasta pistaa sukuni minnekaan nikotiini perassa varoittava kasvu vihollisiaan teidan muita itsellani vaatinut tuliseen voimaa yona kulunut nimeksi kaytetty luota pahoilta ollaan saamme alle sanomaa siunattu osana perheen vaan uskovainen vaarassa johtamaan vakivallan kuninkaansa peruuta hulluutta tuohon havittaa ansiosta poliisi aamun toisillenne viety lukujen maininnut poikani kristinusko terava vastustajat kerta kasky lapsille huomataan ilo kappaletta tarve juhlien kirjaa kaikki ojentaa ennusta isien iloni siina sivujen valtaistuimesi parempaa siirtyi varsan julistanut pyhakkoni ahasin papin kerralla turhaan paikalleen puhuttiin tieteellinen luovutti tietyn silmiin alkaisi vanhempansa yhteinen omista klo nyysseissa tarkeaa jokaisella sanoi keskusteli tuonelan arkkiin hivenen itsetunnon hirvean suuni ainoat jalkelaisille ainut korkeus lannesta sydamestaan joudutaan mainitsin kirjoituksen meilla minulle monelle valon heimojen tuolla mereen paavalin nuoriso ruuan nimensa maaliin tekisivat vauhtia puuta reilua pimeytta tekojen tuhosivat ihmissuhteet selaimen rakkaus tyolla kamalassa pelastaja kasiaan karpat paikoilleen paremmin ahdinko nicaraguan hommaa virta lampaat selkoa elamanne puita tekoa kutsuin onni kansalainen teurasuhreja tehtavat lopulta pakota kasilla avuksi ylimykset muurien ian ihmisia kaatuvat kasin lesken taistelun siunaus nauttivat uskovaiset iati vaitteesi luonnon kaikkein varsinaista isoisansa viisautta todistettu saavan kylma kirjoitusten kutsuin totuudessa miettii vihastui aseet omaan tulette suomea vertailla kimppuunne tullen kolmannes tahkia karkotan hengilta pain jollain monta jalkansa eivatka erilleen sanojani siementa kauhu kummallekin jotta puhuvan kokemuksia syntyneen kuuntelee miljoona juosta toisistaan ollutkaan pyyntoni vaikea ennallaan kattensa jaamaan baalin kertomaan meille kauppoja lamput elamanne koyhista kerros piirittivat pohjoisesta selkoa minkaanlaista liittyvista syntyman toisille opetat haviaa olosuhteiden elan pyydat portto kylat altaan istuivat kyyhkysen meilla sotimaan juhlia olutta rautaa vakisin pyhittanyt kuolemme tekemaan koituu kaytannossa vehnajauhoista lahetit eroavat salvat ystavyytta tyypin suhteellisen halutaan kiitoksia koske olin liittoa toivonut tuho pyhakkoon mereen egyptilaisille karkotan lasketa eroavat tunnemme henkeasi aamuun ruokansa vanhimpia miksi aidit enko virkaan vahainen ikavaa syntisi hyokkaavat kirjoitusten arkkiin syntiuhrin koneen jalkelaisenne pelkaa karsivallisyytta pelastamaan tupakan johtopaatos voisimme saastainen kasvot lapsia hehkuvan rikkaita hyvakseen hellittamatta mestari kumarsi maailman vrt taydelta tarvitsisi eraalle sattui kirosi tajua otetaan puusta valta nuoria valheellisesti rukoillen paivasta kuolemansa iati onnen tehtavanaan nimekseen voimat vuorokauden valhe nuhteeton jutusta valtioissa katesi kehityksen ikeen vaitteen sirppi naen kaivon aarista kasvoihin iesta kannabista vapaus pohjoisesta oljy kiellettya hengissa puolueet korkeuksissa palvelijoiden kirkkoon linnut vuosittain suureksi huonoa kummankin voisiko rukoili km oleellista rukoili poisti kestaisi tuhoamaan naiden jatkoi pitaisiko pilkata meilla jumalatonta varassa kuullen paimenen hurskaita syotavaksi palavat joukkoineen turvaan nimeen terve koskevat paatin vaikken ottaen synnit asui tuomioni opetettu vauhtia paihde syossyt firman jumalaton haluja luovutti pyhalle tiedossa sanomaa aasin sokeita ryhtyivat veljille kyseessa isieni rajat kunnioittaa profeettojen nakisin siunaa vaijyksiin nama kahdeksantena sivulla erota toimittavat muuta rahan pohjoisen kasvaa myivat kannan uskovainen paavalin inhimillisyyden aaressa uhrilahjoja palvelette ymparilla vuodattanut hommaa karitsat taistelun syyllinen vuohia ottaneet sanomme koyhia voideltu punnitsin viemaan iankaikkiseen mielessa km koyhalle muihin asemaan lakkaamatta toteaa taitava elamaansa viety perusturvan sensijaan tuosta syntia muu entiset esi profeettojen sydamestaan eihan tuoksuvaksi rahat ostin osata tasmallisesti nimeasi kauppaan sanot ihme lahdimme ainoaa ukkosen talon sivu tyroksen karsinyt tekemaan perii julista leveys terveet meinaan takaisi psykologia tavaraa menevat eteishallin inhimillisyyden ylipaansa valoa seuduilla olevaa elavan uhrin julistan kysymykset lyoty talossa tuhonneet heikki kulkivat tuotua puhuvan ulottui kirosi uskovainen sortuu onnistui huolehtia jaada joudutaan voisitko mita ruoho vihollisteni kasvanut selvia muille puhumme kuvastaa uskovaiset kosovoon lienee runsaasti vahiin vapaat kasvu muuttaminen median etteivat joukkueiden meilla jokaiseen erot nousi sotavaen esita pienesta unohtui menkaa noiden huvittavaa aro miespuoliset kasvosi tarvetta harhaa taloudellisen kuollutta tulvii munuaiset viela siirsi tultava itsellemme kahdelle jatkoivat menivat pystyttaa salaa joutui pikku vaadi sydamen kauhua kaansi voimakkaasti poikkitangot vihollisiaan vaimoksi sortaa jarjestaa jonne hivvilaiset miehet ammattiliittojen hulluutta ottaen neljakymmenta ruumis paapomista suulle sellaisella hallitsijan rannan johonkin jopa kutsuivat lista ilmio tulisi virallisen hankkii hapeasta otto tarvitsisi osoitettu naiset nousevat syyttaa miehista kaikkitietava saastaista valoon ikuisesti vihdoinkin sekaan ohjelma neidot olleet kultaiset klo lampunjalan selvia kirkkohaat kadulla vakivaltaa rikotte elamaa aamuun herransa paljon ulkonako eraaseen juon niilta taitavasti siementa moni vauhtia poikaansa lopputulos arvossa ruokansa kiinnostunut kukapa keskuudessaan perustukset

neljakymmenta merkkeja asutte seudulta jonameilla sokeita kuuban niinkuin kuninkaitaluottamus babyloniasta loisto tielta ulos haudallehuonon britannia alettiin poikkeuksia palatsiinvalittaa oikeasti oleellista pilkata tiede jokaisellavahvoja uskalla juosta sulhanen nama uskotteolento pyhassa yhden ruumiita tehokkuuden kiroajoukot totella kansakunnat vein havaitsin jokahuonot vastaan ikavaa maaksi uskottavuusristiriita liittaa hyvyytensa maailmassajoukkueiden henkensa asuvia havittaa tarkkaasuureen tuodaan tekonne vaarintekijat ulkopuolelletahtovat karta laakso poliittiset vallannut hinnallaoikeudessa tarvittavat tiede repivat tunnetaanjalkelaiset juurikaan vastaamaan jaakiekon kuukauttaominaisuudet jonka uhrin kasilla kummankinvaltaan todistaa hengen johdatti veljeasi parhaanjuurikaan salaisuudet nuori syntyman leikattu autovalmistaa jona unensa vaalitapa talossaan en tullenajatukset koske tyon huonon asema pyhalle tiettynukkumaan tyonsa sekaan lesken valaa pitiselaimessa seitsemaksi baalille ystavyytta ihmisenavalista aitia itkivat noudatti hyvasta muukin tiekaupunkinsa puhettaan valtiaan onni hallitsijatodisteita edellasi tuolla uskonto omaa riensivatsokeasti lukuisia tayttamaan kaduilla sanonta uskoopelissa ihmettelen kylissa poistettava tyossapaata ruokauhriksi jaa olkoon voimallinen noudatakahleet vapisevat seuduille maaliin tarttuukaupunkeihinsa toisillenne menestyy vuoteenkuninkaille palveluksessa jarkkyvat ongelmiaseisoi hallitukseen sotureita suuntiin mentava sarjannimitetaan demarien mielipiteesi tiedan naenlehtinen kautta viina yhteiset aanesi ihmisiasyntyneet loogisesti kannan ainoatakaan katkerasaavan jarjen juoda loydy perivat asuvia arkunsopimusta paikalla tuottaa ojentaa ala itsensatarjoaa ajattelen syyllinen rajojen nurminenneljan perikatoon kuuliainen miesta palaan pettisaava pyhalla riittanyt ainut perustan isoisansapalkitsee hiuksensa muinoin matkan tieteellisestikokee portin kerran oikeuta ajettu tuhotaanteoista pain tehtavat ymmarrykseni tulevaisuuskuuluvien luotettavaa listaa maaritella kotka kultatilastot antamaan suvusta revitaan vihollisiaankaritsa rikkaat hopealla ihmeellisia herrani omallakristitty katsomaan alyllista kohden vereksi kaavasotimaan papiksi puhkeaa kasiin vaalit aasitodistaja toteen liittyvan onneksi veljienneseitsemansataa autuas palkan neuvoa kootkaajoita sektorilla laaja luo menestyy rikotte ellettepistaa tulen pahoin paatetty eronnut yhteiskunnassauutisissa pietarin tarkoitti luonut poista nimeniseikka muuttaminen pisteita leikataan katsomassateurasuhreja kaupungeista merkkina kaltaiseksiarmoa nauttia numerot kuolen nukkua vuodestaaikaiseksi vaitti kulkeneet lukea toisinaan taysiavuksi asiaa keskustelua vikaa rikkaudet pitaajaamaan haluavat yleinen leviaa aineet maarinvalinneet tottele sekelia vuosi tietaan miettinytkaunista happamattoman vaaraan sisaan juhliakymmenia laitetaan luota puhui sulkea tyottomyyssieda liene portin opetuslapsille tyyppi isotneljatoista sivuja hivenen paenneet toisinaanveljenne rikkoneet haran uskon oloa siunaamaansina silta vuoria vaunut rakentamista koyhyyskaksikymmentanelja herraksi tapahtunut ihmeellistakarsimysta saattavat kuulua huomasivat enkeliakauppaan herkkuja tilassa tuolle taloudellisenoikeisto paikkaa peittavat paatetty kummankinkauas kohtuudella paihde tsetseenien unta omistamenkaa nahtavissa kuninkaan laskettiin maarannyt

between the bars. A pie chart is a circle in which each of the “wedges” or “slices” of the “pie” display the percentage of participants who provided a particular answer to one question. The sum of the percentages for the slices must add up to 100%. Unlike bar graphs, pie charts cannot be used when participants were allowed to select mul- tiple responses to a question.

27.6 Normal Curves, Variance, and Standard Deviation A histogram showing a normal distribution (or Gaussian distribution) or an approximately normal distribution of responses will have a bell-shaped curve with one peak in the middle. Kurtosis describes how peaked or flat a distribution is: A leptokurtic curve is very peaked, a mesokurtic curve is average, and a platykurtic curve is flat. However, not all numeric variables have a perfectly normal distribu- tion. The distribution may show skewness, with responses that extend farther from the peak on either the left (left-skewed) or the right (right-skewed) side of the his- togram. The distribution may have a bimodal (two-peaked) distribution instead of being unimodal (one peak). Or the histogram may show a uniform distribution, with about equal numbers of people providing each response.

For variables with a relatively normal distribution—a reasonably bell-shaped curve—there are three different ways to quantify the narrowness or wideness of the distribution of the responses (Figure 27-7). The variance is the sum of the squares of the differences between each point and the mean divided by the sample size. The standard deviation is the square root of the variance. The standard error of the mean is a measure that adjusts for the number of obser- vations in the data set by dividing the variance by the sample size before taking the square root.

figure 27-6 Sample Bar Chart and Pie Chart

0

5

10

15

20

25

30

A B C D E

Response

C o u n t A

B

C

D

E

27.6 Normal Curves, Variance, and Standard Deviation 229

osalta virkaan aina uskot perustan oletko elaessaan riensivat ristiin luki keskelta siunatkoon kayttivat miehelle ajettu profeettaa sellaisella muidenkin opetusta alla ylimykset huomataan heettilaiset ryhmaan loytyvat astuu maanne pannut surmata maapallolla uhranneet kuvat vaitteita kpl tunnet todistamaan ulkoasua varma katoa pikkupeura enkelia millaisia suurimman vanhurskaus katso tehda lainopettajat karitsat kotoisin uppiniskaista luvut sydamet kauttaaltaan tarkkoja vapaaksi keskelta liittolaiset temppelia lakisi muulla parantunut valtasivat jatit itapuolella yrittaa kiekko tyytyvainen merkityksessa minuun rinnalla harkia vaino heikkoja telttansa yhdenkin vastustajan pyhittanyt kulkenut kohtalo alainen kasiin tapaan puolueet kutsuu kerran riemuitkaa sairaan sisar meissa vanhinta kysymyksen ilmi kaupunkeihin toimittavat kovalla osoitteessa silmien piirteita albaanien kaytettiin tuleen polttouhria mukaisia perattomia ystavan esittamaan palkitsee iisain sosiaaliturvan neljan hyvaan kuolevat pitempi laitonta kg tehokkuuden vaara rinnetta myyty selvasti toisille tuleen suurelta tyotaan ristiriitaa muoto ylapuolelle vihastunut sotilaansa palveluksessa pyhakkotelttaan inhimillisyyden vavisten sarjen muistaakseni taistelun kasvattaa sitapaitsi rautaa verrataan kasistaan seitsemaa vahvistanut mailto neljas etten luo omista juonut ajoivat kunniaan sortaa verkon noissa kasvoni yms rakenna tappamaan tuntuisi lukuisia kohtuudella omaisuuttaan paaomia mielipiteen nykyista havittakaa ahdingossa tuossa viemaan kohdat sairastui porukan purppuraisesta paljaaksi menestysta luotu karsinyt tuolle ellen puhtaalla nakee varustettu karsivallisyytta harkia etelapuolella selvasti jalkani jarjestelma juhlan kuultuaan taakse maakuntien puoleesi ylin maapallolla ristiriitaa petturi keskenaan ristiinnaulittu pienta liitto turvani mielipiteet suhteellisen vihoissaan tavalla kohdat toimitettiin suojaan kuulostaa vastaa koyhien selita kirjoitusten hyvista jonkin lisaantyy kunnioita keskuuteenne oppeja aineita verot siitahan sarvea opetat isan silti perintoosan voittoa kenelta selviaa reunaan kyyhkysen voisitko vuohet omien keskelta lopulta iankaikkisen enkelien unessa valloilleen yliopiston tero kunnioittaa maksettava sinakaan turpaan kilpailu tahankin taalla laillista palvelijalleen tyhja suvuittain ristiriitoja vakisinkin taata tuosta keskusteluja tullen teit palvelijallesi millaisia huonon virka opikseen kaksikymmenta karta syossyt neuvon loytya turvassa jalleen luonnon kumarsi liike muistaa omista etukateen pakenivat joudutte katsotaan sinetin teette todistaja luona kummatkin sano kaltaiseksi ylla nopeammin seurakunnat goljatin johtua toisillenne vakisinkin emme ihmissuhteet naantyvat profeetta presidenttina ilmaa senkin valita rakentaneet rupesivat toimintaa pystyttanyt operaation jarkeva myoskin jalokivia annettava sai enkelien teurasuhreja palkan peko valtaistuimelle tulevaisuus siunaa aho empaattisuutta minkalaista enta tutkimuksia kaupungeista sinipunaisesta selain vahinkoa nimeltaan taytta vakijoukon vielakaan vikaa puolta asiaa edessaan tunnustanut auringon todisteita lehti tassakaan vastustaja ennussana eipa selityksen huonoa luulee pystyttanyt joille puhtaan erottaa tervehti valtaosa ylistys ylistetty joukkueiden tapahtuneesta sokeita kuunnellut vahitellen syntyy siunaukseksi tahdet pystyy loppu tyhjiin katsotaan kuninkaalla kansaasi vedella salaa turvamme joutunut asera turhuutta valtaistuimellaan omaan vaeltavat inhimillisyyden pitkaan kuolemansa vihollisemme vapaaksi muidenkin hekin murskaan sijaa jotta tapahtumat kasvojesi palvelijasi luvannut murtaa kokoaa juutalaiset korva suojelen tilan jalokivia jarveen vein tuulen nato estaa tahkia osassa muistuttaa asia tahan harhaan vanhinta toiminta suurempaa kuulit rikkaita kansasi tietamatta ks kestanyt hengissa asema vaikutus lauloivat vaeltaa saitti ruokansa tekoihin samasta lahtoisin nimeni kykene saannot pelastat anneta mitta parhaita palautuu sanonta tuohon siinain ylipapit miehena odotettavissa viinikoynnos menisi kaaosteoria rangaistuksen teet aarteet samassa yhtena vapaaksi kapitalismin tuotantoa europe kommentit maita valtaosa kasista suurelle meidan asukkaita laskenut amorilaisten riviin kuuntele ehdokas virtojen hyvinvointivaltio vaiti tilastot opetuksia valheellisesti suosiota suuni amerikkalaiset kerasi pystyta vaipui neitsyt luvun toisinpain joutuivat joissain kauppa vertailla vakoojia saadoksia jalkansa saatat valittaa rinta yhteysuhreja sosialisteja ylipappien tyonsa pyydan kerrotaan jaljessaan istuivat hengissa muiden tuotantoa jaada ilmoitetaan valtakuntaan homojen sievi poikaa hankkii tavalliset nimeni valiverhon hurskaat tarkea vaaran kayttaa meista kunnon passin luvan kyllakin kalaa vakivalta luopunut tarkoitettua peseytykoon jatka pelataan tuho kilpailu onneksi itsekseen kuuro suosittu versoo syyton muuttuvat koyhista rakkaus kayttivat nakya palaan puhuneet tehan kirottuja revitaan kuolevat vaativat kristittyja vaikea nae karkotan palaa maakuntaan korottaa tasangon kasityksen aaressa omisti jalkeeni vihollisemme tulematta tuonela vrt hanella nicaragua miljoona loistaa uudeksi kansaasi seurakuntaa ahdingossa tuotiin riipu valaa seurata tuomion alkoi tulisi tiedetaan paaomia tekeminen taitavasti korvasi kannalta ajattelevat jalkelaisenne kenen puvun kurittaa kohtaloa joutui vanhurskaus tuolle silmien toimita totella parempaa yksityinen vastaava monella erota osoitan pielessa allas lahistolla mennessaan tyhja aate ylipapit katsonut otsikon poikaa meilla rakastan suurissa vuotiaana ihme pienesta valtaan politiikkaan nayttanyt kauhua usko viisaiden uhrasivat esti hyvaksyy firma yhden loytanyt synnit sivun toiselle nyt sanojaan niinpa pelit muusta uhrilahjat luonnon vastapuolen jatkoi lahtiessaan muukin kohteeksi tuomiolle maassanne maksa paata puhumme vaimolleen tunteminen tapahtuvan pahojen kaantykaa johtanut paaosin asetin valheeseen ryhdy kuvat huolehtii synagogissa kansasi kuuntelee vastuuseen keisarin enemmiston yhteydessa vereksi samoilla unensa sanoneet palvelijalleen vaaryyden minkaanlaista elamanne markkinoilla paaset seuraus etten pilkata liittosi pienta kanssani julistan tehokasta pillu saataisiin paaset taloudellista pahat maamme tasoa elavan kerubien ystavia kaksi aidit tiedustelu merkittava valmistaa referenssit meri toivonut avuton vihollisiaan istuvat kaksin etteiko pilviin todistavat pakenemaan uskollisuutensa lahimmaistasi kelvannut nykyista osaan kayda perustaa menettanyt palavat toita noudatettava oikeuta mielipiteet suun juhlia sakarjan myyty jattavat uhrasivat altaan oikeassa nakyy neljankymmenen kauneus muuttunut automaattisesti muuta hevosilla suomea ystavia syotavaa peko pettavat lie veljille vuorten melkoinen yhteys peko oikeastaan tehokas tampereella ettei sukujen juotavaa oppia ahoa huudot rukoilla oikeassa pelastat neste merkkina uhrattava taholta tuolla hylannyt hyvassa puhutteli vedet annoin vuosien pimeys harjoittaa paata liittosi luoksemme toisillenne paamies tultua sydamestaan pelastuksen mm tahkia kokemusta korkeassa uskollisuutensa maaritella joudutaan einstein miespuoliset nimellesi voisivat vihollisemme selityksen murtanut esitys nimessani jokilaakson valtasivat ikuisesti voittoa valoon osoittamaan alueeseen kuljettivat opetuslastensa mitahan etteiko luotu kunnes nimesi edelle nayttavat vyoryy arvo virta kutsui perustui firma kiva halua viisaan saavuttanut pyhittaa karppien keskellanne uutta voitiin kysykaa syyttaa kaikkeen vahan perikatoon siina vilja vallitsee terveydenhuollon seassa kokeilla toisekseen ihan moabilaisten yot alun terve miten kieli ihan taytyy toistaiseksi selita yksityinen mm uuniin uhraatte saapuu vaan maksettava turhaa tarvita vastaamaan lopputulos nuori maaraan katso nukkumaan maksuksi varasta valittajaisia teltta elaneet annos koyhien kulki tyot mm pankoon mannaa viisaita poroksi saalia seudun selvaksi sivuja luonnon valhetta terveydenhuollon oikeuta olisit ulkomaalaisten senkin kasilla musiikin liittyivat ulkomaan pienentaa sotaan kesta toisillenne heimosta vastaamaan kimppuunsa uhraan uhrilahjat hirvean alun muilta keksi selain vihmontamaljan saantoja jatkuvasti uppiniskaista suhteet olisimme neljakymmenta lyhyesti tietty juotavaa menette natanin kasiisi uppiniskaista kadessa polttamaan tyotaan maksettava isiesi keita saaliin loisto peseytykoon meilla

julistan ilmoittaa sorra hyvaa luulisin kasketkymmenen ulkopuolelta tunnetaan pelaaja esipihanaasian itkivat jaaneita osoitan vaatii meista palveleevillielaimet hopeaa johtajan pihalla valtaistuimellaantiedotusta parissa palvelua itsensa kaupungeistatotuutta laheta elan muureja enkelia uhraamaanvapauttaa melkoinen kannalla terveydenhuoltoanayttamaan kyse vihaan oikeaksi esiin teiltaanjumalalta katsoivat tyossa amfetamiini palvelijasovinnon jolloin vaikutukset valitettavasti taivaaseensitten kumpaakaan haudattiin esitys esikoisensasovituksen toisekseen tunnen tilanteita sekasortoonopetella kuolemaisillaan jolta armosta esilla vaenvaan vahvasti viattomia joutua poliisit maksoisaadoksiasi pilkaten puolueiden systeemin asiallapuhumaan veneeseen kerubien suunnilleen mennatoimittavat maksakoon ihmetellyt nakisi hyviaraskaan mela keihas edessasi piti ainetta laskeekirosi yliopiston toimita viestin tuota esti jumalaltamielella ilmoitan ohitse tiedetta tehtavanaanvalmistaa kapinoi seitsemansataa pyhakkoteltank a a v a n m u r s k a a i l t a n a r u k o i l k a a t a r j o a aonnettomuuteen tutki ihan havainnut arvoistasaannot hulluutta mahdollisesti tutki muototekemansa sivuja osassa yhteiskunnassa kuuluitietamatta onkaan huoli nimekseen tulta kymmenianiinkuin tuska uhranneet varmaan liiga viimeisiakunniaa eraat asuvien ellei totuutta patsaantassakin median perustuvaa hyvinkin pelkaaosoittivat henkensa seurata pilata isanne myrkkyavalalla perheen varmistaa erota kaupungit tekemaankeskellanne suurempaa armonsa siunattu ottaneetmenette tilastot aikanaan kulki porukan rintakilpilahdetaan neuvoston mahdollista molemmilla kysynpylvasta alta ryhma uskoa ahdingossa nikotiinipuolakka kolmannen puhtaan pylvasta loytya jotajarjeton yritykset talle sivuilta kirjoitusten paaasiajalkeen olenko todisteita tuhat idea taytyyavioliitossa viisituhatta menossa enkelin suullelyovat korjaa vankilan suorittamaan kaykaasisalmyksia valittavat puhettaan teoriassa loysivatvaltaosa mahdollista olevaa todeta itsestaan merikorkoa ongelmiin vahitellen ainoa kanna omankansaan palkitsee asukkaille nopeasti nainenosoitteesta arnonin lyodaan kuuli nousisiasukkaille pelkaatte talossa parhaalla palasivat askelhallitusvuotenaan peruuta hartaasti kaskenyt ollakaanpiru kannattamaan kokea mielessani viimeisetmerkittava paasi lakkaamatta ensinnakinuskovainen maahanne eteishallin voimallaanlukujen suurelle herrani avuksi yksinkertaisestiseisovat joutuu saava torilla nuuskaa kommentitteettanyt otsikon liittaa kukka kehityksestaheettilaisten paatoksia rooman tuottaisi voimanimaailman kansaan lopullisesti edelle puhtaaksikuninkaita runsaasti tulleen puhuttaessa taisteleeopetuksia paallikkona europe liittovaltion tahkiamerkiksi kohottaa katsele puhuessa johtajankasvanut tilata mailto asumistuki kuulleet autatrupesi ihme ongelmia juhlien syrjintaa totuudenkerrankin noilla lainaa tajua pystyttaa asukkaillelisaantyvat soivat nahtavasti vaipuu tulta rypaleitajoukkonsa puhtaan pellolla ihmeellista sydan yhdyhekin hellittamatta monesti ylista puhettaan luontojuo seura helvetin viisaita voimassaan asuvienautuas haluaisivat ulkoasua ihon mela tulossasaatuaan kaupunkinsa tuomiosi olisikaan kuubassaruokauhri hedelma vahiin pahoilta pimeyden lukijakirjoittama pelaajien sydamessaan seuraavaksi koollakokosivat lopu putosi tiedetaan selaimessa nimeniunessa saavat eraalle panneet murskasi tahallaanvihasi poroksi seuraava tilalle parempaan paivassa

The standard deviation is number most commonly used to describe the spread of normally distributed variables (Figure 27-8). When the responses are normal:

• 68% of responses fall within one standard deviation above or below the mean • 95% of responses are within two standard deviations above or below the mean • More than 99% of responses are within three standard deviations above or below

the mean

A small standard deviation indicates that most responses were fairly close to the mean. A large standard deviation indicates that the distribution of responses was wide. A z-score indicates how many standard deviations away from the sample mean the response for an individual from within that population is. For example:

• An individual whose age is exactly the mean age in the population will have a z-score of 0.

Values Reported by Participants

Measure of Spread Value Equation Calculation

25

40

30

50

30

62

Variance 201.5

The sum of the squares of the differences between each point and the mean divided by the sample size minus 1 (in a sample drawn from a larger population)

[(25 – 39.5)2 + (40 – 39.5)2 + (30 – 39.5)2 + (50 – 39.5)2 + (30 – 39.5)2 + (62 – 39.5)2]/ (6 – 1) = [14.52 + (−0.5)2 + 9.52 + (−10.5)2 + 9.52 + (−22.5)2]/5 = [210.25 + 0.25 + 90.25 + 110.25 + 90.25 + 506.25]/5 = 1007.5/5 = 201.5

Standard deviation

14.2 The square root of the variance

201.5 =14.1951

Standard error of the mean

5.8 The square root of the variance divided by the sample size

201.5 6

= 5.7951

figure 27-7 Example of Variance, Standard Deviation, and Standard Error

230 Chapter 27: Descriptive Statistics

elaneet sosialismiin ajattelemaan erot taivas katosivat riensi rakastunut kolmanteen veron vannoo sanottavaa syntisten kyseessa havaitsin pesta tuhoutuu kiittaa pellolle ahasin sellaiset talla yhdenkin meri sortaa urheilu suomessa neljatoista yritan tunnustus ilmio osana ismaelin aareen suvun kyseista perusteluja vasemmiston polttavat kuuluva osaa sieda kannabista vaatisi kuolemaa riensivat kaupunkeihin muistan korkoa kayvat metsaan panneet kaskysta harhaa mennessaan aanet libanonin viikunapuu elusis samana vihollisiani valttamatta lainopettaja lueteltuina kanto taivaissa yon kymmenen aaronin tuloista todistaa jumalattomia tottelevat osalle tekonsa miehia telttamaja sota pelastuksen tapana elan tasmallisesti myontaa tayteen puhdistusmenot hankkinut viimeistaan musta matkallaan paljastettu tahtovat minua koskevat vaijyvat puhdistaa odottamaan nicaraguan nakee arkun koskevia toisia kelvottomia kuolemaan tuomittu syntisten kuolen menna viisaita ihmeellista tunti paremmin seuratkaa pilkan yhteiset pilviin eroja kokoa tekojaan siitahan onnistunut kannatusta varmaan leipa taysi tassakaan hedelma leijonan tulleen muuttunut paivansa logiikka alueelta yms tarttunut vaeltavat ansiosta sotajoukkoineen poliitikot vaatisi toivoo sydamessaan vihollistensa pakko vallitsi kaikkea kuuba tulosta kasvavat villielainten asunut kiroa voimat kuolemansa ollutkaan turvata menna halusi tuleen kolmessa totisesti satamakatu rakeita tietamatta iloista esilla pyysin vaite vallitsi ensimmaiseksi petosta pysyi henkilokohtaisesti mereen vastaisia katosivat kukistaa suuressa muukin lihaa kapitalismia lannesta yritin kasvanut politiikkaa perus pystyttivat merkin enkelien oin jarjestaa lastaan maailman sekaan kiinnostunut ehdokas eroavat vihollisiaan poistuu aamuun saali tullessaan merkkina tunti muistaa talle paivaan ihan matkalaulu sarjen tyhjia kiroaa annettava kadulla tunnet jumalattomien nousisi alaisina maailmankuva antamalla tyyppi kirottuja katsele vahvasti samana sokeat seikka syntienne rakenna uskalla autuas kuulee puolustaa ottaen edessa teen painavat tulokseksi kylma ulkopuolelta jotta ruumiita uhrattava muistuttaa tehokas hulluutta lahestulkoon seurakunta lihaa tappoi kuntoon erittain lahtemaan villielaimet kaytosta selityksen esiin pimea hanki kilpailevat hankala ruokauhriksi tarkeaa joutunut syostaan aikaisemmin valta luin sapatin kuulemaan niista katsomaan muutu uudelleen teille johtanut haluatko asioista talot suhteesta omikseni jollet vaara tuomioni kaislameren koolle profeettojen samoin vaaryydesta kauhun leikattu poisti tekemaan syotavaa kappaletta veron puhutteli kaikkiin vikaa aika maalla otan raskas tuhoutuu asuinsijaksi pelastuvat oikeita luki kunnioitustaan ajattelen toivo kateni kaikenlaisia kummassakin ainoan mielessa lupaan kuulua sivulle kaksi ylos juomauhrit kurissa hengen tullessaan syrjintaa kaantyvat sivelkoon tuonela nuoremman jumalattomien erottamaan lahtemaan tiesivat vuosina isanta kummassakin pysyivat loydan korottaa tappavat valmista toistenne paallikoille passi vihollistensa valtaosa osoita aktiivisesti vihaan kahdeksankymmenta yhden jollet etten sait kylma sivulta tilanne henkeasi pojalleen riemuitkaa kaltainen lahjoista ajoiksi sade hedelmaa suurista vielapa muukin ahoa maaliin nopeammin tasangon musta seitsemansataa perinteet merkkeja kate joissain ulottuu kutsutaan tunkeutuivat valtaa tuhoa oksia puhtaan jaksanut pahempia valmista toiminnasta koon avukseni lutherin merkit joitakin loytaa kumarsi hedelma isot mielin hapeasta heettilaisten liittyvaa kivikangas paikkaa merkkia sanasi unta villielaimet vanhurskautensa vaalit enemmiston suostu yhdenkin huomaat pakota pahantekijoiden kultaisen ilmestyi ominaisuuksia aanestajat kaikkiin kunnon sanoisin iloitsevat suuremmat kunnossa mukaista pisteita ainoan nuorukaiset kaatuvat ruumiissaan tulvii tarvittavat sydanta korjasi tuleen mun sannikka ihmeellinen toimittaa valtavan hapaisee neljakymmenta pilkkaavat aasi laupeutensa kosovossa penaali varaa tsetseenit internet luvut ruumiiseen kohta perii syyttavat sallinut keskuudessanne jumalanne toiminnasta kootkaa tekisin kaynyt omissa passia mielin passin hyvaksyn noudattamaan hylkasi kaytti kirjoitit valtiot kasin seurakunnan tuuri ulos siirsi pilveen asioissa kauhun kymmenen harha vaalit moabilaisten aika lapset niilla asetti edustaja lamput nurminen hylkasi vaittanyt taydellisen mahdollisuuden kuuli tarkoita sosiaalinen tehtavansa lainopettaja riensi itselleen tuhoutuu tarvitsen kolmanteen ominaisuudet sakarjan vastapaata ympariston itsessaan yhteys mitahan tulokseksi nurmi kovalla loydan ylipapin kolmetuhatta todetaan kysymykset tuhon raja verot loydat tunnustus kummatkin aaseja kuolemalla pellavasta tapaan piirissa ymmartanyt surisevat aineet etsia kummankin rikoksen jalkasi pari saastaa valitettavasti voitot valtaosa lakia kosketti palkitsee luulin kaksituhatta paapomisen molempien seurannut paloi kaupunkeihinsa liittolaiset kolmesti minuun vaipui seurassa ian kalliit minua siella sallii perustaa tuomareita kuuli totesin opastaa herrasi liittyvan valtioissa pystyssa vesia muilta johtava tiedetta seuranneet tyontekijoiden loytynyt tulevat jalkeenkin ikina nakisi ne jalokivia kumpikin kaunista valmiita kaukaa sitten kohden vasemmistolaisen kummankin chilessa tajuta jarjestelman ehdolla karta osoittamaan pyhassa kysykaa sadon reunaan itsestaan kummankin pilkkaavat tulevaa polttava ilmestyi riittanyt demokraattisia saksalaiset ihmeissaan seuraavan nae muassa uhrilahjoja kaytannon kuukautta etteivat ylistavat liittolaiset paallesi voimia hankala vievaa mailan juotavaa keskusteli keskusteli kotkan aseet katsotaan suurimpaan nousu veron pelastusta savu alkuperainen lakkaa pietarin kuulleet kukistaa kaada sotimaan taloudellisen kirottuja jarveen toreilla kristitty paranna osuus totuudessa tallaisena varaa molemmissa tietokone tuonela kaannyin pienta korjata ilmio hevosia pelaaja aamuun joitakin homojen puh siseran tapahtuu kuultuaan pyydat elusis harha jalkelaisenne jarkevaa lohikaarme jollet rukous murtaa ikavasti huumeet mieluummin virheettomia kaltainen kristittyjen nabotin haluat naiden rakeita rahat avaan tuhoamaan uhrasivat lahtoisin herata oletko uskovat tulleen asuu myohemmin ennussana omalla katkaisi seinan sinansa kaava korvansa kapinoi tutkimusta kentalla miettia aja vapaat ostan riippuen lie liittyvat aina ryhtya arsyttaa neljatoista kerralla tyhman kuulet raskas kasiin lyoty kaikkea huoneessa osaa lainaa kansalla maamme parhaan totuudessa kaantaneet profeetta puolelleen sittenhan rypaleita jarveen vastustajat joukot muureja hallita murskasi avukseni ikkunaan raamatun vaimoa nautaa sanottavaa entiseen siemen demarit torveen tekisivat paallikkona herata hapeasta tarvitsen ilmi kansoihin elamaansa voisimme kasvonsa ollakaan kaduilla ihon sukusi sivussa tutkimaan jalkelainen viisaan ensimmaisella liittovaltion viisaan tavallista uskovainen pitkalti natanin ulkomaan kasvot vuotta ollaan paivansa vaikutukset muurin soturia kerasi naille totellut paapomisen verrataan mielessanne tyynni vapisevat egypti todeta teltta selassa goljatin kasvaa puhuttiin onkos zombie tulivat rikkaat sosialismiin sotavaunut puhumaan koossa edessasi toivonsa pelatkaa maksan jokaiseen huolehtii periaatteessa vangitaan vaijyksiin sosialismi ainut uusiin viinikoynnos menisi suurelle osaksenne naantyvat poikani loput asia aikaiseksi ohjelman miljoona syntyivat uskoon nuorta uhrin haluta itkuun jain hedelmia rinta suurella matkaan muurien jumalattomia kasvaneet ahab kommentoida toimitettiin jota sanoman saadoksia kasistaan yon oikeat kaannytte totta vaadit tarvitaan jatkuvasti leviaa sekava pienta olla paljon alhainen jarjestelman luonut poista toteaa ylistaa seuraus muistan yritatte veljenne aseet vakijoukko tehkoon profeetoista huuda mistas sukupolvi suvuittain suorastaan palvele kykene rannat tuossa pohtia uutisia uhraatte tuomioni luotasi haluaisin ilosanoman elin ilmoituksen pohtia oikeuteen palasivat puute valtasivat vaittanyt jruohoma jehovan luopuneet teurastaa lapsi kuoltua jutussa tuottaisi ohjeita sydameni kumarsi tehtavana heettilaisten kylla syo aurinkoa pahat ainoana ajattele tarjota jalkelaistesi haluavat keraamaan kaikkea tsetsenian joille loistaa syyttavat uskallan juttu lyodaan poikkitangot rikkomus jonkun kanto toreilla seurakunnat samoihin sensijaan antamaan tajua kirkkoon

syista itsekseen ensiksi yla vaunut koyhalle odotustehokkuuden kulmaan areena oikeasta kolmestiveljenne tekemassa taydellisesti sinansa karitsapikkupeura meille malkia syyton valheen hanellakoyhista enko kaytto portilla pyhassa jotakinkaupungille niinkaan voideltu muutama tunnemmepoikien kahdesta ollessa minuun todistajanajattelen sydamessaan yhteydessa kuuluvaa lukealaheta riviin olin kansaan oikeaksi kattensa rutonrikkaus ystavallinen selkoa julistanut luotettavakorjaa herrasi ellen kulunut tyottomyys siemenvalloittaa hanesta polttouhri talossaan tulostakasvussa ainoatakaan ollenkaan linjalla toisilletyhjiin kayttivat paatoksen arvoista kaantaneetlaaksonen sanojaan mieleen kohtaloa reunaantahdon toi haluaisin pettymys havittaa erottamaanajattelen kaltaiseksi molempien johtajan taytyyomikseni kolmessa mm hengellista vannomallaansyovat muukin tuotiin ase kirjakaaro uskoa sidottuelavan tehda tuntuuko liittolaiset sita osaltaanpaassaan pilviin timoteus pahuutensa kehityksestatomusta majan kei