3. Menetelmien arviointi ja kriteerit

Menetelmien näyttöä arvioitaessa arvioidaan yleensä kolmea osa-aluetta: 1) tutkimusnäyttöä, 2) vaikuttavuutta sekä 3) sovellettavuutta [1][2]. Kasvun tuessa menetelmän tutkimusnäyttöä, vaikuttavuutta ja sovellettavuutta arvioidaan omilla asteikoillaan.

Tutkimusnäyttö 
Tutkimusnäytön arviointi Kasvun tuessa perustuu Käypä hoito -suositusten [3] tutkimusnäytön vahvuuden nelijakoon (vahva, kohtalainen, heikko näyttö, ei näyttöä) ja Hollannissa ja Pohjoismaissa käytössä oleviin tutkimusnäytön kriteeristöihin. Norjassa menetelmien tutkimusnäyttö on koottu Ungsinn-tietokannaksi [4]. Ungsinn pohjautuu hollantilaiselle mallille [5], joissa kummassakin tutkimusnäyttö ja vaikuttavuus on luokiteltu neljälle tasolle. Hollannin mallissa näytön tasot ovat: 1) kausaalinen, 2) indikatiivinen, 3) teoreettinen ja 4) kuvaileva näyttö ja vaikuttavuuden asteet: 1) vaikuttava, 2) toiminnallisesti, 3) todennäköisesti ja 4) mahdollisesti vaikuttava. Norjan mallissa näyttö liittyy myös kiinteästi vaikuttavuuteen ja näytön tasot on nimetty seuraavasti: dokumentoidusti, toiminnallisesti, todennäköisesti ja mahdollisesti vaikuttava.

Vaikka tutkimusnäyttö ja vaikuttavuus liittyvätkin kiinteästi toisiinsa, niin Kasvun tuen arvioinnissa on päädytty arvioimaan tutkimusnäyttö erillään vaikutuksista. Tutkimusnäytön aste ja menetelmän vaikutukset on haluttu erottaa kahdeksi eri arviointiasteikoksi selvyyden vuoksi: vaikka menetelmän tutkimusnäyttö olisi vahva, voi menetelmän vaikutukset vaihdella vähäisestä vahvaan.  Joissain tapauksissa voidaan todeta vahvasta tutkimusnäytöstä huolimatta, että menetelmällä ei ole vaikutusta tai sen vaikutus voi olla kielteinen. Jotta tuloksettomien tai haitallisten menetelmien käytöltä vältyttäisiin, myös nollatulosten tai kielteisten vaikutusten esiin tuominen on tärkeää.

Tutkimusnäytön arvioinnissa arvioidaan erityisesti menetelmän tutkimusasetelmaa. Pelkkä tutkimusasetelman laatu ei kuitenkaan ratkaise tutkimusnäytön astetta, vaan tutkimusnäytön arvioidaan: tutkimuksen eettinen toteutus, tutkimuksen laatu (pätevyys ja otoskoko), tutkimusten määrä, tutkimustulosten yhdenmukaisuus, tutkimustulosten merkittävyys ja tutkimustulosten merkityksellisyys (esim. [3][6]).

Ylimmälle tasolle (vahva dokumenoitut näyttö) yltää satunnaistettu vertailukoe (RCT, randomized controlled trial), jota pidetään tutkimusmaailmassa vaikuttavuustutkimuksen kultaisena standardina (esim. [1][7]). Tätä tutkimusasetelmaa pidetään luotettavimpana, kun tarkastellaan, onko toivottu muutos menetelmän vaikutusta. Tutkimusasetelmassa yksi ryhmä saa tutkittavan menetelmän ja toinen ryhmä toimii kontrollina tai saa tavallista hoitoa (treatment as usual), samalla kontrolloiden tuntemattomia ja tunnettuja tekijöitä.

Kuva 2. Tutkimusnäytön asteen arviointi, kriteerit ja luokitus.
Tutkimusnäytön asteen arviointi

Vaikuttavuus 
Kasvun tuki -arvioinnissa selitettävien muuttujien tulee liittyä lasten hyvinvointiin, esimerkiksi koulunkäyntikykyyn, elämänlaatuun, mielialaan tai psyykkisiin oireisiin. Lisäksi huomioidaan vanhemmuuteen ja vanhemmuuden laatuun, esimerkiksi lapsen ja vanhemman vuorovaikutukseen, liittyvät selitettävät muuttujat. Arvioinnissa vaikuttavalta menetelmältä vaaditaan, että se osoitetusti saa aikaan toivottuja vaikutuksia kohderyhmässä. Vaikuttavan menetelmän tutkimusten kohderyhmän tulee olla edustava, jotta vaikutuksen voidaan ajatella olevan yleistettävissä laajemminkin tutkittavaan väestönosaan. Arvioinnissa kiinnitetään huomiota, että vaikutusten vahvuus on mitattu tarkoituksenmukaisella ja kohdejoukolle soveltuvalla mittarilla (esim. [3][6][8]). Vaikutusten arvioinnissa keskeisiä arvioitavia suureita ovat vaikuttavuuden suuruus ja suunta [3].

Kuva 3. Vaikuttavuusnäytön arviointi, kriteerit ja luokitus.
Vaikuttavuusnäytön arviointi

Sovellettavuus 
Kasvun tuen menetelmäarvioinnissa huomioidaan, onko menetelmä käyttöön otettavissa ja sovellettavissa Suomen olosuhteisiin. Sovellettavuuden arviointialueet on valittu näytön arviointiin liittyvän kirjallisuuden pohjalta (esim. [9][10][11]) ja pohjoismaisten näyttöön perustuvien mallien pohjalta. Kolmiportainen arviointiasteikko mukailee osittain Ruotsissa käytettyä asteikkoa. Myös implementointia ja sen onnistumista pidetään tärkeänä, mutta implementointi ei ole arviointikriteerinä. Soveltuvuutta arvioidaan kokonaisuudessaan heikoksi, kohtalaiseksi tai vahvaksi.

Kuva 4. Sovellettavuuden arviointi ja kriteerit.

Menetelmän kokonaisarviointi 
Tutkimus- ja vaikuttavuusnäytön arviointiluokkien pohjalta laaditaan kokonaisarvio ja menetelmä sijoitetaan kokonaisarvion perusteella kuviossa 5 esitettyihin luokkiin. Mikäli menetelmä ei saa vaikuttavuusnäytön osalta yhtään pistettä, on kokonaisarvio aina ei dokumentoitua vaikuttavuusnäyttöä. Vastaavasti menetelmä, jonka vaikuttavuudesta ei vielä ole tehty määrällistä tutkimusta, sijoittuu luokkaan ei riittävää tutkimusnäyttöä. Luokitukset voidaan merkitä myös pisteillä. Vahvan dokumentoidun näytön menetelmät yltävät kolmeen pisteeseen. Kohtalaisen dokumentoidun näytön omaavat menetelmät saavat kaksi pistettä.  Heikommin näytöltään dokumentoidut menetelmät saavat yhden pisteen. Menetelmät, joista ei tutkimustiedon pohjalta ole näyttöä tai vaikuttavuutta tai joiden käyttökelpoisuudesta Suomen olosuhteissa ei ole riittävästi tietoa, jäävät ilman pisteitä.

Kuva 5. Menetelmien kokonaisarviointi ja luokitus.
Kokonaisarvio

Viitteet

  1. Flay, B., Biglan, A., Boruch, R. F., Castro, F. G., Gottfredson, D., Kellam, S., Mościcki, E. K., Schinke. S., Valentine, J. C., & Ji, P. (2005). Standards of evidence: Criteria for efficacy, effectiveness and dissemination. Prevention Science, 6, 151–175. Linkki viitteeseen
  2. Kellam, S. G. & Langevin, D. J. (2003). A framework for understanding evidence in prevention research and programs. Prevention Science, 4, 137–153. Linkki viitteeseen
  3. Käypä hoito. (2021). Linkki viitteeseen
  4. Mørch, W-T., Neymer, S-P., Holth, P. & Eng, H. (2008). Ungsinn. Virksomme tiltak for barn og unges psykiske helse. Kriterier for klassifisering av evidensnivå og dokumentasjonsgrad. Forebyggingsenheten, Universitetet i Tromsø. Tromsø. Linkki viitteeseen
  5. Veerman, J. W. & van Yperen, T. A.(2007). Degrees of freedom and degrees of certainty: A developmental model for the establishment of evidence-based youth care. Evaluation and Program Planning, 30, 212–221. Linkki viitteeseen
  6. Craig, P., Dieppe, P., Macintyre, S., Michie, S., Nazareth, I. & Petticrew, M. (2008). Developing and evaluating complex interventions: the new Medical Research Council guidance. International Journal of Nursing Studies, 50(5), 587–592. Linkki viitteeseen
  7. Jané-Llopis, E., Katschnig, H., McDaid, D. & Wahlbeck, K. (2010). Evidence in public mental health. Comissioning, interpreting and using evidence on mental health disorder prevention: An everyday primer. Instituto Nacional de Saúde Doutot Ricardo Jorge. Lissabon.
  8. Silverman, W. K. & Hinshaw, S. P. (2008). The second special issue on evidence-based psychosocial treatments for children and adolescents: A 10-year update. Journal of Clinical Child & Adolescent Psychology, 37, 1–7. Linkki viitteeseen
  9. Laajasalo, T. & Pirkola. S. (2012). Ennen kuin on liian myöhäistä. Ehkäisevän mielenterveystyön toimivia käytäntöjä palvelujärjestelmän kehittäjälle. Terveyden ja hyvinvoinnin laitos, Raportti 47. Helsinki. Linkki viitteeseen
  10. Marklund, K., Andershed, A-K., & Andershed, H. (2012). Pohjolan lapset. Varhainen tuki perheille (Nordens barn. Tidiga insatser för familjer). Ineko. Tukholma. Linkki viitteeseen
  11. Weisz, J. R., Sandler, I. N., Durlak, J. A. & Anton, B. S. (2005). Promoting and protecting youth mental health through evidence-based prevention and treatment. American Psychologist, 60, 628–648. Linkki viitteeseen