Menetelmäarviot (-2021)

Menetelmäarviot julkaistiin vuoteen 2021 saakka ns. suppeina katsauksina (rapid review). Vuodesta 2022 alkaen menetelmäarviot alettiin julkaista systemaattisina kirjallisuuskatsauksina.

1 Menetelemien arviointityön tausta

Kasvun tuki -tietolähde koostuu arvioiduista varhaisen tuen menetelmistä. Varhaisella tuella tarkoitetaan sekä mielenterveyden ja hyvinvoinnin edistämistä että ongelmien ehkäisemistä. Vaikuttavalla menetelmällä tarkoitetaan tutkimusnäyttöön pohjautuvaa menetelmää, jonka avulla voidaan lapsissa ja tai heidän perheissään aikaansaada myönteisiä  muutoksia. Näytöllä puolestaan tarkoitetaan tieteellisesti ja teoreettisesti perusteltuja tutkimustuloksia. (esim. ^[1][2]).

Näyttöön perustuva toiminta ja asiakastyö 
Tutkimusnäytön soveltaminen ja käyttö asiakastyössä tarkoittavat sitä, että asiantuntija käyttää parasta mahdollista saatavilla olevaa tietoa ja huomioi asiakkaan kokemustietoa ja toiveita arvioidessaan sopivan menetelmän valintaa. Näyttöön perustuvan tiedon käyttökelpoisuus on aina arvioitava yksilökohtaisesti ja yhteistyössä asiakkaan kanssa. Vaikka menetelmä olisi vaikuttava, menetelmä ei välttämättä sovellu yksittäisen asiakkaan tilanteeseen. Olosuhteet ja ympäristö, jossa asiakastyötä tehdään vaikuttavat näyttöön perustuvaan asiakastyöhön. Olennainen osa näyttöön perustuvaa asiakastyötä ja päätöksentekoa on myös työntekijän ammattitaito ja -kokemus, kriittinen arviointikyky ja myötäelämisen taito. Näyttöön perustuva asiakastyö perustuu useamman tietolähteen samanaikaiseen, tietoiseen ja systemaattisen käyttöön. (mukaillen Hotus; Käypä hoito.) Näyttöön perustuvan psykososiaalisen asiakastyön ja päätöksenteon velvoite tulee sosiaali- ja terveysalan lainsäädännöstä ja eettisistä ohjeistuksista.

Kuva 1. Näyttöön perustuvan asiakastyön ja päätöksenteon osatekijät Hoitotyön tutkimussäätiön ja Käypä hoito -ohjeita mukaillen.

Pohjoismaiset tietolähteet esimerkkeinä 
Pohjoismaista löytyy pitkälle kehitettyjä tietolähteitä, joiden tarkoituksena on arvioida, tuottaa ja tiivistää lasten ja heidän perheidensä hyvinvointia käsittelevää tutkimustietoa yleistajuisesti. Norjan Ungsinn-, Tanskan Vidensportalen– ja Ruotsin Metodguide-tietolähteitä ja näiden arviointiasteikoita on hyödynnetty Kasvun tuen arviointiasteikon kehittämistyössä.

2 Menetelmien arviointiprosessi

Menetelmien arviointityössä painotetaan puolueettomuutta. Luokituksesta vastaa tieteellinen toimituskunta. Ennen vuotta 2021 arvioitujen menetelmien luokituksesta päätti tieteellinen neuvosto tieteellisen päätoimittajan esityksen pohjalta. Vuodesta 2021 alkaen arvioinnit julkaistaan ja päivitetään vertaisarvioituina systemaattisina katsauksina Kasvun tuki -aikakauslehdessä.

Ennen vuotta 2021 menetelmien arviointityössä on ollut mukana Kasvun tuen tieteellinen toimituskunta ja tieteellinen neuvosto. Kasvun tuen menetelmien arviointiprosessi on laadittu sovelletusti pohjoismaisten ja kansallisten menetelmien arviointikäytäntöjen pohjalta läpinäkyväksi ja puolueettomuuteen tähtääväksi. Tietolähteessä jo olevia menetelmiä päivittään vuosittain käymällä läpi uusin tutkimuskirjallisuus sekä olemalla yhteydessä menetelmien edustajiin.

Hakeminen mukaan 
Kasvun tuen tieteellinen toimituskunta kartoittaa jatkuvasti mahdollisia menetelmiä, jotka arvioidaan arviointiprosessin kautta. Kartoituksessa huomioidaan kentän tarpeet. Menetelmistä kootaan käyttäjäystävällisiä kuvauksia, joiden avulla ammattihenkilöt voivat arvioida menetelmien sovellettavuutta käytäntöön.

Kotimaisilla menetelmien kehittäjillä on myös mahdollisuus hakeutua mukaan omilla interventioilla. Mukaan hakeutumiseen riittää vapaamuotoinen sähköposti, jonka jälkeen käynnistyy yhteistyö toimituksen kanssa. Vähimmäisvaatimukset täyttävät menetelmät otetaan Kasvun tukeen arvioitaviksi. Kun menetelmä on hyväksytty Kasvun tuki -arviointiprosessiin ja arviointi käynnistyy, tehdään arviointi loppuun saakka ja se julkaistaan Kasvun tuki -sivustolla. Arviointiprosessista ei voi jäädä pois kesken arvioinnin.

Menetelmien arviointi- ja kehittämisprosessiin on kutsuttu mukaan myös menetelmiä, joita ei ole tieteellisesti tutkittu. Ne voivat silti olla korkeatasoisia, vaikuttavia ja hyvin sovellettavia ^[3].

Menetelmätiedon kokoaminen 
Arviointiprosessi aloitetaan keräämällä menetelmästä tietoa tietokannoista ja menetelmään liittyvästä oheismateriaalista, kuten raporteista ja menetelmäoppaasta.  Menetelmätiedon kokoaa Kasvun tuen tieteellinen toimituskunta. Kerätyn tiedon perusteella menetelmää arvioidaan 1) tutkimusnäytön, 2) vaikuttavuuden ja 3) sovellettavuuden näkökulmista.

Arviointiprosessi
Arvioitsijoina toimii asiantuntijapaneeli – tieteellinen neuvosto –  jonka jäsenet edustavat laaja-alaisesti lasten ja perheiden hyvinvoinnin edistämiseen liittyviä tieteenaloja. Arvioitsijana ei voi toimia henkilö, joka on esimerkiksi ollut mukana menetelmän kehittämisessä tai kilpailevan menetelmän edustajana. Arvioitsijalta toivotaan tietoa ja kokemusta menetelmistä ja niiden taustoista.

Tieteellinen neuvosto kokoontuu puolivuosittain arviointikokoukseen. Asiantuntijapaneelin arviointityön pohjana toimivat tieteellisen päätoimittajan esittelemä tiivistelmä menetelmästä ja ehdotus luokituksesta. Tiivistelmää laatiessa Kasvun tuen tieteellinen toimituskunta tekee yhteistyötä arvioitavan menetelmän kehittäjän kanssa ja menetelmälle valittavan tieteellisen neuvoston vastuujäsenen kanssa. Tiivistelmä koostuu menetelmän kirjallisesta kuvauksesta ja menetelmän tutkimusnäyttöön, vaikuttavuuteen ja sovellettavuuteen pohjautuvasta yhteenvetoasteikosta. Tieteellisen neuvoston konsensukseen tähtäävässä arviointityössä käydään läpi menetelmän vahvuudet ja heikkoudet, sovellettavuus ja toimivuus käytännössä ja päätetään menetelmän saama luokitus.  

Kun asiantuntijapaneeli on käynyt läpi arvioitavan materiaalin, tekee Kasvun tuki tieteellinen toimituskunta arvioista yhteenvetoluonnoksen. Yhteenvetoluonnos luokituksineen lähetetään vielä tarkastettavaksi ja kommentoitavaksi menetelmän edustajille ennen lopullista julkaisua.

Kaikilta arviointiprosessiin osallistuvilta menetelmiltä vaaditaan neljän vähimmäisvaatimuksen täyttyminen. Vähimmäisvaatimuksilla tarkoitetaan, että menetelmällä on

1. rajattu kohderyhmä,
2. tutkimukseen pohjautuva teoria,
3. selkeästi määritelty koulutus sekä
4. eettinen arvopohja.

Kasvun tuki -arviointiin pääsyyn menetelmältä edellytetään, että se on suunnattu alle 18-vuotiaille lapsille kasvu- ja kehitysympäristöissä, esimerkiksi koulussa, kotona tai harrastuksissa. Menetelmällä tulee olla Suomeen sovellettava, strukturoitu ja hyvin toteutettu menetelmäkoulutus. Menetelmältä vaaditaan eettisyyttä ja asetettujen eettisten periaatteiden noudattamista. Eettisyyden arvioinnissa huomioidaan menetelmän asiakaslähtöisyys, vuorovaikutuksellisuus, voimaannuttavuus ja asiakkaan osallisuuden toteutuminen. Arviointiin mukaan otettavilta menetelmiltä edellytetään teoria- ja tutkimustaustaa.

Kasvun tukeen ei oteta arvioitavaksi diagnostisia interventioita, arviointimenetelmiä tai mittareita. Lisäksi kestoltaan rajoittamattomat, hoidolliset, interventiot eivät kuulu arvioinnin piiriin.

3 Menetelmien arviointi ja kriteerit

Menetelmien näyttöä arvioitaessa arvioidaan yleensä kolmea osa-aluetta: 1) tutkimusnäyttöä, 2) vaikuttavuutta sekä 3) sovellettavuutta ^[4][5]. Kasvun tuessa menetelmän tutkimusnäyttöä, vaikuttavuutta ja sovellettavuutta arvioidaan omilla asteikoillaan.

Tutkimusnäyttö 
Tutkimusnäytön arviointi Kasvun tuessa perustuu Käypä hoito -suositusten ^[6] tutkimusnäytön vahvuuden nelijakoon (vahva, kohtalainen, heikko näyttö, ei näyttöä) ja Hollannissa ja Pohjoismaissa käytössä oleviin tutkimusnäytön kriteeristöihin. Norjassa menetelmien tutkimusnäyttö on koottu Ungsinn-tietokannaksi ^[7]. Ungsinn pohjautuu hollantilaiselle mallille ^[8], joissa kummassakin tutkimusnäyttö ja vaikuttavuus on luokiteltu neljälle tasolle. Hollannin mallissa näytön tasot ovat: 1) kausaalinen, 2) indikatiivinen, 3) teoreettinen ja 4) kuvaileva näyttö ja vaikuttavuuden asteet: 1) vaikuttava, 2) toiminnallisesti, 3) todennäköisesti ja 4) mahdollisesti vaikuttava. Norjan mallissa näyttö liittyy myös kiinteästi vaikuttavuuteen ja näytön tasot on nimetty seuraavasti: dokumentoidusti, toiminnallisesti, todennäköisesti ja mahdollisesti vaikuttava.

Vaikka tutkimusnäyttö ja vaikuttavuus liittyvätkin kiinteästi toisiinsa, niin Kasvun tuen arvioinnissa on päädytty arvioimaan tutkimusnäyttö erillään vaikutuksista. Tutkimusnäytön aste ja menetelmän vaikutukset on haluttu erottaa kahdeksi eri arviointiasteikoksi selvyyden vuoksi: vaikka menetelmän tutkimusnäyttö olisi vahva, voi menetelmän vaikutukset vaihdella vähäisestä vahvaan.  Joissain tapauksissa voidaan todeta vahvasta tutkimusnäytöstä huolimatta, että menetelmällä ei ole vaikutusta tai sen vaikutus voi olla kielteinen. Jotta tuloksettomien tai haitallisten menetelmien käytöltä vältyttäisiin, myös nollatulosten tai kielteisten vaikutusten esiin tuominen on tärkeää.

Tutkimusnäytön arvioinnissa arvioidaan erityisesti menetelmän tutkimusasetelmaa. Pelkkä tutkimusasetelman laatu ei kuitenkaan ratkaise tutkimusnäytön astetta, vaan tutkimusnäytön arvioidaan: tutkimuksen eettinen toteutus, tutkimuksen laatu (pätevyys ja otoskoko), tutkimusten määrä, tutkimustulosten yhdenmukaisuus, tutkimustulosten merkittävyys ja tutkimustulosten merkityksellisyys (esim. ^[6][9]).

Ylimmälle tasolle (vahva dokumenoitut näyttö) yltää satunnaistettu vertailukoe (RCT, randomized controlled trial), jota pidetään tutkimusmaailmassa vaikuttavuustutkimuksen kultaisena standardina (esim. ^[4][10]). Tätä tutkimusasetelmaa pidetään luotettavimpana, kun tarkastellaan, onko toivottu muutos menetelmän vaikutusta. Tutkimusasetelmassa yksi ryhmä saa tutkittavan menetelmän ja toinen ryhmä toimii kontrollina tai saa tavallista hoitoa (treatment as usual), samalla kontrolloiden tuntemattomia ja tunnettuja tekijöitä.

Kuva 2. Tutkimusnäytön asteen arviointi, kriteerit ja luokitus.

Vaikuttavuus 
Kasvun tuki -arvioinnissa selitettävien muuttujien tulee liittyä lasten hyvinvointiin, esimerkiksi koulunkäyntikykyyn, elämänlaatuun, mielialaan tai psyykkisiin oireisiin. Lisäksi huomioidaan vanhemmuuteen ja vanhemmuuden laatuun, esimerkiksi lapsen ja vanhemman vuorovaikutukseen, liittyvät selitettävät muuttujat. Arvioinnissa vaikuttavalta menetelmältä vaaditaan, että se osoitetusti saa aikaan toivottuja vaikutuksia kohderyhmässä. Vaikuttavan menetelmän tutkimusten kohderyhmän tulee olla edustava, jotta vaikutuksen voidaan ajatella olevan yleistettävissä laajemminkin tutkittavaan väestönosaan. Arvioinnissa kiinnitetään huomiota, että vaikutusten vahvuus on mitattu tarkoituksenmukaisella ja kohdejoukolle soveltuvalla mittarilla (esim. ^[6][9][11]). Vaikutusten arvioinnissa keskeisiä arvioitavia suureita ovat vaikuttavuuden suuruus ja suunta ^[6].

Kuva 3. Vaikuttavuusnäytön arviointi, kriteerit ja luokitus.

Sovellettavuus 
Kasvun tuen menetelmäarvioinnissa huomioidaan, onko menetelmä käyttöön otettavissa ja sovellettavissa Suomen olosuhteisiin. Sovellettavuuden arviointialueet on valittu näytön arviointiin liittyvän kirjallisuuden pohjalta (esim. ^[12][13][14]) ja pohjoismaisten näyttöön perustuvien mallien pohjalta. Kolmiportainen arviointiasteikko mukailee osittain Ruotsissa käytettyä asteikkoa. Myös implementointia ja sen onnistumista pidetään tärkeänä, mutta implementointi ei ole arviointikriteerinä. Soveltuvuutta arvioidaan kokonaisuudessaan heikoksi, kohtalaiseksi tai vahvaksi.

Kuva 4. Sovellettavuuden arviointi ja kriteerit.

Menetelmän kokonaisarviointi 
Tutkimus- ja vaikuttavuusnäytön arviointiluokkien pohjalta laaditaan kokonaisarvio ja menetelmä sijoitetaan kokonaisarvion perusteella kuviossa 5 esitettyihin luokkiin. Mikäli menetelmä ei saa vaikuttavuusnäytön osalta yhtään pistettä, on kokonaisarvio aina ei dokumentoitua vaikuttavuusnäyttöä. Vastaavasti menetelmä, jonka vaikuttavuudesta ei vielä ole tehty määrällistä tutkimusta, sijoittuu luokkaan ei riittävää tutkimusnäyttöä. Luokitukset voidaan merkitä myös pisteillä. Vahvan dokumentoidun näytön menetelmät yltävät kolmeen pisteeseen. Kohtalaisen dokumentoidun näytön omaavat menetelmät saavat kaksi pistettä.  Heikommin näytöltään dokumentoidut menetelmät saavat yhden pisteen. Menetelmät, joista ei tutkimustiedon pohjalta ole näyttöä tai vaikuttavuutta tai joiden käyttökelpoisuudesta Suomen olosuhteissa ei ole riittävästi tietoa, jäävät ilman pisteitä.

Kuva 5. Menetelmien kokonaisarviointi ja luokitus.