2. Työmenetelmien arvioiminen

Työmenetelmien näyttöä arvioitaessa, arvioidaan yleensä kolmea osa-aluetta: tutkimusnäyttöä, vaikuttavuutta ja käyttökelpoisuutta (ks. esim. Flay ym. 2005; Kellam & Langevin 2003) Suomalaisessa menetelmien arviointimallissa nämä asiat jakautuvat arvioinnissa pienempiin osa-alueisiin joita kutakin arvioidaan omalla asteikollaan. Menetelmän kokonaisarvio eli luokitus muodostuu kaikkien osa-alueiden yhteenvetona. Kaikkia työmenetelmiä ei ole tieteellisesti tutkittu. Ne voivat silti olla korkeatasoisia, vaikuttavia ja käyttökelpoisia tai vähintäänkin sisältää elementtejä edellä mainituista (Marklund ym. 2012). Näin ollen on pidetty tärkeänä, että muitakin kuin tutkittuja menetelmiä kutsutaan mukaan menetelmien arviointi- ja kehittämisprosessiin. Tutkimustiedon mukaan vaikuttavilla menetelmillä on tiettyjä yhteisiä ydintekijöitä, joille esim. brittiläinen vanhempaintuen tietokanta perustuu (Marklund ym. 2012), ja jotka on nimetty Kasvun tuki tietolähteen osalta minimivaatimuksiksi.

Kuva 2. Kasvun tuki luokituksen osa-alueet ja menetelmien sisäänottokriteerit

Minimivaatimuksilla tarkoitetaan, että menetelmällä on rajattu kohderyhmä, tutkimukseen pohjautuva teoria sekä selkeästi määritelty koulutus, joiden avulla menetelmää voidaan lähteä alustavasti arvioimaan. Rajatulla kohderyhmällä tarkoitetaan tässä perheitä, joissa on alle 18-vuotiaita lapsia. Tutkimukseen pohjautuva teoria viittaa teoreettiseen viitekehykseen, joka pohjautuu ajankohtaiseen teoria- ja tutkimustietoon lasten ja nuorten kehityksestä. Koulutuksella tarkoitetaan, että Suomen oloihin sovellettavaa, tarkasti määriteltyä ja hyvin toteutettua menetelmäkoulutusta. Näytön ja vaikuttavuuden ohella on tärkeää, että menetelmällä on tietty arvopohja, joka noudattaa hoidolle asetettuja yleisiä eettisiä periaatteita. Menetelmän arvopohjaa ja eettisiä periaatteita arvioitaessa arvioidaan mm. sitä, millä toimintaperiaatteilla menetelmää toteutetaan, miten kohderyhmän ”ääni” kuuluu, miten asiakkaan kunnioitus ja tasa-arvoinen kohtelu toteutuu, ts. arvioidaan sitä, missä määrin menetelmän toimintaperiaatteet ovat asiakaslähtöisiä, osallistavia, vuorovaikutuksellisia ja voimaannuttavia. Tutkimusnäytön arvioinnilla tarkoitetaan. mm. tutkimuksessa käytettyjen tutkimusasetelman ja tutkimuksen toteutuksen arvioimista. Vaikuttavuuden arvioinnilla tarkoitetaan sen arvioimista missä määrin menetelmä aikaansaa toivottuja vaikutuksia kohderyhmässä. Käyttökelpoisuuden arvioinnilla tarkoitetaan työmenetelmään liittyviä, käytännön kannalta tärkeitä seikkoja, kuten koulutuksen saatavuuteen, kustannuksiin, soveltuvuuteen ja levittämiseen liittyviä seikkoja. Työmenetelmien arviointiprosessi on selitetty tarkemmin luvussa 4.

2.2. Tutkimusnäyttö

Tutkimusasetelma nousee tutkimusnäytön arvioimisessa keskeiselle sijalle muiden tutkimusnäytön kriteereiden toimiessa tärkeinä täydentävinä tietoina. Kasvun tuki -luokituksessa on yhdistetty tuttua Käypä hoito -suositusten tutkimusnäytön vahvuuden nelijakoa (vahva, kohtalainen, heikko näyttö, ei näyttöä) sekä muissa maissa hyväksi ja käyttökelpoiseksi osoitettua tutkimusnäytön kriteeristöä (mm. pohjoismaiset ja Hollannin mallit). Ylimmälle tasolle (vahva näyttö) yltää satunnaistettu, kontrolloitu koe (RCT, randomized controlled trial), jota tutkimusmaailmassa on pidetty vaikuttavuustutkimuksen ”kultaisena” standardina (ks. esim. Flay ym. 2005; Jané-Llopis ym. 2010). Tätä tutkimusasetelmaa pidetään luotettavimpana, silloin kuin halutaan tietää onko tietty toivottu muutos menetelmän vaikutusta, jossa toinen ryhmä saa tutkittavan menetelmän (intervention) ja toinen ryhmä toimii kontrollina tai saa ns. ”tavallista hoitoa” (treatment as usual) samalla kontrolloiden tuntemattomia ja tunnettuja tekijöitä. Tärkeää on myös huomioida, että tutkimusasetelma, ja menetelmät sopivat tutkittavaan aiheeseen ja vastaavat tutkimuskysymyksiin. Aina ei siis ole mahdollista tai mielekästäkään tutkia menetelmää kontrolloidun ja satunnaistetun tutkimuksen avulla. Tällöin esimerkiksi kohorttitutkimukset tai tapaus-verrokkitutkimukset puoltavat paikkaansa, joskaan näiden tutkimusasetelmassa ei pystytä yhtä hyvin huomioimaan (kontrolloimaan) sitä, onko tavoiteltu muutos kohdejoukossa menetelmän aiheuttama. Tutkimus voi suuntautua eteenpäin tai taaksepäin, prospektiivisen tutkimuksen näyttö luokitellaan korkeammalle, taaksepäin suuntautuneen tutkimustulosten ollessa alttiimpia vääristymille (bias). Pelkkä tutkimusasetelman laatu ei ratkaise näytön astetta, vaan näytön tason arvioimiseen liittyy kiinteästi muita näytön kannalta merkittäviä seikkoja, kuten (ks. esim. Käypähoito-ohjeet, Craig ym. 2008): tutkimuksen eettinen toteutus, tutkimuksen laatu (pätevyys ja otoskoko), tutkimusten määrä, tutkimustulosten yhdenmukaisuus, tutkimustulosten merkittävyys, tutkimustulosten merkityksellisyys (sovellettavuus, yleistettävyys). Nämä kriteerit muodostavat raamit myös suomalaiselle mallille.

Kuva 3. Tutkimusnäytön aste ja tutkimusasetelma


Tutkimusnäyttöä esittelevistä tietokannoista erityisen kiinnostavaksi nousevat Norjan Ungsinn- määrittelykäytäntö (WWW.UNGSINN.NO), koska Norjassa järjestösektori on Suomen tavoin vahva toimija edistävän ja ehkäisevän työn kentällä. Norjan Ungsinn-malli (Mørch ym. 2008) pohjautuu hollantilaiselle (Veerman & Yperen, 2007) mallille, joissa kummassakin tutkimusnäyttö ja vaikuttavuus on luokiteltu neljälle tasolle (asteelle). Hollannin mallissa näytön asteet on nimetty seuraavasti: kausaalinen, indikatiivinen, teoreettinen ja kuvaileva näyttö sekä ja vaikuttavuuden asteet: vaikuttava sekä toiminnallisesti, todennäköisesti ja mahdollisesti vaikuttava. Norjan mallissa näytön aste liittyy myös kiinteästi vaikuttavuuteen ja näytön tasot on nimetty seuraavasti: dokumentoidusti, toiminnallisesti, todennäköisesti ja mahdollisesti vaikuttava. Vaikka tutkimusnäyttö ja vaikuttavuus liittyvätkin kiinteästi toisiinsa, niin suomalaisessa mallissa on päädytty arvioimaan tutkimusnäyttö erillään vaikutuksista. Suomalaisessa mallissa tutkimusnäytön aste ja menetelmän vaikutukset haluttiin erottaa kahdeksi eri arviointiasteikoksi selvyyden vuoksi mm. siitä syystä, että vahvakaan tutkimusnäyttö ei välttämättä takaa vaikutuksia, ts. menetelmän vaikutukset voivat vaihdella heikosta voimakkaaseen tai joissain tapauksissa voidaan todeta vahvasta tutkimusnäytöstä huolimatta että menetelmällä ei ole vaikutusta tai, että sen vaikutus voi jopa olla negatiivinen. Myös em. ns. nollatulosten tai negatiivisten vaikutusten esiin tuominen on tärkeää, jotta tuloksettomien tai haitallisten menetelmien käytöltä vältyttäisiin.

2.3. Vaikutusten vahvuus

Vaikuttavalta menetelmältä vaaditaan, että sen on osoitettu aikaansaavan toivottuja vaikutuksia kohderyhmässä ja että tutkimusten kohderyhmä on siinä määrin edustava, että vaikutuksen voidaan ajatella olevan yleistettävissä laajemminkin tiettyyn väestönosaan. Lisäksi on tärkeää, että vaikutusten vahvuus on mitattu tärkeällä tarkoituksenmukaisella mittarilla, ts. kohdejoukon hyvinvoinnin kannalta tärkeällä mittarilla (ks. esim. Jané-Llopis ym. 2010, Käypä hoito-ohjeet; Silverman & Hinshaw 2008). Vaikutusten arvioinnissa keskeisiä arvioitavia suureita ovat vaikuttavuuden suuruus ja suunta (ks. esim. Käypä hoito-ohjeet). Alla kuvataan vaikuttavuuden neliportainen asteikko.

Kuva 4. Menetelmän vaikuttavuus ja vaikuttavuuden kriteerit

2.4. Käyttökelpoisuus

Näytön ja vaikutusten lisäksi on tärkeää, että työmenetelmä on käyttökelpoinen ja soveltuu kansallisiin olosuhteisiin ja tarpeisiin. Näitä ulkoisia käyttöönottokriteereitä ovat mm. menetelmän koulutukseen liittyvät tekijät, kustannustehokkuus ja kansallisiin tarpeisiin sopivuus. Myös implementoinnin (juurruttaminen) onnistumista ja pidetään tärkeänä menetelmän käyttökelpoisuuteen vaikuttavana tekijänä. Implementointi ja siihen liittyvät laadulliset arviointimenetelmät on kuitenkin tässä vaiheessa rajattu arviointikriteereiden ulkopuolelle. Käyttökelpoisuuden arviointialueet on valittu näytön arviointiin liittyvän kirjallisuuden pohjalta (ks. esim. Laajasalo & Pirkola, 2012, Jané-Llopis, ym. 2010: Marklund, ym. 2010; Weisz ym. 2005) sekä pohjoismaisten näyttöön perustuvien mallien pohjalta. Kolmiportainen arviointiasteikko mukailee osittain Ruotsissa käytettyä asteikkoa (http://www.socialstyrelsen.se/evidensbaseradpraktik/metodguide)

Kuva 5. Käyttökelpoisuuden osatekijät ja arviointiskaalat

a) Kou­lu­tus

Menetelmän koulutusta arvioitaessa painotetaan mm. seuraavia koulutuksen sisältöön, toteuttamiseen ja saatavuuteen liittyviä kriteereitä/tekijöitä.

  • monipuolinen opetustapa (teoriaopetus, työmenetelmäopetus, ryhmätapaamiset, työnohjaus, käytännön harjoittelu)
  • koulutuksella selkeä sisältö ja materiaalit
  • kouluttajilla riittävä koulutus ja kokemus
  • koulutukseen on sisällytetty koulutusarviointi
  • menetelmäuskollisuuden ja -taitojen ylläpitäminen on järjestetty

Koulutuksen kuvauksen arviointi: 0 = Koulutusta ei ole mahdollista arvioida, koska tiedot puuttuvat tai ovat riittämättömät 1 = Koulutuksen / koulutusmateriaalin sisällössä, toteutuksessa ja tarkoituksenmukaisuudessa on selkeitä puutteita ja ne vaativat uudelleen työstämistä ja selkeyttämistä. 2 = Koulutuksen / koulutusmateriaalin sisällössä, toteutuksessa ja tarkoituksenmukaisuudessa on jonkin verran puutteita ja ne vaativat täydennystä. 3 = Koulutuksella hyvä sisältö ja toteutus ja se on kattavasti saatavilla.

b) Kou­lu­tuk­sen saa­ta­vuus

Koulutuksen saatavuutta arvioitaessa painotetaan mm. seuraavia koulutuksen toteuttamiseen ja saatavuuteen liittyviä kriteereitä/tekijöitä.

  • koulutusta on helposti ja kattavasti saatavilla
  • kustannukset ovat kohtuulliset

Koulutuksen saatavuuden arviointi: 0 = Koulutuksen saatavuutta ei ole mahdollista arvioida, koska tiedot puuttuvat tai ovat riittämättömät 1 = Koulutuksen saatavuudessa selkeitä puutteita ja ne vaativat uudelleen työstämistä ja selkeyttämistä. 2 = Koulutuksen saatavuudessa jonkin verran työstämistä vaativia puutteita. 3 = Koulutusta on helposti ja kattavasti saatavilla kohtuullisin kustannuksin.

c) Kus­tan­nus­te­hok­kuus

Kustannustehokkuus on oma tutkimusalueensa. Menetelmän kustannustehokkuutta arvioitaessa arvioidaan olemassa olevia kotimaisia, pohjoismaisia tai ulkomaisia laskelmia menetelmän kustannustehokkuudesta. Kustannustehokkuuden arviointi: 0 = Ei kustannustehokkuutta tai sitä ei ole mahdollista arvioida, koska tiedot puuttuvat tai ovat riittämättömät 1 = Mahdollisesti/todennäköisesti kustannustehokas (Suomessa, pohjoismaissa tai muissa maissa) 2 = Jossain määrin kustannustehokas (Suomessa tai pohjoismaissa) 3 = On kustannustehokas (Suomessa tai pohjoismaissa)

d) Kan­sal­li­siin tar­pei­siin so­vel­tu­vuus

Tutkimusnäytön lisäksi menetelmän käyttöön ottamisen kannalta on tärkeää, että se soveltuu Suomen olosuhteisiin. Tällä tarkoitetaan laajemmin ottaen, että menetelmälle on kansallinen tarve, miten menetelmä otetaan kentällä vastaan ja/tai kiinnittyy kentän toimintatapoihin ja että, menetelmä on sosiaalipoliittisesti perusteltavissa. Tämän lisäksi soveltuvuutta voidaan arvioida sen pohjalta, että onko menetelmä ollut käytössä Suomessa tai pohjoismaissa. Joissakin maissa, esim. Norjassa se on liitetty näytön tason arviointiin. Suomessa päädyttiin arvioimaan menetelmän kansallisiin olosuhteisiin soveltuvuutta erillisenä, itsenäisenä tekijänä liittämättä sitä varsinaiseen näytön arviointikriteeristöön. Soveltuvuuden arviointi 0 = Soveltuvuutta ei ole mahdollista arvioida, koska menetelmää ei ole käytetty/tutkittu Suomessa tai pohjoismaissa 1 = Soveltuvuus Suomen olosuhteisiin heikko, koska sitä ei ole Suomessa käytetty tai tutkittu, mutta käyttökokemuksia ja/tai tutkimustietoa pohjoismaista löytyy 2 = Soveltuvuus Suomen olosuhteisiin kohtalainen (Jonkun verran käyttö- ja tai tutkimustietoa Suomesta tai pohjoismaista). 3 = Soveltuvuus Suomen olosuhteisiin on hyvä (Paljon/runsaasti käyttö- ja tai tutkimustietoa Suomesta tai pohjoismaista).

e) Toi­mi­vuu­den mit­taa­mi­nen

Menetelmän kouluttamiseen, käyttöön ja levittämiseen on sisäänrakennettuna menetelmän toimivuuden arviointi (mittaaminen) liittyen siihen, miten koulutettavat, menetelmää käyttävät ja kohderyhmä sen kokevat, mikä takaa menetelmän jatkuva käytännön tason arvioinnin, kehittämisen ja laadunvalvonnan. Menetelmän toimivuuden mittaamisen arviointi 0 = Menetelmän toimivuuden mittaamista ei ole mahdollista arvioida, koska sen kuvaus  puuttuu tai arviointitapa on riittämätön 1 = Menetelmän toimivuuden mittaaminen vaatii uudelleen työstämistä ja selkeyttämistä. 2 = Menetelmän toimivuuden mittaaminen vaatii täydennystä. 3 = Menetelmän toimivuuden mittaaminen on toteutettu.

 

Arvioinnin päätteeksi voidaan menetelmästä koota yhteenvedonomaisesti sen vahvuudet ja heikkoudet sekä antaa parannus- ja kehittämisehdotuksia.

2.5. Luokitus ja arvioinnin yhteenvetotaulukko

Arviointiprosessin päätteeksi tutkimusnäytön, vaikutusten ja käyttökelpoisuuden arvioinnit kootaan yhteen ja menetelmä sijoitetaan tiettyyn luokkaan 0-3 alla olevan taulukon mukaisesti. Luokitus pohjautuu a) kokonaisarvioon, joka koostuu näytön asteen ja vaikutusten voimakkuuden summasta sekä b) käyttökelpoisuuteen, josta menetelmä voi saada 0-15 pistettä. Mikäli menetelmän saamat pisteet kokonaisarviosta ja käyttökelpoisuudesta sijoittuvat luokituksessa eri tasolle, ratkaisee alempi pistemäärä luokituksen. Esimerkiksi mikäli menetelmä saa kokonaisarvioksi näytön asteen ja vaikutusten voimakkuuden perusteella kuusi pistettä, mutta käyttökelpoisuuspisteet ovat kahdeksan, sijoittuu menetelmä luokituksessa tasolle kaksi. Luokitukset voidaan merkitä myös tähdillä. Vahvat työmenetelmät voivat yltää kolmeen tähteen ***. Kohtalaisen vahvat menetelmät saavat kaksi tähteä **.  Tätä heikommat menetelmät saavat yhden tähden *. Menetelmät, joista ei tutkimustiedon pohjalta ole näyttöä ja/tai vaikutusta, tai joiden käyttökelpoisuudesta Suomen olosuhteissa ei ole riittävästi tietoa, jäävät ilman tähteä. Menetelmä voidaan myös luokitella kategoriaan ”ei arvioitavissa” mikäli tutkimus on vielä kesken.

Kuva 6. Menetelmien kokonaisarviointi ja luokitus