3. Työmenetelmien arviointiprosessi

3.1. Arviointiprosessin toimijat ja sisältö

Menetelmien arviointiprosessia rakennettaessa on haettu mallia sekä pohjoismaisista että kansallisista työmenetelmien arvioinnin käytännöistä, joita pyritään soveltamaan Kasvun tuki -toimintaympäristöön soveltuvin osin. Soveltuvia käytäntöjä haettaessa on pyritty mahdollisimman kevyeen ja läpinäkyvään arviointimalliin. Arvioinnin ydintyöryhmän muodostavat Kasvun tuki –hankkeen tieteellinen päätoimittaja sekä asiantuntijoista koostuva asiantuntijapaneeli, ns. tieteellinen neuvosto.

Tieteellisen neuvoston rooli on tukea Kasvun tuen tieteellistä päätoimittajaa varhaisen tuen menetelmien arviointikriteerien kehittämisessä. Tieteellinen neuvosto tekee kokonaisarvion ja päätöksen eri menetelmien luokituksesta tieteellisen päätoimittajan esityksen pohjalta. Neuvosto koostuu kansallisista asiantuntijoista mm. psykologian, psykiatrian sekä kasvatustieteen alueilta (Neuvoston puheenjohtaja Kristian Wahlbeck, SMS; Eeva Aronen, HY; Ilse Julkunen, HY; Mirjam Kalland, HY; Jorma Komulainen, Duodecim; Marjukka Mäkelä, THL; Raija-Leena Punamäki, TaY; Nina Sajaniemi, HY; ja Christina Salmivalli TuY; Päivi Santalahti, THL; Marja Holmila, THL).

3.2. Arviointiprosessin vaiheet

Menetelmätiedon kokoaminen

Arviointiprosessi aloitetaan keräämällä menetelmästä tietoa, jonka pohjalta arvioidaan menetelmää tutkimusnäytön, vaikuttavuuden ja käyttökelpoisuuden näkökulmista. Menetelmään liittyvä tieto (dokumentaatio) voi olla monessa eri muodossa, mutta sen tulisi olla myös työmenetelmän käyttäjien saatavissa. Tieto voi koostua esim. työmenetelmän manuaalista, siihen liittyvistä raporteista tai (tieteellisistä) artikkeleista. Tietoa haetaan myös aiheeseen liittyvistä tietokannoista. Tavoitteena on mahdollisimman tarkka, asianmukainen ja objektiivinen arvio. Suomalaisessa mallissa menetelmätiedon kokoaa Kasvun tuen tieteellinen päätoimittaja.

Arvioitsijat

Suomalaisessa mallissa arvioitsijoina toimii asiantuntijapaneeli, tieteellinen neuvosto, jonka jäsenet edustavat laaja-alaisesti lasten ja perheiden tukemiseen läheisesti liittyviä tieteenaloja. Arviointityössä painotetaan objektiivisuutta ja puolueettomuutta. Arvioitsijana ei näin ollen voi toimia henkilö, joka on esim. ollut mukana menetelmän kehittämisessä, levittämisessä tai kouluttamisessa, tai henkilö, joka edustaa kilpailevaa menetelmää. Sen sijaan on suotavaa, että arvioitsijalla on tietoa ja kokemusta menetelmistä ja niiden taustoista. Sisällöllisen asiantuntemuksen lisäksi on tärkeää, että joku arvioitsijoista edustaa vankkaa psykometriikan osaamista/tuntemusta.

Arviointikokous

Tieteellinen neuvosto kokoontuu puolivuosittain arviointikokoukseen. Asiantuntijapaneelin arviointityön pohjana toimivat Tieteellisen päätoimittajan esittelemä tiivistelmä menetelmästä ja ehdotus luokituksesta. Tiivistelmää laatiessa päätoimittaja tekee yhteistyötä arvioitavan menetelmän kehittäjän ja/tai kenttäkäyttäjän kanssa sekä yhden, jokaiselle menetelmälle valittavan Tieteellisen neuvoston vastuujäsenen kanssa.

Tiivistelmä koostuu kirjallisesta tiivistelmästä sekä yhteenvetoasteikosta, johon on koottu yhteen ehdotus menetelmän luokaksi perustuen tutkimusnäytön asteeseen, vaikuttavuuteen ja käyttökelpoisuuteen. Tieteellisen neuvoston konsensukseen tähtäävä työryhmätyöskentely em. kirjallisine työkaluineen takaavat sen, että arvioitsijat kiinnittävät yhdenmukaisesti huomiota samoihin näytön, vaikuttavuuden ja käyttökelpoisuuden kriteereihin. Lisäksi työryhmän työskentelyä määrittää objektiivisuus ja puolueettomuus. Arvioinnin lopuksi summataan menetelmän vahvuudet ja heikkoudet huomioiden erityisesti menetelmän toimivuus käytännössä ja päätetään menetelmän saama luokitus. Tämän lisäksi asiantuntijapaneeli voi myös tehdä parannusehdotuksia.

Arviointitulosten jatkotyöstäminen

Kun asiantuntijapaneeli on käynyt läpi arvioitavan materiaalin, tekee Kasvun tuki toimitus arvioista yhteenvetoluonnoksen. Yhteenvetoluonnos luokituksineen lähetetään tarkastettavaksi ja kommentoitavaksi menetelmän edustajille, mikä antaa mahdollisuuden vielä korjata arvioinnin mahdollisia virheellisyyksiä. Kasvun tuki toimitus työstää menetelmäyhteenvedon luokituksineen lopulliseen muotoonsa.

Luokituksen laatiminen

Näyttöön perustuvien eri menetelmien arvioinnin ja luokitusten tarkoituksena on tukea ammattilaisten päätöksentekoa asiakastyössä. Luokitukset ovat asiantuntijoiden laatimia, tieteellisiin tutkimuksiin perustuvia kannanottoja (suosituksia) erilaisten menetelmien käyttökelpoisuudesta ja vaikuttavuudesta asiakastyössä. Luokituksen tavoitteena on, että asiakkaalle löytyy oikein kohdennettu ja vaikuttava menetelmä, joka on valittu yhteistyössä asiakkaan kanssa, häntä kuullen ja informoiden. Luokitusta voidaan pitää asiantuntijoille suunnattuna, konkreettisena, näyttöön perustuvana työvälineenä.