Kasvun tuen arvioinnin toimitus on luonut arviointikriteerit menetelmien kokonaisarvion määrittämiseksi. Pohjana on käytetty Kasvun tuen norjalaisen vastineen Ungsinnin arviointikriteereitä.
Arvioinnin perusteet on kuvattu lyhyesti alla. Tarkemmat yksityiskohdat arviointiprosessista löytyvät täältä. Lisäksi Kasvun tuen arvioinnin toimitus järjestää vuosittain arvioitsijakoulutuksia menetelmäarvioinneista kiinnostuneille kirjoittajille. Koulutuksien ajankohdista uutisoidaan Kasvun tuen viestintäkanavissa.
Menetelmä voi saada kokonaisarvioksi:
- Hyvin kuvatut menetelmät
- Teoreettisesti perustellut menetelmät
- Vähäinen dokumentoitu näyttö
- Kohtalainen dokumentoitu näyttö
- Vahva dokumentoitu näyttö
Menetelmä voi saada tutkimusnäytön perusteella myös kokonaisarvion Kielteiset vaikutukset ja Ei vaikutusta. Kokonaisarvio on kasaantuva eli aikaisemman kokonaisarviotason kriteereiden tulee täyttyä. Esimerkiksi menetelmä ei voi saada kokonaisarviota 3, jos menetelmä ei ole hyvin kuvattu tai se ei ole teoreettisesti perusteltu.
Menetelmistä arvioidaan menetelmämateriaalin, tutkimusnäytön ja sen laadun perusteella
- menetelmän kuvaus
- teoreettinen perusta
- vaikuttavuus
- implementointivalmius.
Tutkimusnäyttö koostuu systemaattisella kirjallisuushaulla haettuun kirjallisuuteen, toisin sanoen tutkimusartikkeleihin. Tutkimusartikkeleiden mukaanotto- ja poissulkukriteerit on kuvattu alla.
Tutkimusartikkeleiden mukaanottokriteerit:
- tutkimuksen kohderyhmä on oikea
- tutkimusartikkelissa on tutkittu menetelmän tyytyväisyyttä, toteutettavuutta, toistotarkkuutta, vaikuttavuutta, implementointia tai kustannusvaikuttavuutta
- tutkimus on tehty Suomessa, muussa Pohjoismaassa tai muussa Maailman pankin luokitellussa korkean tulotason maassa
- tutkimusartikkeli on vertaisarvioitu alkuperäistutkimus tai niistä koostuva systemaattinen katsaus tai meta-analyysi
Tutkimusartikkeleiden poissulkukriteerit:
- tutkimuksen kohderyhmä on väärä
- tutkimus on tehty Maailman pankin luokitellussa matalan tai keskitason tulotason maassa
- tutkimusartikkeli on vertaisarvioimaton (esim. pääkirjoitukset ja kommentaarit)