3. Process för utvärdering av arbetsmetoder

3.1. Aktörer och innehåll i utvärderingsprocessen

Vid uppbyggandet av utvärderingsprocessen av metoderna har vi tagit exempel både från de nordiska länderna och från nationell utvärderings praxis av arbetsmetoder, som vi anpassar till Tidigt stöd-miljön i tillämpliga delar. Vid inhämtandet av tillämpbar praxis har vi strävat efter att hitta en så enkel och transparent utvärderingsmodell som möjligt. Utvärderingsgruppens kärna består av en vetenskapliga chefredaktör och en panel med experter, det så kallade vetenskapliga rådet.

Det vetenskapliga rådets roll är att stödja den vetenskapliga chefredaktören i vidareutvecklingen av kriterierna för utvärdering av metoderna för tidigt stöd. Det vetenskapliga rådet gör en helhetsbedömning och beslutar om klassificering av metoderna på basis av den vetenskapliga chefredaktörens presentation. Rådet består av nationella experter inom bl.a. psykologi, psykiatri och pedagogik (rådets ordförande Kristian Wahlbeck, Föreningen för mental hälsa i Finland; Eeva Aronen, Helsingfors universitet; Ilse Julkunen, Helsingfors universitet; Mirjam Kalland, Helsingfors universitet; Jorma Komulainen, Duodecim; Marjukka Mäkelä, Institutet för hälsa och välfärd; Raija-Leena Punamäki, Tammerfors universitet; Nina Sajaniemi, Helsingfors universitet; Christina Salmivalli, Åbo universitet; Päivi Santalahti, Institutet för hälsa och välfärd; Marja Holmila, Institutet för hälsa och välfärd).

3.2. Stegen i utvärderingsprocessen

Insamling av metodinformationen

Utvärderingsprocessen inleds med insamling av information, som ligger till grund för utvärderingen av metoden med avseende på forskningsevidens, effektivitet och användbarhet. Information om metoden (dokumentation) kan finnas i många olika former, men den bör också vara åtkomlig för dem som använder arbetsmetoden. Informationen kan bestå av till exempel en manual för arbetsmetoden samt rapporter eller (vetenskapliga) artiklar som anknyter till metoden. Information hämtas också från databaser inom området. Målet är att göra en så noggrann, ändamålsenlig och objektiv bedömning som möjligt. I den finländska modellen samlas metodinformationen in av den vetenskapliga chefredaktören för Tidigt stöd -redaktion.

Utvärderarna

I den finländska modellen består utvärderarna av en expertpanel, dvs. det vetenskapliga rådet, vars medlemmar har en omfattande vetenskaplig bakgrund med nära anknytning till stöd för barn- och familjer. I arbetet betonas objektivitet och neutralitet. Det betyder att personer som t.ex. har varit med och utvecklat, spritt eller ansvarat för utbildning i metoden eller personer som representerar en konkurrerande metod inte får ansvara för utvärderingen. Däremot är det rekommendabelt att den som utvärderar har kunskaper och erfarenheter om metoderna och bakomliggande fakta beträffande metoden. Utöver den innehållsmässiga kunskapen är det viktigt att någon av utvärderarna har gedigen kunskap/kännedom om psykometrik.

Utvärderingsmötena

Det vetenskapliga rådet samlas varje halvår till ett utvärderingsmöte. Som grund för expertpanelens utvärderingsarbete ligger den vetenskapliga chefredaktörens sammanfattning av metoden och förslag till klassificering. Vid utarbetandet av sammanfattningen samarbetar chefredaktören med utvecklaren av den metod som då utvärderas och/eller en som använder metoden på fältet samt en medlem av det vetenskapliga rådet som valts till ansvarig för den metod som ska bedömas.

Sammanfattningen består av en skriftlig uppsummering samt en sammanfattande skala, som visar förslaget till klassificering indelat efter grad av forskningsevidens, effektivitet och användbarhet. Det vetenskapliga rådets konsensusinriktade arbetssätt med ovanstående skriftliga verktyg garanterar att utvärderarna på ett enhetligt sätt tar hänsyn till samma kriterier för evidens, effektivitet och användbarhet. Dessutom grundar sig arbetsgruppens arbete på objektivitet och opartiskhet. I slutet av bedömningen summeras metodens styrkor och svagheter med särskild uppmärksamhet på metodens praktiska funktionalitet. Till sist fattas beslut om metodens klassificering. Expertpanelen kan även ge förslag till förbättringar.

Fortsatt bearbetning av resultaten för utvärderingen

När expertpanelen har gått igenom materialet som är under utvärdering gör redaktionen för Tidigt stöd ett utkast till sammanfattning av utvärderingen. Utkastet till en sammanfattning, inklusive klassificeringen, skickas för granskning och kommentarer till representanterna för metoden, som får möjlighet att korrigera eventuella felaktigheter i utvärderingen. Redaktionen för Tidigt stöd utarbetar den slutliga versionen av sammanfattningen och klassificeringen för metoden.

Klassificeringen

Syftet med utvärderingen och klassificeringen av olika evidensbaserade metoder är att stödja yrkespersonernas beslutsfattande i klientarbetet. Klassificeringen är experternas ställningstagande (rekommendationer) utifrån vetenskapliga studier om olika metoders användbarhet och effektivitet i klientarbetet. Målet med klassificeringen är att göra det möjligt att i klientarbete hitta en rätt riktad och effektiv metod, som är vald i samarbete med den berörda personen som har fått tillräcklig information om metoden. Klassificeringen kan betraktas som ett konkret och evidensbaserat verktyg för experter.