2. Bedömning av arbetsmetoder

Vid evidensbedömning av arbetsmetoder bedöms i allmänhet tre delområden: forskningsevidens, effektivitet och användbarhet (se t.ex. Flay m.fl. 2005; Kellam & Langevin 2003). I den finländska modellen för evidensbedömning delas de in i mindre delområden som var och en bedöms efter en egen skala. Totalbedömningen av metoden, dvs. klassificeringen, består av ett sammandrag av alla delområden. Alla arbetsmetoder har inte undersökts vetenskapligt. De kan ändå vara av hög klass, effektiva och användbara eller åtminstone innehålla element av föregående (Marklund m.fl. 2012). Följaktligen är det viktigt att även andra metoder än de vetenskapligt utforskade tas med i bedömnings- och utvecklingsprocessen. Av dessa metoder krävs ändå att de uppfyller fyra minimikrav.

Bild 2. Delområden i Tidigt stöd-klassificeringen och kriterier för intagning av metoder

Med minimikrav avses att metoden har en begränsad målgrupp, en forskningsbaserad teori och en klart definierad utbildning. Förutsatt att dessa är uppfyllda innebär det att en preliminär bedömning av metoden kan påbörjas. Med begränsad målgrupp avses här familjer med barn under 18 år. Forskningsbaserad teori avser en teoretisk referensram som baseras på aktuell teori- och forskningsinformation om barns och ungas utveckling. Med utbildning avses en noggrant definierad och väl genomförd metodutbildning som är anpassad till finländska förhållanden. Vid sidan av evidens och effektivitet är det viktigt att metoden har en specifik värdegrund som följer allmänt accepterade etiska principer för behandling. Vid bedömningen av metodens värdegrund och etiska principer bedöms bland annat enligt vilka verksamhetsprinciper metoden genomförs, hur målgruppens ”röst” blir hörd, hur respekt för klienten och ett jämställt bemötande förverkligas, dvs. man bedömer i vilken mån metodens verksamhetsprinciper är klientcentrerade samt i vilken mån de möjliggör delaktighet, är interaktiva och stärkande. Med bedömning av forskningsevidens avses bl.a. bedömning av forskningsdesign och genomförande. Bedömning av effektivitet avser bedömning av i vilken mån metoden åstadkommer önskade effekter i målgruppen. Med bedömning av användbarhet avses viktiga frågor som hör ihop med det praktiska genomförandet av arbetsmetoden, såsom tillgång till utbildning, kostnader, tillämplighet och distribution. Bedömningsprocessen av arbetsmetoderna förklaras mer detaljerat i kapitel 4.

2.2. Forskningsevidens

Forskningsdesignen är central vid bedömningen av forskningsevidens medan de övriga kriterierna fungerar som viktiga komplement. I Tidig insats-klassificeringen har den välkända fyrdelade skalan för evidensstyrka i God medicinsk praxis (stark, måttlig, svag, ingen evidens) kombinerats med kriterier som visat sig vara goda och användbara i andra länder (bl.a. Norden och Nederländerna). På den högsta nivån (stark evidens) finns den randomiserade, kontrollerade studiedesignen (RCT, randomized controlled trial), som i forskningsvärlden betraktas som en ”gyllene” standard (se t.ex. Flay m.fl. 2005; Jané-Llopis m.fl. 2010). Denna design betraktas som den mest tillförlitliga för att ta reda på om en viss önskad förändring är en effekt av metoden: en grupp behandlas med den undersökta metoden (intervention) och en kontrollgrupp behandlas ”som vanligt” (treatment as usual), samtidigt som okända och kända faktorer kontrolleras. Det är också viktigt att designen och metoderna lämpar sig för forskningsobjektet och svarar mot forskningsfrågorna. Det är alltså inte alltid möjligt eller ens meningsfullt att undersöka en metod med hjälp av en kontrollerad och randomiserad studie. Då kan till exempel kohortstudier eller fall–kontrollstudier vara ändamålsenliga, även om det i dessa studiedesigner inte är lika lätt att observera (kontrollera) om den önskade förändringen i målgruppen beror på metoden. Studien kan vara framåtblickande eller retrospektiv. Evidensen från en framåtblickande studie klassas högre, eftersom resultat från retrospektiva studier har större risk för förvrängningar (bias). Enbart studiedesignens kvalitet räcker inte för att gradera evidensen, utan bedömningen är också avhängig av andra viktiga faktorer, som till exempel studiens etiska utformning, studiens kvalitet (kompetens och samplestorlek), studiernas antal, studieresultatens enhetlighet, betydelse och relevans (tillämplighet, generaliserbarhet) (se t.ex. God medicinsk praxis, Craig m.fl. 2008). Dessa kriterier bildar ramen även för den finländska modellen.

Bild 3. Grad av forskningsevidens och forskningsdesign 


Den mest intressanta av de databaser som presenterar forskningsevidens är norska Ungsinn (www.ungsinn.no), eftersom tredje sektorn i Norge liksom i Finland är en stark aktör inom främjande och förebyggande arbete. Den norska Ungsinn-modellen (Mørch m.fl. 2008) baseras på en nederländsk modell (Veerman & Yperen, 2007). I båda modellerna klassas forskningsevidensen utgående från fyra nivåer (grader). I den nederländska modellen kallas evidensgraderna kausal, indikativ, teoretisk och beskrivande, och effektivitetsgraderna effektiv samt operativt, sannolikt och eventuellt effektiv. Även i den norska modellen hör evidensgraden nära ihop med effektiviteten, och evidensnivåerna kallas dokumenterat, operativt, sannolikt och eventuellt effektiv. Trots att forskningsevidens och effektivitet är nära förknippade med varandra, har vi i den finländska modellen bestämt oss för att bedöma forskningsevidensen separat från effekterna. I den finländska modellen ville vi för tydlighetens skull separera forskningsevidensen och metodens effekter i två bedömningsskalor bl.a. av den anledningen att inte ens en stark forskningsevidens kan garantera någon effekt. Metodens effekter kan variera från svag till stark och i vissa fall kan man trots stark forskningsevidens konstatera att metoden inte har någon effekt alls eller att effekten till och med kan vara negativ. Det är också viktigt att lyfta fram dessa nollresultat eller negativa effekter för att undvika användning av resultatlösa eller skadliga metoder.

2.3. Effekternas styrka

Av en effektiv metod krävs att den har visat sig uppnå önskade effekter i målgruppen och att studiernas målgrupp är så representativ att effekterna kan tänkas vara generaliserbara på en viss del av befolkningen även i större omfattning. Dessutom är det viktigt att effekternas styrka har mätts med en relevant mätare, med andra ord en mätare som är viktig med tanke på målgruppens välbefinnande (se t.ex. Jané-Llopis m.fl. 2010, God medicinsk praxis; Silverman & Hinshaw 2008). Viktiga värden vid bedömning av effekter är effekternas storlek och riktning (se t.ex. God medicinsk praxis). Nedanstående skala visar effektiviteten i fyra steg.

Bild 4. Metodens effektivitet och kriterier på effektivitet 

2.4. Användbarhet

Utöver evidens och effekter är det viktigt att arbetsmetoden är användbar och lämplig för de nationella förhållandena och behoven. Sådana externa ibruktagningskriterier är bl.a. faktorer som hör ihop med metodutbildning, kostnadseffektivitet och lämplighet för nationella behov. Även framgångsrik implementering (förankring) är en viktig faktor som påverkar metodens användbarhet. Implementering och tillhörande kvalitativa bedömningsmetoder har dock än så länge inte inkluderats i bedömningskriterierna. Områdena för bedömning av användbarhet har valts på basis av litteratur om evidensbedömning (se t.ex. Laajasalo & Pirkola, 2012, Jané-Llopis, m.fl. 2010: Marklund, m.fl. 2010; Weisz bl.a. 2005) samt nordiska evidensbaserade modeller. Bedömningsskalan i tre steg liknar delvis den skala som används i Sverige (http://www.socialstyrelsen.se/evidensbaseradpraktik/metodguide)

Bild 5. Delfaktorer och bedömningsskalor för användbarhet 

a) Utbildning

Vid bedömning av metodutbildning betonas bl.a. följande kriterier/faktorer som rör utbildningens innehåll, genomförande och tillgänglighet.

  • mångsidig undervisningsmetod (teoriundervisning, arbetsplatsundervisning, gruppträffar, handledning, praktisk övning)
  • tydligt utbildningsinnehåll och material
  • utbildarna har tillräcklig utbildning och erfarenhet
  • i utbildningen ingår en utvärdering av utbildningen
  • upprätthållande av metodtrohet och -kunskaper har säkerställts.

Bedömning av utbildningsbeskrivning: 0 = Utbildningen går inte att bedöma eftersom information saknas eller är otillräcklig 1 = I utbildningens / utbildningsmaterialets innehåll, genomförande och ändamålsenlighet finns klara brister och omarbetning och förtydligande krävs. 2 = I utbildningens / utbildningsmaterialets innehåll, genomförande och ändamålsenlighet finns en del brister och komplettering behövs. 3 = Utbildningens innehåll och genomförande är bra och utbildningen är brett tillgänglig.

b) Utbildningens tillgänglighet

Vid bedömning av utbildningens tillgänglighet betonas bl.a. följande kriterier/faktorer som rör utbildningens genomförande och tillgänglighet.

  • utbildningen har lätt och bred tillgänglighet
  • kostnaderna är måttliga

Bedömning av utbildningens tillgänglighet: 0 = Utbildningens tillgänglighet går inte att bedöma, information saknas eller är otillräcklig 1 = Utbildningens tillgänglighet har klara brister som kräver omarbetning och förtydligande. 2 = Utbildningens tillgänglighet har en del brister som kräver omarbetning. 3 = Utbildningen har lätt och bred tillgänglighet till måttlig kostnad.

 

c) Kostnadseffektivitet

Kostnadseffektivitet är ett separat forskningsområde. Vid bedömning av metodens kostnadseffektivitet bedöms befintliga finländska, nordiska eller utländska beräkningar av metodens kostnadseffektivitet. Bedömning av kostnadseffektivitet: 0 = Ingen kostnadseffektivitet eller den går inte att bedöma, eftersom information saknas eller är bristfällig 1 = Eventuellt/sannolikt kostnadseffektiv (i Finland, Norden eller andra länder) 2 = I någon mån kostnadseffektiv (i Finland eller Norden) 3 = Är kostnadseffektiv (i Finland eller Norden)

d) Tillämplighet för nationella behov

Utöver forskningsevidens är det beträffande användningen av metoden viktigt att den är lämplig för finländska förhållanden. Med detta avses i vid bemärkelse att det finns ett nationellt behov av metoden, hur metoden tas emot på fältet och/eller är grundad i verksamhetssätten på fältet och att metoden är socialpolitiskt motiverad. Utöver detta kan tillämpligheten bedömas utifrån i vilken mån metoden har använts i Finland eller de nordiska länderna. I vissa länder, t.ex. Norge, har den införlivats i bedömningen av evidensnivån. I Finland bestämde vi oss för att bedöma metodens tillämplighet för nationella förhållanden som en separat, oberoende faktor som inte ingår de egentliga kriterierna vid evidensbedömningen. Bedömning av tillämplighet 0 = Tillämpligheten kan inte bedömas, eftersom metoden inte har använts/undersökts i Finland eller Norden 1 = Svag tillämplighet för finländska förhållanden, eftersom den inte använts eller undersökts i Finland, men det finns användarerfarenheter och/eller forskningsresultat från Norden 2 = Måttlig tillämplighet för finländska förhållanden (viss användnings- och/eller forskningsinformation från Finland eller Norden). 3 = Tillämpligheten för finländska förhållanden är god (mycket/riklig användnings- och/eller forskningsinformation från Finland eller Norden).

e) Mätning av funktionsduglighet

I utbildningen, användningen och spridningen av metoden har det integrerats en bedömning (mätning) av metodens funktionsduglighet, dvs. hur de som utbildas, metodens användare och målgruppen upplever metoden, vilket garanterar fortlöpande bedömning, utveckling och övervakning av metodens kvalitet på praktisk nivå. Bedömning av mätningen av metodens funktionsduglighet 0 = Mätningen av metodens funktionsduglighet kan inte bedömas eftersom det saknas beskrivning av mätningen eller bedömningsmetoden är otillräcklig 1 = Mätning av metodens funktionsduglighet kräver omarbetning och förtydligande. 2 = Mätningen av metodens funktionsduglighet kräver komplettering. 3 = Mätning av metodens funktionsduglighet har genomförts.

Som avslutning på bedömningen kan man göra en sammanfattning av dess styrkor och svagheter samt ge förbättrings- och utvecklingsförslag.

2.5. Sammanfattningstabell över klassificering och bedömning

I slutet av bedömningsprocessen samlas bedömningarna av forskningsevidens, effekter och användbarhet ihop och metoden får en klassning 0–3 enligt nedanstående tabell. Klassificeringen baseras på a) helhetsbedömning, som är summan av evidensgrad och effekternas styrka samt b) användbarhet, för vilken metoden kan få 0–15 poäng. Om poängen för helhetsbedömning och användbarhet hamnar på olika nivåer i klassificeringen, bestämmer den lägsta poängen klassificeringen. Om till exempel metoden får sex poäng i helhetsbedömning utifrån evidensgrad och effektstyrka, men åtta poäng för användbarhet, hamnar metoden på nivå två i klassificeringen. Klasserna kan också markeras med stjärnor. Starka arbetsmetoder kan få upp till tre stjärnor ***. Ganska starka metoder får två stjärnor **.  Metoder som är svagare än så får en stjärna *. Metoder som utifrån forskningsdata inte har någon evidens och/eller effekt eller om det inte finns tillräcklig information om deras användbarhet i finländska förhållanden får ingen stjärna alls. Metoden kan också klassificeras i kategorin ”ej bedömningsbar” om en studie fortfarande pågår.

Bild 6. Helhetsbedömning och klassificering av metoder