SMART
Second Chance Schools Working with Systematic Measurement of Outcomes
www.edu-smart.eu
effektmåling i second chance skoler
www.edu-smart.eu
Dokumentation af succesfaktorer i uformal læring:
HÅNDBOG TIL POLITISKE BESLUTNINGSTAGERE
Indhold
1. Introduktion af håndbogen til politiske beslutningstagere...
1.1 Formålet med håndbogen til politiske beslutningstagere...
1.2 Præsentation af SMART-projektet...
2. De væsentligste resultater...
2.1 Litteraturgennemgang...
2.2 SMS: Systematisk effektmålingssystem...
2.3 Håndbog til lærere...
2.4 Vejledning til organisationen...
3. De væsentligste anbefalinger og vejledninger...
3.1 Hvad er vejledningerne og udfordringerne, når SMS implementeres?...
3.2 Hvad er de væsentligste anbefalinger...
5 5 6
7 7 8 10 11
13 13 15
Håndbog til politiske beslutningstagere
1. Introduktion af håndbogen til politiske beslutningstagere
Uddannelsesorganisationerne har viden og information om elevernes akademiske fremgang fra karaktersystemer og andre områder. Der er dog et klart et hul i organisationernes information og viden om udviklingen i elevernes sociale, følelsesmæssige og personlige færdigheder. SMART- projektet adresserer disse huller og har udviklet en kvalitetsramme, der kan bruges af udbydere af second chance uddannelse. Et vigtigt værktøj i kvalitetsrammen er det smarte effektmålingssystem (Smart Measurement System – SMS), og dets fokus er på at validere den uformelle læring, og hvor langt eleverne i tilbuddene er kommet.
1.1 Formålet med håndbogen til politiske beslutningstagere Formålet med håndbogen er at støtte politiske beslutningstagere ved at gøre dem i stand til at træffe informerede beslutninger omkring finansiering af second chance uddannelse eller implementering af second chance metoder i den bredere uddannelse.
Håndbogen giver politiske anbefalinger og giver vejledning til at strukturere et kvalitetssikringssystem, der dokumenterer succesfaktorer i second chance uddannelse og værdien af uformel læring. Håndbogen trækker på resultater fra litteraturgennemgangen, udviklingen af et kvalitetssikringssystem (SMS system), Håndbog til lærere og Vejledning til organisationen. De er tilgængelige på SMART-projektets website på www.edu-smart.eu.
Vejledningen i denne håndbog vil give beslutningstagere rationalet for at sætte selvmonitorerings- og selvevalueringssystemer op, giver anbefalinger og en struktur, der faciliterer dokumentation og retfærdiggørelse af succesfaktorer i uformel læring, der kan tilpasses helbredende, forebyggende og interventionsforanstaltninger.
Håndbogen giver politiske anbefalinger og giver vejledning til at strukturere et kvalitetssikringssystem, der dokumenterer succesfaktorer i second chance uddannelse og værdien af uformel læring.
SMART har fokus på at validere og dokumentere den uformelle læring, og hvor langt eleverne i tilbuddene er kommet.
1.2 Præsentation af SMART-projektet
SMART-projektets mål er at udvikle en kvalitetsramme, der kan bruges af udbydere af ikke-formel og uformel læring, og som vil gøre udbydere i stand til at dokumentere deres succesfaktorer og forbedre kvaliteten og relevansen af læringstilbud indenfor uddannelse, træning og ungdomsarbejde. Organisationers kapacitet til at levere second chance uddannelse af høj kvalitet, som vil bidrage til at forebygge frafald og promovere svagtstillede gruppers deltagelse i samfundet, vil blive forbedret.
SMART opfordrer til interessentinvolvering og kvalitetsforbedring og ansvarlighed på alle niveauer igennem en ”bottom-up” tilgang til udvikling af et selvevalueringssystem. Interessenter vil dermed føle ejerskab til den systematiske måling af succesfaktorer og vil kortlægge arbejde, der allerede finder sted, fremfor at bruge en ”tvungen” model.
Lærere og undervisere spiller en vigtig rolle i at dele bedste praksis inden for selvevaluering og selvmonitorering og i at bruge deres viden og kompetencer om kvalitetssikring til at udvikle et system, der er relevant og tilgængeligt for udbydere af second chance uddannelse eller andre udbydere af uformel og ikke-formel læring. Undervisningsprogrammet er målrettet lærere/undervisere og andre fagpersoner, der arbejder inden for second chance uddannelse. Ligeledes er det for de personer, der anvender uformelle læringsmetoder og fokuserer på at udvikle en forståelse af ansvarlighed, og hvordan uformel læring kan dokumenteres og retfærdiggøres igennem selvovervågning og selvmonitorering SMART-projektet er finansieret under Erasmus+-programmet, Nøgle Aktion 2 og Strategisk Partnerskab og varede i 24 måneder fra september 2014 til july 2016. Projektet involverede 7 partnere fra Danmark, Irland, Belgien, Italien og Holland og repræsenterede universiteter, second chance skoler, regionale myndigheder og organisationer fra civilsamfundet.
SMART opfordrer til interessentinvolvering og kvalitetsforbedring og ansvarlighed på alle niveauer igennem en ”bottom-up” tilgang til udvikling af et selvevalueringssystem.
Organisationers kapacitet til at levere second chance uddannelse af høj kvalitet, som vil bidrage til at forebygge frafald og promovere svagtstillede gruppers deltagelse i samfundet, vil blive forbedret.
2. De væsentligste resultater
2.1 Litteraturgennemgang
Skoler udvikler både formelle og uformelle færdigheder, men de uformelle færdigheder er ikke så veldokumenterede. I SMART-projektet defineres de uformelle færdigheder som elevens personlige, nøgle og sociale kompetencer. Uformel læring refererer til den proces, der handler om at opnå de færdigheder, der er vigtige for personligt velvære, succes og at være effektfuld i en bred vifte af situationer.
Når de forskellige second chance uddannelsessystemer udforskes, er det tydeligt, at politikker og praksis for at måle og dokumentere succesfaktor i second chance tilbud og skoler er meget forskellige i forskellige lande i Europa. Partnerne i SMART-projektet har reflekteret over den forskellige praksis/politikker, der eksisterer, og diskuteret målene for second chance uddannelse. De kan variere indenfor det samme land, over tid og imellem lande. Mål for second chance uddannelse kan være:
• fokusurede på beskæftigelse
• fokuserede på videregående uddannelse
• vocational education and training focused
Størstedelen af dokumentationen fokuserer på slutresultatet, og resultaterne måles efter, eleverne har forladt skolen. Der er derfor et hul i dokumentationen på måling af den kontinuerlige udvikling af uformelle færdigheder, og de små skridt der tages på vejen til at nå målene.
Målesystemer er ikke i stand til at forklare, om resultaterne kun kan tilskrives indsatserne. Måling og dokumentation af succesfaktorer kan dog bruges som en indikation på dette. Målesystemet, uanset om det måler de akademiske, sociale eller personlige færdigheder, kan ikke stå alene, og det kan heller ikke erstatte den erfaring og faglighed, de medarbejdere, der arbejder indenfor disse uddannelsesmiljøer, har; det kan kun supplere dette.
Der er et hul i dokumentationen på måling af den kontinuerlige udvikling af uformelle færdigheder, og de små skridt der tages på vejen til at nå målene.
Målesystemet kan ikke stå alene, og det kan heller ikke erstatte den erfaring og faglighed, de medarbejdere, der arbejder indenfor disse uddannelsesmiljøer, har;
det kan kun supplere dette.
2.2 The SMS: Systematic Measurement System
Systematisk effektmåling giver en organiation kontinuerlig viden omkring resultaterne af det arbejde, som organisationen søger at opnå.
Det er et værktøj, der kan bruges til at udvikle organisationen kontinuerligt og på den måde sikre, at organisationen opnår de bedst mulige resultater for dens elever.
Samtidig er det et værktøj, der kan bruges til at dokumentere resultaterne internt såvel som eksternt.
SMS er blevet udviklet på baggrund af den logiske model, som har givet indsigt i, hvad der ville være relevant at inkludere i målingen.
SMS indsamler data, der kan beskrive de resultater, en skole ønsker at opnå for eleverne, og hvilke aktiviteter skolen udfører for at at opnå de tilsigtede effekter og forandringer (resultater). Den logiske model beskriver forholdet imellem teori og praksis. Den beskriver formålet med skolen (de strategiske mål/effekter), skolens ønskede resultater for målgruppen (resultater på kort-, mellem- og langt sigt), og praksis på skolen (aktiviteter og metoder (indsatster). Dette kan illustreres med modellen vist nedenfor:
Til venstre for linjen er de ting, der kan planlægges og monitoreres, og som kan tilpasses eller ændres direkte. Dette omfatter ressourcer og aktiviteter. Ressourcer dækker over menneskelige, økonomiske og organisatoriske ressourcer. Aktiviteter udgør alt det, organisationen gør med ressourcerne: det er tilgange, metoder og aktiviteter, der sættes i gang for at skabe de tilsigtede resultater.
Til højre for linjen er de tilsigtede resultater af aktiviteterne. De kan kun tilpasses eller ændres indirekte, da det er de resultater, en organisation håber at opnå igennem nogle givne aktiviteter: Det er resultater på kort, mellemlangt og langt sigt såvel som organisationens overordnede strategiske målsætninger.
I udviklingen af en logisk model skaber organisationen klarhed over dens ideer om sammenhængen imellem de aktiviteter, den sætter i gang, og de tilsigtede resultater af aktiviteterne.
E-Platform: For at hjælpe organisationen i processen har SMART- projektet udviklet en liste af forud-definerede kvalitetsindikatorer og måleindikatorer og lagt dem på en e-platform. Organisationen kan bruge platformen til at lave sit eget spørgeskema. Spørgeskemaet laves ved at vælge imellem de forskellige kategorier af kvalitative indikatorer. Hver kvalitativ indikator har en række relaterede spørgsmål (måleindikatorerne), som en organisation kan vælge imellem. E-platformen kan findes her http://52.38.131.123:8080/smstool/login
Den logiske model bruges til at kortlægge skolens arbejde, og den systematiske effektmåling (SMS) er en del af den dokumentation, der kan beskrive de resultater, en skole ønsker at opnå for eleverne, og hvilke aktiviteter skolen udfører for at opnå de tilsigtede effekter og forandringer.
SMART-projektet har udviklet en liste af foruddefinerede kvalitetsindikatorer og måleindikatorer og lagt dem på en e-platform.
Organisationen kan bruge platformen til at lave sit eget spørgeskema.
2.3 Håndbog til lærere
Håndbogen er en vejledning til lærere for at gøre dem i stand til at implementere selvmonitorering og selvevaluering af deres praksis.
Håndbogen kan bruges som en støttevejledning ved kurser, som en
“referencebibel” efter kurset og som en selvstændig vejledning til lærere.
Håndbogen giver rationalet bag monitorering og evaluering, vejledning til at implementere processen, eksempler på god praksis og eksempler på skabeloner og værktøjer.
Det anbefales, at lærere deltager i et undervisningsprogram, der adresserer hullerne i lærernes/undervisernes viden og færdigheder og introducerer den logiske model, E-platformen og indsamlingen og brugen af data, så de bliver i stand til at forberede og implementere et systematisk effektmålingsssystem in deres egne organisationer ved brug af en skridt-for-skridt handleplan.
Den logiske model bruges til at kortlægge skolens/centrets arbejde, og den systematiske effektmåling (SMS) er en del af dokumentationen.
Den model, der introduceres i Håndbog til lærere, måler de kortsigtede resultater. Grunden til, at der fokuseres på de kortsigtede resultater, er, at det giver organisationen større mulighed for løbende at tilpasse tilgange, metoder eller aktiviteter, i mens eleverne stadig er i gang med skolen eller tilbuddet, hvis de forventede resultater ikke opnås. Derudover er der ofte andre datakilder i skolens kvalitetsramme, der giver viden omkring de langsigtede resultater. Det kunne eksempelvis være statistik på, hvor mange elever, der gennemfører en ungdomsuddannelse, efter de er færdige med tilbuddet.
I Håndbog til lærere vises det, hvordan alle interessenter vil have ejerskab til systematisk måling af succesfaktorer ved at kortlægge arbejde, der allerede finder sted, fremfor at have en “tvungen” model.
Det anerkendes, at lærere og undervisere spiller en vigtig rolle i at dele bedste praksis indenfor selvevaluering og selvmonitorering, og i forhold til at bruge deres viden og kompetencer om kvalitetssikring til at lave et system, der er relevant og tilgængeligt for udbydere af second chance uddannelse eller andre udbydere af uformel og ikke-formel læring.
Håndbogen reflekterer også over vigtigheden af at huske, at resultaterne af målingerne er en afspejling af en proces imellem eleverne, lærerne og organisationen som sådan. Resultaterne kan ikke og skal ikke ses som en evaluering af elevernes kompetencer eller af lærernes eller organisationens færdigheder. Det betyder, at de beslutninger, der træffes på baggrund af resultaterne skal tage højde for alle niveauer i et helhedsbillede af organisationen.
2.4 Vejledning til organisationen
Vejledning til organisationen beskriver, hvordan organisationer kan understøtte implementeringen af måling af bløde færdigheder i second chance uddannelsesmiljøer. Den forklarer de centrale koncepter og den praksis, der blev identificeret og designet i SMART-projektet. Den udforsker, hvordan organisationer kan udvikle et kvalitetsrammesystem, der måler elevernes bløde færdigheder.
Organisationer har brug for data for at måle udviklingen og dokumentere deres arbejde. Ved at lave et kvalitetsrammesystem, der måler elevernes bløde færdigheder, kan organisationen transformere viden til data. Det betyder, at organisationen kan gå fra at have personlig og implicit viden om eleverne til at have eksplicit data (målingerne), der kan deles, og at udviklingen kan monitoreres.
Målingerne kan bruges som et dialogredskab, både imellem ledelsen, lærerne og andre medarbejdere, internt i de forskellige afdelinger/
teams såvel som på tværs af teams og imellem lærere og elever. De kan også bruges som et dialog- og dokumentationsredskab af politiske beslutningstagere og andre interessenter.
Vejledningen udtrykker, at det er meget vigtigt at huske, at resultaterne af målingerne er en afspejling af en proces imellem eleverne, lærerne Håndbogen til lærere fokuserer på, hvordan alle interessenter vil have ejerskab til systematisk effektmåling af succesfaktorer ved at kortlægge arbejde, der allerede finder sted, fremfor at have en “tvungen” model.
Håndbog til lærere giver rationalet bag monitorering og evaluering, vejledning til at implementere processen, eksempler på god praksis og eksempler på skabeloner og værktøjer.
og organisationen som sådan. Det er også vigtigt at huske, resultaterne ikke kan og ikke skal ses som en evaluering af elevernes kompetencer eller af lærernes eller organisationens færdigheder. Det betyder, at de beslutninger, der træffes på baggrund af resultaterne skal tage højde for alle niveauer i et helhedsbillede af organisationen.
Det er også meget vigtigt, at organisationen værdsætter målingen af udviklingen i bløde færdigheder som en del af den overordnede måde, centret/skolen arbejder på. Hvis det er tilfældet, vil det kræve et kulturelt skift i forhold til at acceptere resultaterne, der er blevet udviklet for disse unge mennesker som et resultat af valideringen af den uformelle læring, der er blevet dokumenteret og bevist på E-platformen. Anerkendelsen af de bløde færdigheder, der er blevet udviklet i disse unge mennesker, skal også ses på samme måde som de mere håndgribelige færdigheder, der er blevet opnået, såsom certificeringsresultater o.s.v.
The Organisational Handbook highlights that the measurement of soft skills development must be seen as part of the overall workings of the centre/school and soft skills must be seen in a similar light as the hard skills.
It is important to remember that the results of the measurements are a reflection of a process between the students, the teachers and the organisation.
3. De væsentligste anbefalinger og vejledninger
Der er øget fokus på, at uddannelsesorganisationer demonstrerer effektivitet. De fleste skoler og organisationer har en eller anden form for kvalitetsramme og indsamler forskellige slags data, der giver viden omkring organisationens funktion og elevernes udvikling. Mange skoler og organisationer har ikke adgang til datakilder, der giver systematisk information omkring udviklingen i elevernes bløde færdigheder i løbet af tilbuddet. Der er et klart hul i informationen og viden, når det kommer til udviklingen i elevernes sociale og personlige færdigheder. SMART- projektet adresserer hullerne og har udviklet en kvalitetsramme og et smart effektmålingssystem (SMS), der fokuserer på at validere den uformelle læring, og det, eleverne i tilbuddet, har opnået.
Brugen af et systematisk effektmålingssystem vedrørende fremgangen i sociale og personlige færdigheder kan supplere de eksisterende informationskilder om eleverne, f.eks. karakterer og tilstedeværelsesprotokoller. Hvis al informationen indsamles og anvendes systematisk, vil det give et faktabaseret kvalitetssystem.
3.1 Hvad er vejledningerne og udfordringerne, når SMS implementeres?
Det er vigtigt at huske på, at forandring af nuværende praksis kan opfattes negativt i organisationen. Det kan være en god ide at identificere forandringsagenter, som er personer, der vil støtte implementeringen af effektmålingssystemet og vil arbejde positivt med det i medarbejderstaben.
Det er også en god ide at vælge en projektkoordinator og muligvis en arbejdsgruppe, som kan planlægge processen, holde overblikket og være ansvarlig for implementeringen af de forskellige dele og faser. Den første del er at analysere den organisatoriske kontekst og udfordringer: Hvad skal forandres og implementeres, og hvad er de mulige forhindringer for disse forandringer? Når kontektsten er blevet identificeret, kan de proceduremæssige forandringer finde sted. SMART har udviklet den følgende vejledning til processen.
1. En analyse af de ledelses- og evalueringssystemer som projektet søger at supplere eller ændre, og identifikation af de personer, der vil facilitere forandringen i skolen.
2. En skriftlig erklæring der udtrykker de forandringer, der vil ske på lang sigt med implementeringen af det systematiske effektmålingssystem.
3. En tidsramme og en skridt-for-skridt handleplan for implementeringen af det systematiske effektmålingssystem, og en workshop for lærere og andre medarbejdere, så de kan præsenteres for systemet.
4. En feedback seance der består af en diskussion og en udveksling af refleksioner over de forandringer, implementeringen af effektmålingssystemet forventer at medføre, samt de fordele og begrænsninger, det kunne give for skolen/organisationen.
Den øverste ledelse og afdelingslederne må være enige om at dedikere tid og ressourcer til at lave en logisk model og udvikle, implementere og vedtage et systematisk effektmålingssystem (SMS). Organisationen er nødt til at monitorere og løbende udvikle modellen, at implementere og bruge den data det systematiske effektmålingssystem vil give og involvere medarbejderne i de forskellige faser.
De følgende punkter anses for at være de store udfordringer:
• At overvinde kulturen i organisationen
• Budget til CPD
• Abejdstilrettelæggelse for medarbejderne/kontrakter i organisationen
• Medarbejdernes viden til at implementere SMS
• Værdsættelse på mange niveauer af den viden/dokumentation, der genereres
• Frigørelse af medarbejderne så de kan gøre dette arbejde effektivt De centrale udfordringer når SMS implementeres kan være, at der er modstand mod forandringer i organisationen, og at den dokumentation, der genereres, ikke værdsættes på alle niveauer. Budgettet kan også være en udfordring såvel som medarbejdernes arbejdstilrettelæggelse og at frigøre medarbejderne til at arbejde effektivt og deltage i kurset.
3.2 Hvad er de væsentligste anbefalinger
Det anbefales, at uddannelsesorganisationer forbereder organisationen og ledelsen på de kommende forandringer, før de begynder at lave et systematisk effektmålingssystem. Det er essentielt, at ledelsen er aktivt engageret i beslutningsprocessen, udviklingen og implementeringen af systemet. Dette gælder ikke kun den øverste ledelse, men for eksempel også afdelingsledere og medarbejderne generelt.
SMART opfordrer til interessentinvolvering, kvalitetsforbedring og ansvarlighed på alle niveauer igennem en “bottom up” tilgang. Det anbefales, at et sæt klare og sammenhængende politikker, der klart udtrykker, at medarbejderne har en stor rolle at spille i forhold til udviklingen af deres elevers bløde færdigheder, skal skrives i organisationens medarbejderhåndbog.
SMART anbefaler, at medarbejderne kontinuerligt gives mulighed for faglig udvikling, før de begynder at bruge SMS-modellen. Dette blev meget klart udtrykt i evalueringen af undervisningen. Medarbejderne har ikke kun brug for træning i e-platformens funktionalitet, de skal også føres igennem en proces, hvor de evaluerer deres egne undervisningsmetoder og tilgange med kritiske øjne. Det kræver tid og plads at gøre dette i et miljø, der opfordrer til denne type analyse på mange forskelige niveauer.
Det anbefales, at der fra et organisationsperspektiv er en klar accept af, at medarbejdene får tildelt tid til at deltage i medarbejdermøder, at udfylde e-platformen og har tid til reflektion over de unge menneskers fremgang i forhold til udvikling af bløde færdigheder.
SMART anbefaler, at medarbejderne kontinuerligt gives mulighed for faglig udvikling, før de begynder at bruge SMS-modellen. Det anbefales, at medarbejderne får kursus i e-platformens funktionalitet, og de skal føres igennem en proces, hvor de evaluerer deres egne undervisningsmetoder og tilgange. Det kræver tid og plads at gøre dette i et miljø, der opfordrer til denne type analyse på mange forskellige niveauer.
Det anbefales, at organisationer skriver en politik, der klart udtrykker, at medarbejderne har en stor rolle at spille i udviklingen af bløde færdigheder færdigheder for eleverne.
Der skal være procedurer til at evaluere kvaliteten af undervisning og læring i klasseværelset for at sikre, at kritisk tænkning metoder anvendes af medarbejderne.
Det anbefales, at dette er en del af evalueringsprocesserne for kvalitetsrammen indenfor centrets/skolens overordnede kvalitetssikringssystem.
facebook.com/edusmart.eu
The European Commission support for the production of this publication does not constitute an endorsement of the contents which reflects the views only of the authors, and the Commission cannot be held responsible for any use which may be made of the information contained therein.
The SMART project has been launched under the Erasmus+ Programme, Key Action 2 - Strategic Partnership for Adult Education (September 2014 | August 2016).
