Evaluering av emner og studieprogram er en viktig del i arbeidet med å skape og sikre høy studiekvalitet ved NMBU. Underveis- og sluttevaluering gir nyttige tilbakemeldinger om hva som fungerer bra, og hva som kan bli gjort bedre. 

På denne siden finner du praktiske råd til støtte for deg som skal gjennomføre formativ underveisevaluering. Denne formen for evaluering står du som underviser fritt til å velge selv, både metode og tidspunkt for gjennomføring. 

Formativ underveisevaluering er trinn 1 i NMBUs overordnede rutine for emneevaluering. Formativ evaluering er en evalueringsform som skal bidra til å fremme læringsprosessen, og gi underviser mulighet til å utvikle sin undervisning underveis. 

Spørreskjemaer

Bruk av spørreskjema som evalueringsform gjør det enkelt å sammenligne emner eller programmer med hverandre over tid. Imidlertid kan slik standardisering føre til at studentene opplever evalueringen som rutinepreget og kan miste interessen for å gi konstruktive tilbakemeldinger. Derfor bør det lages få, men gode spørreskjemaer, og man bør vurdere å benytte andre evalueringsmetoder i tillegg til spørreskjema. Det er også viktig å huske at studentenes motivasjon for å delta i evaluering av studietilbudet er svært avhengig av at resultatene tilbakeføres og kommenteres fra universitetets side.

Råd til praktisk gjennomføring av spørreundersøkelser

• Det er tidkrevende å både lage og å bearbeide spørreundersøkelser. Tenk derfor nøye gjennom hva du ønsker tilbakemelding på og hvordan du har tenkt å bruke den informasjonen du henter inn.
• Legg evalueringen til et tidspunkt der studentene har rukket å gjøre seg erfaringer.
• Annonser evalueringen på forhånd slik at studentene har tid til å foreberede seg.
• Forklar studentene betydningen av deres tilbakemeldinger og hvordan informasjonen vil bearbeides og brukes av universitetet.
• Det vil ofte være nødvendig å sende ut en påminnelse, men unngå å gjøre dette for mange ganger, da purringer kan oppleves som irriterende for studentene. 

Utforming av spørsmål og svaralternativ
Gode spørsmål og svaralternativ er nøkkelen til et godt spørreskjema. Start med å kartlegge og prioritere hvilke områder du ønsker studentenes tilbakemelding på. Deretter lager du utkast til spørsmål som dekker disse områdene. For å hjelpe deg på vei har vi opprettet en spørsmålsbank. Hent spørsmål direkte fra banken eller benytt den som inspirasjon. Nedenfor finner du en rekke tips og anbefalinger for hvordan man kan utforme gode spørsmål og svaralternativer.

1. Unngå å ta med spørsmål som du ikke har andre intensjoner med enn at det "hadde vært kjekt å vite". Spør bare om forhold som gir informasjon du har en intensjon med.
2. Formuler spørsmål som bare spør om én ting om gangen.
   Eksempel: "I hvilken grad synes du foreleseren klarte å skape engasjement og diskusjon i klassen?" Alternativt: "I hvilken grad synes du foreleseren klarte å skape engasjement?"
3. Unngå ledende og verdiladde spørsmål. Husk at også rekkefølgen på spørsmålene kan virke ledende.
4. Varier mellom enkle spørsmål (for eksempel bakgrunnsvariabler som kjønn og alder), påstander (enig/uenig) og vurderinger (stor grad/liten grad, tilfreds/utilfreds). Ved bruk av påstander - tenk nøye gjennom bruken av henholdsvis positive og negative formuleringer.
5. Unngå å bruke mange spørsmål uten svaralternativer, dvs spørsmål med åpne svar. Det krever mer innsats fra studentene å formulere egne svar enn å krysse av et passende alternativ. I mange tilfeller vil det være vanskelig å lage forhåndsdefinerte svarkategorier, men det kan være verdt en ekstra innsats for å få svar overhodet. I en del tilfeller er det likevel mest naturlig å ikke forhåndsdefinere svarkategorier, som for eksempel "Har du konkrete forslag til hvordan undervisningen kan bli bedre?"
6. Sørg for å lage utfyllende svaralternativer som oppleves som meningsfulle for samtlige av de studentene evalueringen omfatter. Det kan skape unødvendig irritasjon blant studentene dersom de ikke kjenner seg igjen i de forhåndsdefinerte svarkategoriene. Som et resultat av dette vil en del kunne miste motivasjonen og svare mer eller mindre villkårlig. Slike tilbakemeldinger kan bidra til å gi et feilaktig inntrykk av studentenes synspunkter.
7. Svaralternativene bør så langt som mulig være gjensidig utelukkende. Hvis dette ikke lar seg gjøre bør studentene få muligheten til å sette flere kryss - hvilket bør presiseres i spørsmålet.
8. Etterstreb en logisk struktur i spørreskjemaet. Det er som regel en god idé å gruppere de ulike spørsmålene tematisk. Hvis spørreskjemaet inneholder mange spørsmål kan man vurdere å gjøre skjemaet mer oversiktlig og ryddig ved hjelp av overskrifter. Overdreven bruk av spørsmål av typen "Dersom du svarte nei på forrige spørsmål, kan du angi hvorfor du valgte å ikke delta i denne undervisningen?" kan bidra til at skjemaet virker innfløkt og lite oversiktlig. Legg også litt jobb i layout og korrekturlesing. Et rotete og lite gjennomarbeidet skjema tas ofte useriøst slik at både svarprosent og validiteten på svarene blir skadelidende. 
9. Det kan være en god idé å teste spørsmålene på en utenforstående og be om tilbakemelding før du sender ut. Ofte er det vanskelig å se at et begrep kan ha flere betydninger eller at det mangler svaralternativer el.l.

Analyse av resultater fra spørreskjema
Når spørreskjemaene er samlet inn gjenstår arbeidet med å sammenstille informasjonen. Som et resultat av at skjemaet ofte innholder svar i form av både avkrysning og skrevet tekst, får man både kvantitativ og kvalitativ informasjon. Husk at de tilbakemeldingene studentene gir gjenspeiler den enkeltes students subjektive opplevelse av noe. Resultatene forteller derfor ikke nødvendigvis hvordan noe er, men hvordan noe oppleves.

• Det er viktig å lese studentenes svar i lys av eventuelle kontekstuelle faktorer som kan ha påvirket tilbakemeldingene. Sykdom i lærerstaben, nyansettelser, ombygginger, endringer i rutiner el.l kan påvirke studentenes tilbakemeldinger både direkte og indirekte.
  
  
• Vær klar over hva et tallmateriale sier noe om og hva det faktisk ikke sier noe om. Hvis for eksempel 43% av et studentkull på 250 studenter har svart at de er svært enige i påstanden "Jeg er fornøyd med min egen studieinnsats dette semesteret" betyr dette bare at nesten halvparten av studentene er fornøyd med sin egen studieinnsats dette semesteret. Resultatet bør ikke generaliseres til å gjelde noe annet enn akkurat dette.
  
  
• Vær forsiktig med å trekke slutninger om årsaker og virkninger. Dersom et kurs får svært dårlige tilbakemeldinger betyr ikke dette nødvendigvis at undervisningen er dårlig. Det kan tenkes andre forklaringer til denne type tilbakemeldinger som at tema for kurset er vanskelig og/eller at svært få studenter er engasjert i den spesifikke tematikken kurset tar opp.
  
  
• En høy svarprosent er selvfølgelig alltid ønskelig, men i tilfeller der denne er lavere enn forventet bør du forsøke å skaffe deg informasjon om hvorfor den er lav og hvilke eventuelle konsekvenser dette kan ha for dine konklusjoner. Dersom det er systematiske skjevheter i hvem som svarer kan det tenkes at man får et feilaktig inntrykk av hva den totale studentmassen egentlig mener.

Verktøy
Nettskjema er NMBUs tjeneste for online spørreundersøkelser som benyttes for å samle inn, analysere og følge opp informasjon. Logg inn med Feide.

Postkasse

Det er ikke alltid man trenger å oppsøke studentene direkte når man skal samle inn tilbakemeldinger om deres studiesituasjon. I en del tilfeller kan det være tilstrekkelig å gi studentene mulighet til selv å ta initiativ. Studentene slipper da å vente på å bli spurt for å gi tilbakemeldinger, og de blir ikke bundet av forhåndsdefinerte kategorier.

Noen svakheter ved bruk av postkasse
Bruk av postkasse overlater mye av ansvaret til den enkelte student for selv å ta initiativ. Man bør derfor være forberedt på at denne metoden ikke vil fungere like godt i alle studentgrupper. Metoden har dessuten den svakheten ved seg at postkassen kan kun bli brukt av et lite utvalg studenter som kan gi mer eller mindre representative tilbakemeldinger. Derfor kan det være hensiktsmessig å benytte postkasseevaluering som et supplement til andre evalueringsmetoder.

Praktiske råd til gjennomføring

• Postkassen kan settes opp fysisk eller på nett, for eksempel i Nettskjema. Velg et spørsmål med et åpent tekstfelt, slik at studentene kan skrive inn sine tilbakemeldinger anonymt og når det passer dem. Lenken til postkassen kan du gjøre tilgjengelig i Canvas. 
• Drøft med studentene hvordan postkassen skal fungere. Hvilke temaer som skal gis tilbakemelding på og hvor ofte, hvordan skal tilbakemeldingene sammenfattes og drøftes med studentene osv. Det viktigste er at alle partene enes om hvilken funksjon postkassen skal ha.
• Informer studentene om hvordan man gir tilbakemelding og hvem som har tilgang til å lese de meldingene om kommer inn.
• Sørg for at studentene er informert om og forstår hvordan tilbakemeldingene bearbeides og at meldingene er konfidensielle.
• Velg selv om du vil følge opp tilbakemeldinger som kommer inn underveis, eller om du oppsummerer mot slutten av kurset, og orienterer studentene om dine refleksjoner over tilbakemeldingene og om eventuelle endringer som vil bli gjennomført på bakgrunn av disse.

5-minutters lapper

Kan også kalles 2-, 3- eller 10-minutters lapper, alt ettersom. Formålet med denne metoden er at underviser setter av tid på slutten av en undervisningsøkt og ber studentene om tilbakemelding på sine opplevde erfaringer med undervisningen, både sterke og svake sider. Du kan gi studentene ganske åpne rammer, eller fokusere det mer inn på temaer du ønsker tilbakemelding på. 

Eksempel på spørsmål:

• Hvordan opplever du tilgjengeligheten på praktisk informasjon i emnet?
• I hvilken grad opplever du at informasjonen er tilstrekkelig?
• Har du forslag til hvordan den praktiske informasjonen i emnet kan kommuniseres bedre?

En annen variant er å benytte tabeller, som kan være mer eller mindre strukturerte. Her er to eksempler på slike tabeller: 
(Eksemplene er i docx slik at de kan lastes ned og redigeres).

• Tabell 1
• Tabell 2

Du kan gjennomføre evalueringene på fysisk papir eller på nett. Ønsker du å gjøre det digitalt kan du benytte nettskjema, men da må du velge spørreskjema med åpne tekstsvar. Husk at evalueringer skal være anonyme.

Sammenfatt evalueringene du har fått inn, og sett av litt tid i neste undervisningsøkt til å presentere tilbakemeldingene og de eventuelle endringer som vil gjøres på kort eller lang sikt. 

Tips: For å redusere datamengden i store emner kan du be studentene om å fylle ut tabellene gruppevis.

Runder

Runder er ment å være en uformell og relativt enkel måte å gjennomføre muntlig emneevaluering, som kan få frem ulike perspektiver i studentgruppen. Metoden går ut på at hver student får anledning til å kommentere et tema uten å bli avbrutt, for eksempel hvordan hen opplever innholdet og arbeidsformene i undervisningen så langt. Underviser kan velge å la tema være åpent, eller be om tilbakemelding på avgrensede temaer.

Runder krever relativt lite for- og etterarbeid, men metoden har noen kjøreregler:

• Orienter studentene på forhånd om at evalueringen skal gjennomføres slik at de har tid til å reflektere over tilbakemeldingen som skal gis og stille forberedt med sine synspunkter.
• Det skal være tilltatt å melde pass.
• Det skal være tillatt å gjenta det andre har kommentert tidligere.
• Underviser og medstudenter skal lytte til bidragene uten å kommentere eller avbryte.
• Studenter som av ulike grunner ikke kan møte, bør gis mulighet til å gi sine kommentarer gjennom en studenttillitsvalgt eller lignende. 

Underviser noterer studentenes kommentarer, sammenfatter tilbakemeldingene og presenterer de eventuelle endringer som vil gjøres på kort eller lang sikt.

Merk: Studenter skal ha mulighet til å vurdere emnet anonymt, derfor anbefales denne muntlige evalueringsformen å benyttes som tillegg til en anonym evaluering.

Referansegrupper

Bruk av referansegrupper er en fin måte å inkludere og ansvarliggjøre studentene i evalueringsarbeidet, og legger til rette for en god dialog om læring og undervisning mellom studenter og underviser.  

Råd til praktisk gjennomføring

• Vurder hvor mange studenter du ønsker å plukke ut til referansegruppen. Antallet bør ses i forhold til hvor stor studentgruppen er, hvordan undervisningen er organisert og intensjonen med evalueringen. Be om frivillige medlemmer og/eller foreta et tilfeldig uttrekk av studentgruppen.
• Vurder hvilke ansvarsområder de utvalgte i referansegruppen skal ha. Det er viktig at studentene får god informasjon om hva som forventes av dem. 
• Utvalget bør gjøres ved semesterstart. Vær bevisst på sammensetningen av gruppen ved å kombinere ulike variabler som kjønn, heltids-/deltidsstudent, alder etc.
• Dersom referansegrupper brukes som eneste form for evaluering av emnet anbefales det at referansegruppen og emneansvarlig møtes jevnlig, og at referansegruppen får et ansvar for å innhente informasjon jevnlig fra alle studenter i emnet.
• Det bør lages en møteplan i begynnelsen av semesteret. Vurder hvor ofte møtene skal finne sted og hvorvidt andre ansatte utover emne- eller programansvarlig skal delta. Gjør møteplanen tilgjengelig for samtlige studenter, for eksempel i Canvas ved å lage en side hvor all relevant informasjon deles med hele studentgruppen.
• I møtene bør hovedvekten ligge på å gi studentrepresentantene tid og rom til å formidle innsamlede tilbakemeldinger.
• La studentene komme med innspill til temaer som skal evalueres.
• Sørg for at det skrives et godt møtereferat som gjengir både studentrepresentantenes tilbakemeldinger og undervisernes/øvrige ansattes svar og kommentarer. Referatet bør gjøres tilgjengelig for hele studentgruppen så raskt som mulig.
• Dersom du skal evaluere et program eller et emne som strekker seg over flere semestere kan det være en ide å bytte referansegruppe underveis. Dette vil gi den ansvarlige mulighet til å komme i direkte kontakt med flere studenter samtidig som at studentene får byttet på å inneha vervet som studentrepresentant. Sørg likevel for at utskiftingen ikke går utover kontinuiteten i arbeidet. Det anbefales at gruppen treffes minimum 3-4 ganger før det etableres ny gruppe.

Denne metoden er egnet for evaluering på både emne- og programnivå, som periodisk evaluering og i mindre og større grupper.

Intervju

Intervjuer er best egnet som supplement til andre evalueringer der det har kommet frem forhold som emneansvarlig har behov for en dypere forståelse av. Intervjusamtaler med studentene er en mer omfattende og systematisk evaluering enn runder.

Råd til praktisk gjennomføring av intervju

• For ikke å sitte igjen med uhåndterlige mengder data, bør antall intervjuer ikke være for høyt. Hvor mange du velger ut må ses i forhold til det totale antallet studenter du står overfor. 
• Vurder på forhånd hvem du ønsker tilbakemeldinger fra (eksempel kjønn, deltid/heltid, studenter som har/ikke har deltatt på undervisning osv.). 
• Lag en intervjuguide. Før du setter i gang med å lage spørsmålene bør du tenke nøye gjennom hva du søker tilbakemelding på, hvordan du planlegger å bruke informasjonen og hva du forventer av tilbakemeldingen.
• Formuler spørsmålene på en måte som inviterer studentene til å fortelle, utdype og begrunne sine svar. Det kan være en god ide å formulere oppfølgingsspørsmål på forhånd.
• Det anbefales å få noen til å lese gjennom spørsmålene og komme med tilbakemeldinger før du gjennomfører intervjuene.
• Sørg for at studentene er informert om hva intervjuet skal handle om og hvilken sammenheng intervjuene skal inngå i.
• Vær tålmodig under intervjuet. Gi studenten tid til å tenke og ikke avbryt eller kommenter underveis.
• Bruker du referansegruppe i evalueringsarbeidet kan du vurdere å la studentmedlemmene ta ansvar for å gjennomføre intervjuene.