Stikkordarkiv: eksamen

Kan vi virkelig etablere gode alternativer til eksamen?

Eksamen er avlyst i år. Bør vi allikevel beholde eksamen i fremtiden?

Mange har ment mye om eksamen denne våren. Jeg er blant dem som ser argumenter både for og imot å beholde eksamen, og som ofte trenger jeg å samle tankene mine om dette. Så her kommer en samling argumenter om eksamen. Kanskje dette kan klargjøre noen av dine tanker også, kjære leser.

Trenger vi eksamen for å sortere elevene?

Den første avklaringen jeg gjør inne i mitt eget hode om eksamen, er å huske at eksamen og standpunktkarakterer er ulike vurderingsformer som gir en ulik vurdering av elevene. Samtidig er de to vurderingsformene en del av det samme vurderingssystemet.

Mitt første spørsmål til meg selv blir da: Trenger vi eksamen når elevene får standpunktkarakterer? Noen vil kanskje snu spørsmålet og tenke som man gjør i andre land: trenger lærere å gi standpunktkarakterer når vi har eksamen? 

Et viktig formål med karakterer i norsk skole er å skille og sortere elevene. Mange skolefolk liker det dårlig, men en av oppgavene som samfunnet har pålagt skolen, er å fortelle hvilke elever som viser best kompetanse innenfor noen (nokså avgrensede) områder. (Husk at det er deler av skolens oppdrag som karakterene ikke sier noe om, men det er ikke poenget her).

Denne sorteringen er langt viktigere etter videregående skole enn etter grunnskolen. Siden alle elever er garantert plass på videregående skole, er sorteringen etter 10. trinn langt mindre viktig enn etter videregående skole. Kanskje bør vi i vår felles og offentlige tenkning om skolen snakke om eksamen etter 10. trinn og på videregående skole som to ulike saker. Det er mitt inntrykk at mange snakker om eksamen som om det er en enhetlig størrelse. Kan man kutte ut, eller endre, eksamen etter 10. trinn uten å gjøre det samme med eksamener på videregående skole? 

Eller kan vi etablere andre systemer som skal sortere elevene til høyere utdanning, for eksempel opptaksprøver? Eksamensutvalget, som avsluttet sitt arbeid i januar 2020, drøfter dette. De peker også på at opptakssystemer (eksamen, opptaksprøver eller annet) må være praktisk gjennomførbare.

Er eksamen rettferdig?

For mange er det et viktig argument for å beholde eksamen at elevene er anonyme for de som setter karakter. Dette er tilfelle ved skriftlig eksamen, men ikke ved muntlig (lokalt gitt) eksamen. Begrunnelsen for dette argumentet er at den sluttvurderingen elevene får, skal være rettferdig. Eller kanskje vi skal bruke det engelske ordet «fair». 

Men er eksamen slik den hare blitt gjennomført i grunnskolen og på videregående skole, rettferdig? Rettferdighet ved eksamen betyr blant annet at ulike elever får samme bedømming (altså samme karakter) dersom den faglige kompetansen de viser er like god. Særlig på skriftlig eksamen i norsk er dette ikke alltid tilfelle. Forskere snakker gjerne om sensorulikhet, og ved skriftlig eksamen gir noen sensorer ulik bedømming. Derfor er det etablert en ordning med oppmenn slik at ytterligere en person vurderer en besvarelse dersom de to opprinnelige sensorene ved skriftlig eksamen ikke er enige. Jeg har i et tidligere blogginnlegg brukt Svein-Erik Andreassens sammenligning med skihopp. I skihopp er det fem stildommere mens det på skriftlig eksamen i Norge er maksimalt tre «dommere». Det ser altså ut til at skihopp er viktigere enn eksamen.

Bilde: Pixabay

En annen side ved rettferdighet og eksamen er trekkordningen. Mange jeg snakker med i Norge oppfatter trekkordningen som rettferdig siden den er tilfeldig. Det var derfor svært interessant å høre professor Sigrid Blömeke på UiOs faglige frokost om eksamen i februar. Blömeke ledet eksepertutvalget om eksamen. Hun er tysk og ser dermed det norske systemet delvis utenfra. Da hun kom til Norge, oppfattet hun trekkordningen ved eksamen som svært urettferdig. Siden elevene blir trukket ut til eksamen, risikerer de at fag de presterer svakt i, vil veie tyngre på vitnemålet enn fag de presterer godt i – og vice versa, og dette slår vilkårlig ut for ulike elever. Eksamensutvalget foreslår at vi i Norge utreder en ordning der elever kan velge hvilket (eller hvilke) fag de vil ha eksamen i. 

Jeg har hørt mange som reagerer på dette forslaget. Kanskje er det en slags pietistisk og puritansk grunnholdning som ligger under. For hva vil skje hvis elevene kan velge hvilke fag de vil ta eksamen i? Jo, da vil elevene gjøre strategiske valg. Som om ikke elever allerede tar strategiske valg i skolen. (Noen elever gjør blant annet strategiske valg om å ikke komme på skolen i det hele tatt, men det er et annet tema). Eller skyldes motstanden mot at elever selv kan velge eksamensfag en tanke om at hver elev ideelt sett skal bli like flink i alle skolefag? Jeg mener at dette formålet dekkes av standpunktkarakterene. Hvis vi oppfatter eksamen som et «øyeblikksbilde», så synes jeg ikke det er urimelig at elevene selv kan få velge bakgrunn for bildet og hvilken positur de skal stå i – for å fortsette bildebruken.

Eksamen har stor påvirkning på opplæringen

Eksamen har det man på engelsk kaller «backwash-effekt», og den er sterk. Eksamen påvirker opplæringen som skjer før eksamen. Mange lærere (og trolig også skoleledere) tenker at det er eksamen som er målet for opplæringen. For alle fag som ikke har eksamen, er dette åpenbart ikke tilfelle. Jeg mener at det ikke er tilfelle for noe fag. Formålet med opplæringen (jfr. §1-1 i Opplæringsloven) er ikke at elevene skal prestere godt på eksamen. Det er heller ikke eksamensoppgavene, men læreplanens kompetansemål, som er vurderingsgrunnlag for vurderingen av elevene. (Lærere vet selvsagt at kompetansemålene skal forstås i lys av teksten «Om faget», så det er ikke poenget her).

Allikevel har eksamen en stor påvirkning på opplæringen. Det kan i seg selv være et argument for å fjerne eksamen (eller for å beholde den). Da jeg var rektor, påpekte jeg ovenfor både lærere og foreldre at målet for opplæringen ikke var eksamen. «Det er livet,» la jeg til – nokså pompøst. Jeg håper skoleledere både sier dette og lever etter det. 

Hvis du som skoleleder sier at eksamen ikke er målet, men bruker mye tid på å sammenligne eksamensresultater med elevenes standpunktkarakterer (noe du ikke bør legge stor vekt på) og med andre skoler, så er det ikke sikkert at lærere og foreldre tror du mener det du sier.

Men «backwash-effekten» ved eksamen kan selvsagt også oppfattes som positivt. Eksamen og eksamensoppgaver er en (litt subtil) måte å styre opplæringen på. Jeg håper (og tror) at læreplanen (inkludert overordet del og tekstene «Om faget») påvirker læreres didaktiske og tematiske valg sterkere enn det eksamen gjør. Hvis eksamen har større påvirkning enn læreplanen, bør vi absolutt spørre oss om vi vil ha det slik. 

Eksamen er ikke en korrigering av standpunktkarakterer

Noen hevder at vi må beholde eksamen fordi det sikrer at standpunktkarakterene som lærere setter, blir like. Dette argumentet er etter min (og andres) oppfatning ikke gyldig. Eksamen er noe annet enn standpunkt, og skoler (lærere og ledere) og skoleeiere kan ikke bruke eksamensresultater til å «kalibrere» standpunktkarakterene.

Det er imidlertid viktig at standpunktkarakterene som elevene får er likeverdige. En 5’er på Sunndalsøra må uttrykke den samme kompetansen som en 5’er i Stavanger. Det er ikke alltid tilfelle i dag. Men vi må etablere andre systemer enn eksamen for å «kalibrere» standpunktkarakterer. Siden standpunktkarakterene først og fremst (eller bare?) betyr noe for opptak til neste skoleslag, trenger standpunktkarakterene på 10. trinn bare å være likeverdige innenfor samme inntaksområde til videregående skole. (Elever i Sunndalsøra og Stavanger konkurrerer ikke om de samme plassene på videregående skole. For standpunktkarakterer på videregående skole, derimot…)

Vi bør skille mellom eksamen og eksamensformer

Avtroppende leder i Elevorganisasjonen, Edvard B. Udnes,  ønsker å «skrote» eksamen og kaller den en utdatert ordning. Når vi snakker om eksamen, tror jeg vi bør skille mellom eksamen som sådan og hvordan eksamen gjennomføres. Og hvis du vil få ideer og innspill til ulike eksamensformer, anbefaler jeg at du leser rapporten fra eksamensutvalget. De omtaler blant annet eksamensformer som:

  • Langtidsoppgave. En oppgave elevene arbeider med i flere dager
  • Mappevurdering
  • Tverrfaglig eksamen der elevene må trekke inn momenter fra ulike fag. Fungerende rektor ved Bjørnholt videregående skole, Marianne Tangen Bråthen, gir et konkret forslag til hvordan dette kan gjøres i podcasten Læring. 

Jeg er ikke uten videre enig med Edvard B. Udnes i at eksamen bør avvikles i hele grunnutdanningen. Men jeg er enig med Elevorganisasjonen i at vi bør endre hvordan eksamen gjennomføres.

Hvordan kan elever vise kompetanse?

De eksamensformene vi har i dag, er utviklet i en annen tid. De er utviklet i en tid da kandidatene til eksamen først og fremst skulle vise hvilken kunnskap de hadde. Siden 2006 har som kjent de nasjonale læreplanene i dette landet forsøkt å formulere kompetanse(r) som elevene skal vise. Og da er nok et av mine spørsmål til meg selv: Hvordan og i hvilke situasjoner kan elevene vise kompetanse? Og hvilke former for kompetanse kan elevene vise? Svein-Erik Andreassen hevder at vurdering av elevers kompetanse nødvendigvis må bli mindre pålitelig og lik enn vurdering av elevers kunnskap.

Etter min oppfatning utfordrer dette først og fremst eksamensformene og eksamensordningen, ikke om vi i det hele tatt skal ha noe som vi kaller eksamen.

Skaper eksamen lærelyst og motivasjon hos elevene?

Noen hevder at hvis man fjerner eksamen, vil elevene slutte å arbeide med skolefagene. Dette er trolig riktig for noen elever. Vi må imidlertid huske at elevene i mer enn halve sin 13-årige grunnopplæring ikke får karakterer eller blir truet med eksamen (7 av 13 skoleår). Det er altså mulig å skape (eller bevare) lærelyst og motivasjon uten ytre faktorer som karakterer og eksamen. Dette gjelder også for elever og studenter som er eldre enn 13 år.

Dersom vi i dag har et utdanningssystem der elever ikke gidder å lære det vi synes de bør lære uten det ytre presset som karakterer og eksamen gir, mener jeg at vi har et stort problem. Så omfattende at det knapt kan berøres i et enkelt blogginnlegg. Om problemer skyldes samfunnet, elevene, læreplanene, innholdet i fagene eller andre forhold ved skolen velger jeg derfor å ikke berøre her.

Er eksamen en trening i å prestere når det gjelder?

Jeg tror det er fint for unge mennesker å oppleve noen situasjoner der det «virkelig gjelder». I løpet av livet befinner de fleste mennesker seg i slike situasjoner; et jobbintervju, en anbudsrunde, et salgsmøte, en mulighet til å «pitsje» ideen sin for sjefen eller lignende. Personer i utøvende yrker og idrettsutøvere befinner seg stadig i slike situasjoner: når en musiker spiller konsert, når en skuespiller står på scenen, når en ung nordmann skal hoppe siste og avgjørende hopp i VM i skiflyging på hjemmebane osv. Lærere opplever noe av det samme, men siden de fleste lærere er sammen med elevene sine mange ganger i uka, er ikke den ene situasjonen avgjørende på samme måte som for en håpefull musikkstudent på opptaksprøve. (Jeg har prøvd begge deler, så det vet jeg).

Jeg har hørt personer som mener vi bør beholde eksamen fordi det trener elevene – i å ta eksamen. Logikken er at elevene kan gjennomføre eksamen i en situasjon som ikke er veldig avgjørende slik at hun har trening i å gjennomføre eksamen når det virkelig gjelder. Etter min oppfatning er dette argumentet viktigere for muntlige og praktiske eksamener enn for skriftlig eksamen. Elever får god trening i å sitte alene og løse oppgaver eller skrive tekster i løpet av 13 års skolegang uten at vi har skriftlig eksamen.

Fratar vi elever en mulighet hvis vi fjerner eksamen ?

I Forskrift til opplæringsloven omtales individuell vurdering som en rettighet elevene har. Vurdering, altså underveisvurdering, karakterer og eksamen, blir sett på som et gode.

Noen elever forteller at de liker eksamen. Noen elever liker også å få karakterer – og de blir motivert av dette. I politikken dreier det seg sjelden om å velge mellom noe som er åpenbart godt og riktig og noe som er åpenbart uønsket eller fælt. Nei, politikk dreier seg ofte om å velge hvilke grupper man skal tilgodese. Jeg tror det også gjelder for eksamen: Skal vi beholde karakterer og eksamen av hensyn til de elevene som blir motivert av dette, eller skal vi fjerne det av hensyn til de elevene som blir demotiverte og stresset av dette? Den begrensede forskningen jeg kjenner til, blant annet Ruth Butler, tyder på at karakterer er en fordel for omlag 25% av elevene og en ulempe for omtrent like mange.

Bør vi bytte ut ordet eksamen?

Jeg har flere ganger skrevet at ordene vi bruker påvirker tenkningen vår. (Det er ikke noe jeg har funnet på selv). 

På nettstedet fremmedord.org blir ordet eksamen forklart slik: Eksamen (fra latin examinationem, «å veie, tenke på, vurdere») er en kunnskaps- eller dyktighetsprøve ofte som avsluttende prøve ved en skole, et kurs eller et studium.

Jeg tror ikke spørsmålet om eksamen eller ikke og evnetuelt hvordan eksamen skal gjennomføres blir klarere dersom vi bruker et annet ord. Men hvis det gjør vår felles høyttenking om dette klarere og mindre forutbestemt, så kan vi for min del gjerne kalle «barnet» noe annet. Om ikke annet for å komme oss ut av nedarvede og kanskje ubevisste forestillinger vi bærer på. Bare vi ikke da ender med et begrep som «Omfattende avsluttende prøve etter endt opplæringsforløp» i stedet for «eksamen». Det ville endt med akronymet OAPEEO, og det er jo ingen som vet hva er.

Avsluttende kommentar

Om jeg ble klokere av dette forsøket på å samle tankene mine? Ja, jeg tror det. Min foreløpige (!) private konklusjon kan oppsummeres i følgende synspunkter:

  • Eksamen etter 10. trinn kan kuttes ut.
  • Man bør beholde en form for enhetlig avsluttende prøve i fag på videregående skole.
  • Hvordan denne prøven gjennomføres (eksamensformene) må endres radikalt og tilpasses ulike fag i større grad enn i dag. (Hvorfor er for eksempel nettopp 5 timer en passelig varighet i mange fag?)
  • «Kalibrering» av standpunktkarakterer må skje på ordentlig. Vi må ikke to at eksamen sikrer dette.
  • Flere bør lese eksamensutvalgets vurderinger og anbefalinger

Kunnskapsministeren har oppfordret skoler til å prøve ut ulike vurderingsformer denne våren. Hun vil også oppnevne et partssammensatt utvalg som skal vurdere hele vurderingssystemet i skolen. Dette burde vært gjort samtidig med – eller før – Fagfornyelsen (som er navnet på prosessen frem mot vår nye læreplan LK20). Jeg gleder meg til å høre hvilke vurderinger og anbefalinger de kommer med. Vurdering er et digert felt, så jeg ønsker utvalget lykke til med et ekstremt omfattende arbeid.

God helg!

Eksamen er avlyst – hva gjør skolene resten av skoleåret?

Eksamen er avlyst. Gjør det at elevene vil lære mindre på skolen denne våren? Eller gir det skolene noen nye muligheter?

Denne uka skal du få et gjesteblogginnlegg om eksamen av Terje S. Nørving. Han hevder at lærere ikke kan baserer standpunktkarakterer på at elevene viser kompetanse på en bestemt måte, heldagsprøve eller «prøvemuntlig».-

Nørving arbeider som pedagogisk rådgiver i Nordre Follo kommune. I vinter brukte han mye av sin arbeidstid på å forberede muntlig eksamen for alle kommunene i Follo. (De har, som mange andre, et interkommunalt samarbeid om lokalt gitt eksamen). Når eksamen nå er avlyst har Terje prøvd å samle noen av sine tanker. Her kommer de:


NOEN TANKER NÅ SOM EKSAMEN ER AVLYST …

Fredag 11. februar 2022 kom beskjeden fra Kunnskapsdepartementet (KD) om at alle eksamener i grunnskolen var avlyst. Dette fulgte anbefalingen fra Udir fra 31. januar samme år og ble formelt vedtatt 28.2.22.[1]  Begrunnelsen fra KD var som følger:

Men elevenes skolehverdag har nå vært preget av pandemien i snart tre skoleår. Avlysingen gjør at elevene får mest mulig ut av resten av skoleåret, og lærerne får best mulig grunnlag til å sette standpunktkarakter, når situasjonen er som den er i dag [2]

Hva har dette å si for elevene? Det siste halve året har mye av mitt arbeid handlet om vurdering og muntlig eksamen i Follo-regionen. Etter lengre fundering prøver jeg derfor å rydde litt i tankene rundt situasjonen våren 2022.

Standpunkt og eksamen er ulike vurderinger

Standpunkt og eksamen er to ulike vurderinger av elevenes kompetanse og er begge en del av elevens sluttvurdering i faget. Men de utrykker ikke det samme. Standpunkt skal si noe om elevens samlede kompetanse, mens eksamen gir et øyeblikksbilde av en liten del av elevens kompetanse.

Photo by Ivan Aleksic on Unsplash

Under en eksamen skal eleven vise, skriftlig eller muntlig, et utvalg av alle de kompetanser eleven skal ha arbeidet med gjennom skolegangen, og som er bestemt av de som lager eksamen. Det vil være umulig for eleven å vise alt den har av kompetanse og grundig dekke alle kompetansemål. Dette er heller ikke meningen. Eleven kan være heldig å få en oppgave som bygger på noen kompetansemål den mestrer godt eller uheldig med oppgaven. 

Jeg bruker en metafor om elever som skiløpere og læreren som treneren. Under trening kan treneren hjelpe skiløperen til å bli bedre, og treneren ser hva skiløperen kan. Treneren vet om skiløperen er god eller ikke. Så blir det konkurranse. Tenk om de ulike deltagere ble trukket ut i hvilke distanser de skulle gå? Det er ikke sikkert at Therese Johaug hadde vunnet mange gull om hun bare ble trukket ut i sprint. Men hadde hun fortsatt vært en fabelaktig skiløper? 

Ikke alle kompetansemål er aktuelle for eksamen

Det er kompetansemål som neppe kommer på en skriftlig eksamen. I norsk finner vi bla dette kompetansemålet: sammenligne og tolke romaner, noveller, lyrikk og andre tekster ut fra historisk kontekst og egen samtid [3]

Deler av dette kompetansemålet kan sikkert være aktuelt, men ikke hele. En elev vil neppe sammenligne og tolke romaner under en skriftlig eksamen da det ikke er fastsatt hvilke romaner eleven skal ha lest. Dette vil bli umulig å vurdere for en sensor. 

I matematikk skal elevene kunne planleggje, utføre og presentere eit utforskande arbeid knytt til personleg økonomi [4]

I en muntlig praktisk prøve med 48 timers forberedelse kan eleven klare dette, men ikke på en skriftlig eksamen. 

Det finnes også kompetansemål som helt klart passer i en skriftlig kontekst og ikke på en muntlig eksamen: følge regler for rettskriving, ordbøying, setningsstruktur og tekststruktur[5]

Standpunktkarakter kan ikke baseres på etterligninger av eksamen

Når KD nå har avlyst eksamen, slipper elevene å være heldige eller uheldige i de kompetansemålene de skulle blitt eksaminert etter. Nå skal elevene få mulighet til å arbeide med kompetansemålene over lengre tid og vise sin kompetanse på best mulig måte. Men hvordan vurderer lærere så dette? Gjør de det i det daglige arbeidet med elevene? Observerer de hva elevene viser av kompetanse i ulike situasjoner, i og utenfor klasserommet? Eller lager de ulike simuleringer av eksamen – større eller mindre prøver der elevene skal vise i et øyeblikk hva de kan? Om slike etterligninger av eksamen danner utgangspunktet for standpunktkarakteren til eleven, er det urettferdig. 

Ein standpunktkarakter skal vere uttrykk for den samla kompetansen eleven har i faget ved avslutninga av opplæringa.

Eleven skal vere kjend med kva det blir lagt vekt på i fastsetjinga av hennar eller hans standpunktkarakter. Eleven skal ha fått høve til å vise kompetansen sin på fleire og varierte måtar. Kompetanse som eleven har vist i løpet av opplæringa, er ein del av vurderinga når standpunktkarakteren skal fastsetjast. [6]

Om lærere baserer standpunktvurderingen på at elevene viser kompetanse på bare en bestemt måte, heldagsprøve eller «prøvemuntlig», oppfyller ikke skolen forskriften og gjør akkurat det KD sa vi ikke skulle gjøre. 

Det er kompetansemålene, sett i lys av «Om faget», som er utgangspunktet for vurderingen. Det er ikke sikkert at verbene i kompetansemålene, hva elevene faktisk skal gjøre, lar seg vurdere i en prøveform. Hvordan vil læreren vurdere elevens evne til å «utforske» i en skriftlig eller muntlig prøve? 

Får lærere og elever nå bedre tid til å utvikle og vise kompetanse?

Når lærere arbeidet med og forberedte muntlig eksamen i Follo-regionen, ble det diskutert om eleven kunne «utforske» på en muntlig eksamen. Konklusjonen var nei, men eleven kunne vise resultatet av en utforskning. I en standpunktvurdering er ikke «utforsking» gitt begrensende rammer og vurderingen avgrenset i format. Læreren skal vurdere hvordan eleven utforsker.

Når KD avlyste eksamen, kan det ha vært nettopp dette de ønsket: At elev og lærer skulle få ekstra tid til å jobbe med kompetansene. Tanken var at elever og lærere skulle vise kompetanse, og lærere skulle vurdere dette ut fra kompetansemålenes og fagets egenart, der det ble tatt hensyn til verbene i kompetansemålene. Der kompetansemålene kunne ses i sammenheng. Intensjonen var at læreren skulle vurdere den «samla kompetansen i faget». 

Jeg tror ikke det er mulig å lage prøver som virkelig tar opp i seg helheten i faget og dekker alle kompetansemål på en god, ryddig og rettferdig måte. Det er kompetanse elevene skal vise, ikke et kunnskapsinnhold definert av læreren. 

Men på den andre siden, mulig det er jeg som er helt på jordet og at prøver virkelig kan la læreren vurdere elevenes samlede kompetanse. Om så vil jeg gjerne bli overbevist og beroliget …


Takk til Terje.

God helg!

P.S: Etter at denne teksten ble skrevet og før den ble publisert, har Utdanningsnytt skrevet hva Kunnskapsminsteren mener bør skje nå når eksamen er avlyst. Du kan lese det her.


[1] https://www.udir.no/eksamen-og-prover/eksamen/eksamen-standpunkt-og-vitnemal-varen-2022/

[2] https://www.regjeringen.no/no/aktuelt/regjeringen-vil-avlyse-eksamen/id2900677/

[3] LK20 Norsk, 10. trinn

[4] LK20. Matematikk 10.trinn.

[5] LK20. Engelsk 10. trinn.

[6] https://lovdata.no/dokument/SF/forskrift/2006-06-23-724/KAPITTEL_5#KAPITTEL_5


Vurdering er ikke det samme som måling

Vurdering i skolen, både underveis og ved eksamen, er noe annet enn måling slik vi kjenner fra mange idretter.

Kunnskapsministeren fortalte i dag at alle eksamener i grunnutdanningen er avlyst denne våren bortsett fra privatisteksamener og fagprøver. Men selv om vi nå vet hva som skjer – eller ikke skjer – med eksemen dette skoleåret, bør vi fortsette å snakke sammen om eksamen. Betyr avlyste eksamener at vi mister muligheten til å måle elevenes kompetanse?

Et av argumentene som ble trukket frem i debatten om hvorvidt eksamen skulle avlyses eller ikke, er at eksamen gir elevene en objektiv vurdering. Det gjør den ikke. Vurderingsforskere påpeker at all vurdering i skolen er tolkning, Vi vet at det i noen fag er svært lite samsvar mellom ulike sensorer, altså faglærere. (Derfor er det viktig at man utvikler tolkningsfellesskap både på skoler og i kommuner og fylkeskommuner).

Når vi snakker (og tenker) om vurdering – både eksamen og annen vurdering, må vi klare å skille mellom vurdering og måling. For vurdering er ikke måling. (Noen skolefolk snakker om at de kan måle elevers læringsutbytte, kunnskap eller kompetanse. Jeg tror vi bør slutte å bruke begrepet måling om dette. I allefall inntil vi har systemer som er like pålitelige som målesystemer).

Bilde: Pixabay

I disse olympiske tider kan vi kanskje bli klokere av å se på ulike idretter. I idrettsverden skjer det nemlig mye måling. Therese Johaug vant øvelsen 10 kilometer denne uka fordi klokkene målte at hun gikk 4 tidels sekund raskere enn Kerttu Niskanen. Det ligger ingen vurdering bak dette resultatet og man trenger ikke annen fagkunnskap enn å kunne klokka for å bedømme at Johaug var ørlite grann raskere enn finnen. Det samme gjelder i mange andre idretter der alle deltakerne plasseres kun etter hvor langt, fort eller høyt de hopper, løper eller kaster noe – eller sklir på ski, som vi gjør i vår del av verden.

Men i noen idretter forekommer det også vurdering. I både skihopp og kunstløp får utøverne stilkarakterer. (De som har levd lenge, husker sikkert Harald Heide Steens legendariske kunstløptrener med stilkarakterene «ach komma zei»). Stildommere må utøve et skjønn – innenfor gitte rammer. Og for å utøve dette skjønnet må de kunne mye om den idretten de skal bedømme, De må kunne «mer enn klokka». Det finnes for eksempel retningslinjer for hvor mye hoppdommere skal trekke i stilkarakter dersom en skihopper er nedi bakken med hendene under landing osv.

Det samme gjelder i skolen. Den vurderingen elevene får, både underveis og ved avslutning av opplæringen, er ingen måling. Hvis den var det, kunne vaktmesteren, postmannen (eller heter det postombæreren?) eller ordføreren gjort vurderingsarbeidet i skolen.

Svein-Erik Andreassen, som i sin siste bok bruker skihopp som et eksempel på nettopp forskjellen mellom måling og vurdering, påpeker at i skihopp er det fem dommere som vurderer hopperens stil. Den høyeste og laveste stilkarakteren strykes, og dette sikrer en objektivitet ved bedømmingen. Ved eksamen i norsk skole er det bare to fagpersoner som bedømmer hver besvarelse. Det kan altså se ut til at skihopp er langt viktigere enn eksamen.

Argumentet om at eksamen er objektivt og rettferdig holder derfor ikke. Og dette er helt uavhengig av korona-pandemien. Eksamenskarakterer og standpunktkarakterer har aldri vært like rettferdige som måling er. Bak enhver karakter (og annen vurdering) ligger det en fagpersons tolkning.

Et av argumentene for å gjennomføre eksamen denne våren (og for å beholde eksamen) har vært at det er en så objektiv vurdering som vi klarer å få til. Men objektiv blir eksamen aldri – for vurdering er noe annet enn måling. Og selv om eksamen er avlyst dette skoleåret, skal lærere fortsatt gi summativ sluttvurdering, De skal altså vurdere og ikke bare måle.

God helg!

Nei, Aftenposten, fenomenet «normalfordeling» er ute av norsk skole for lengst

Bør årets eksamener på ungdomsskolen og videregående skole avlyses?

Utdanningsdirektoratet leverte denne uka sin innstilling til departementet der de anbefaler at alle eksamener avlyses våren 2022. Aftenpostens kommentator Therese Sollien var raskt ute med å kalle denne innstillingen for absurd. Jeg var raskt ute med å sende Aftenposten et svar til Sollien, mens Aftenposten var nokså raskt ute med å takke nei til leserinnlegget mitt. (De trykket derimot divisjonsdirektør i Udir Sissel Skillingruds svar til Sollien – en helt riktig prioritering av Aftenposten).

Så da får jeg trykke leserinnlegget mitt i mitt eget «ekkokammer».

Photo by MChe Lee on Unsplash

Jeg vet ikke om jeg synes vi skal avlyse alle eksamener denne våren. Det er gode argumenter både for og imot. Kanskje bør noen eksamener gjennomføres, for eksempel det som kalles lokalt gitt eksamen (også kalt muntlig eksamen). Hvorvidt vi skal ha eksamen i det hele tatt er egentlig en annen diskusjon. Jeg mistenker imidlertid at de som argumenterer for eller mot å kutte ut årets eksamener, samtidig målbærer hvorvidt de synes vi skal beholde eksamen i det hele tatt.

Men uansett hva man mener om eksamen eller ikke: Jeg synes vi kan forvente at debattantene viser en viss kjennskap til dagens skole og ikke baserer sine innlegg på antakelser eller på den skolegangen de selv opplevde en gang for lenge siden. Jeg synes Therese Sollien gjorde det siste. Her er svaret mitt:

—————————————————————————————–

Nei, Aftenposten, fenomenet «normalfordeling» er ute av norsk skole for lengst

Tirsdag 1. februar kaller Therese Sollien i Aftenposten Utdanningsdirektoratets anbefaling om å avlyse eksamen for absurd. Det finnes gode argumenter både for å avlyse og å beholde eksamen denne våren. Det er imidlertid viktig at argumentene som føres, er riktige. Det er to premisser i Solliens kommentar som bør kommenteres: eksamen som sikring av skolenes standpunktkarakterer og ideen om at lærere setter karakterer ut fra en sammenligning av elevenes besvarelser.

Mange oppfatter trolig at eksamen kan brukes som en kontroll av læreres standpunktkarakterer. Dette vil være som å si at en utøver i 10-kamp i friidrett sin endelige plassering alltid vil være det samme som plasseringen for fem av øvelsene. Eksamen og standpunktvurdering er ulike former for avsluttende vurdering, det som kalles sluttvurdering i Forskrift til opplæringsloven, som regulerer vurdering av elevene i norsk skole. Standpunktkarakterer skal være et uttrykk for elevens samlede kompetanse vurdert opp mot kompetansemålene i faget. Ved en eksamen, der selve prøven varer maksimalt i 5 timer, kan eleven bare vise sin kompetanse innenfor et begrenset utvalg av kompetansemålene. Skoler, skoleeiere – og journalister – bør derfor ikke oppfatte eksamen som en korrigering av standpunktkarakterene.

Det som imidlertid fremstår som mest akterutseilt i Solliens kommentar er setningene «Alle som har rettet oppgaver, er kjent med fenomenet «normalfordeling». Man sammenligner besvarelser og setter karakterer deretter». Den praksisen Sollien beskriver er i konflikt med forskriften som regulerer elevvurdering. Det var kanskje slik den gang Sollien og jeg gikk på skolen, men slik er det ikke lenger. Den omtalte forskriften sier: «Grunnlaget for vurdering i fag er kompetansemåla i læreplanen i faget» (§3-3). Videre står det: «Ein eksamenskarakter skal vere uttrykk for den kompetansen kvar enkelt elev eller privatist viser på eksamen.» (§3-22). Lærere skal altså ikke sette karakterer ut fra en sammenligning med andre elever, men basert på den kompetansen hver enkelt elev viser. Dette har i mange år vært presisert i norsk skole.

Sollien omtaler eksamen som «en helt vanlig del av opplæringsløpet». At noe er en vanlig del av skolen kan vanskelig brukes som et argument verken for å beholde det eller fjerne det. Skammekrok og spanskrør var en gang også en helt vanlig del av skolegangen.

—————————————————————————————–

Som kjent er det Kunnskapsdepartmentet som bestemmer om eksamen skal gjennomføres, eller avlyses – helt eller delvis. Det er bare å vente.

God helg!

P.S: Hvis du vil høre to fornuftige mennesker som snakker om avlysning av eksamen eller ikke, anbefaler jeg siste episode av podcasten Læring: «Eksamen avlyst, igjen?»

Hva betyr det at kompetansemålene skal forstås i lys av teksten «Om faget»?

Er forholdet mellom kompetansemålene og teksten «Om faget» ulikt i begynnelsen av skoleåret og ved eksamen?

Forrige uke tenke jeg høyt (egentlig skriftlig) om muntlig eksamen. Jeg har fått respons på de tankene jeg delte – og dette har som vanlig ført til enda flere tanker. Så denne uka kommer det mer om muntlig eksamen.

Bakgrunn for denne teksten

Først en liten «disclaimer» (som du kan hoppe over hvis du ønsker): Også denne uka vil jeg presisere at eksamen ikke (nødvendigvis) er det samme som eksamen: det er forskjell på (og litt ulike regler for) muntlig, muntlig-praktisk, praktisk og skriftlig eksamen. Denne uka handler det mest om muntlig og muntlig-praktisk eksamen, eller det som kalles lokalt gitt eksamen på byråkratspråk. Og det skal dreie seg om forholdet mellom kompetansemålene og teksten «Om faget». Jeg vil også påpeke at jeg i denne teksten ikke tar stilling til verken selve læreplanen eller spørsmålet om vi bør beholde eller kutte ut eksamen. Betraktningene nedenfor forholder seg til den eksamensordningen og den læreplanen vi har.

Er forholdet mellom kompetansemålene og teksten «Om faget» ulik ved planlegging av opplæring og ved eksamen?

Så til saken: Som jeg nevnte forrige uke: kompetansemålene skal forstås i lys av teksten om faget. (Forskrift til opplæringsloven §3-3). Hva betyr dette? Hvis «noe» skal forstås i lys av noe annet, må det bety at «noe» kan forstås på ulike måter. Så hva betyr det at kompetansemålene skal forstås i lys av teksten «om faget»? Betyr det at kompetansemålene kan forstås på flere måter ved muntlig eksamen? Og får teksten «Om faget» ulikt vekt når lærere planlegger et skoleår (eller et annet opplæringsløp) enn når de skal gjennomføre muntlig eksamen? Eller sagt på en annen måte: Betyr setningen om at kompetansemålene skal forstås osv. noe annet når lærere planlegger opplæring enn når lærere skal fastsette en eksamenskarakter?

For helt ærlig, da: Ved muntlig eller praktisk-muntlig eksaminering (altså de 30 eller 45 minuttene som er tildelt hver elev) har de to sensorene (faglærer og ekstern sensor) egentlig bare en jobb, nemlig å plassere hver elev inn på en skala fra 1 til 6 (selvsagt ut fra en individuell vurdering). Og dette skal de, i teorien, gjøre på en så pålitelig og gyldig måte at alle andre sensorer i hele landet ville plassert den samme eleven på samme karakter (trinn) ut fra samme prestasjon. (Under forberedelsestiden og før selve eksamineringen har selvsagt faglærer andre oppgaver som å hjelpe og motivere elevene). Sensorene skal hjelpe eleven til å vise sin faglige kompetanse på best mulig måte under eksaminasjonen, og de skal se etter hva eleven faktisk får til og kan. Men resultatet av en eksamen er bare en tallkarakter. Og hva betyr det da at sensorene skal forstå de aktuelle kompetansemålene i lys av teksten «om faget»?

Når lærere skal planlegge undervisning og opplæring, er det imidlertid en helt annen situasjon. Underveis i opplæringen skal lærere hjelpe, instruere, veilede, motivere osv. elevene. Og de skal planlegge en undervisning som oppfyller formålet med faget. (Formålet med faget står skrevet i – nettopp – teksten «Om faget»). Betyr ikke dette at lærere vil forholde seg ulikt til teksten «Om faget» – og forstå kompetansemålene i lys av denne teksten ulikt – når de planlegger undervisning og når de skal gjennomføre lokalt gitt eksamen?

Et konkret eksempel

Igjen må jeg prøve hvordan dette vil ta seg ut i praksis, så la oss se på et av skolefagene. Siden jeg hentet frem norsk forrige uke, henter jeg frem KRLE denne uka (Dette er det andre av fagene jeg selv har undervist der elevene kan bli trukket ut til muntlig eksamen og et fag jeg har en viss kjennskap til).

Teksten «Om faget» i KRLE begynner slik: KRLE er et sentralt fag for å forstå seg selv, andre og verden rundt seg. Gjennom kunnskap om ulike religioner og livssyn skal elevene utvikle evne til å leve i og med mangfold i samfunns- og arbeidslivet. KRLE skal gi øvelse i etisk refleksjon og bidra til å utvikle elevenes dømmekraft i hverdagen og i møte med samfunnsutfordringer.  Vakre ord som jeg antar at ingen i skole-Norge er uenig i – uavhengig av personlig livssyn eller pedagogisk ståsted.

To av kompetansemålene i faget etter 10. trinn lyder slik: Mål for opplæringen er at elevene skal kunne:

  • utforske andres perspektiv og håndtere uenighet og meningsbrytning
  • reflektere over eksistensielle spørsmål knyttet til det å vokse opp og leve i et mangfoldig og globalt samfunn

Når lærere skal planlegge opplæring i KRLE-faget, for et tre-års-løp, et skoleår, eller for en periode, skal de altså forstå disse kompetansemålene i lys av utdraget fra teksten «Om faget» som jeg har sitert ovenfor. Gjennom arbeid med skolefaget skal elevene forstå seg selv, andre og verden rundt seg, de skal utvikle evne til å leve i og med mangfold og de skal utvikle sin dømmekraft. Det må bety at når klassen arbeider mot (og ikke med1) kompetansemålene «utforske andres perspektiv» og «reflektere over eksistensielle spørsmål knyttet til det å vokse opp og leve i et mangfoldig og globalt samfunn», så skal elevene gjennom dette arbeidet utvikle sin egen evne til å leve i og med mangfold. De skal trene på å håndtere uenighet. Da holder det ikke at elevene bare identifiserer eller leser om ulike former for mangfold. Nei, de må trene på å leve med mangfold. Og det kan gjøres på ulike måter i et skolesamfunn.

Hvis læreren ikke kobler teksten «Om faget» og kompetansemålene sammen, kan det ende med at læreren ikke trener elevene i å leve i og med mangfold, men bare lar dem reflektere over mangfold. Hvis læreren forstår kompetansemålet i lys av utdraget fra «om faget», så vil dette trolig påvirke lærerens didaktiske og metodiske valg slik jeg har gitt et eksempel på ovenfor.

Kan innholdet i teksten «Om faget» føre til at kompetansemål blir tolket på ulike måter ved eksamen?

Men hva med eksamen? Hva betyr det at sensorene ved muntlig eksamen skal forstå disse to kompetansemålene i lys av blant annet sitatene ovenfor? Ved 30 minutters muntlig eksaminering skal ikke sensorene gjøre noen særlig didaktiske valg. På muntlig eksamen skal elevene vise om de kan utforske andres perspektiv og håndtere uenighet og meningsbrytning og reflektere over eksistensielle spørsmål knyttet til det å vokse opp og leve i et mangfoldig og globalt samfunn. Hvilken endring kan det medføre om sensorene har lest teksten «om faget» eller ikke? Er det mulig for elever å vise at de kan håndtere uenighet – særlig hvis de eksamineres enkeltvis? Vil du, kjære leser, vurdere elever prestasjon på de to kompetansemålene ovenfor ulikt dersom du har lest sitatet ovenfor fra teksten «Om faget» eller ikke? Eller gjelder setningen om at kompetansemålene skal forstås i lys av teksten «om faget» bare ved forberedelsestiden? Og i så fall: gjør det noen forskjell.

Det ser ut for meg som om lovgiverne prøver å slå to fluer i ett smekk2. Jeg tror setningen i forskriften som jeg har gjentatt til det kjedsommelige i denne bloggteksten, først og fremst har betydning for faglærere når de skal planlegge og gjennomføre undervisning og når de skal sette standpunktkarakter. Korriger meg gjerne om jeg tar feil, for dette er forvirrende for meg.

Blir kompetansemålene oppfattet som konkrete vureringskjennetegn eller som et uttrykk for helheten i faget?

Flere har påpekt at logikken i læreplanene er at kompetansemålene skal ta opp i seg det som er omtalt under overskriften «Om faget», altså både kjerneelementer, tverrfaglige temaer og grunnleggende ferdigheter. Svein-Erik Andreassen og Tom Tiller spør hvorfor kjerneelementene, grunnleggende ferdigheter og de tverrfaglige temaene i det hele tatt er omtalt i læreplanen. De hevder at dersom kompetansemålene virkelig tar opp i seg kjerneelementene osv., så skal det ikke være nødvendig å ta dette med i læreplanen. Så vidt jeg kan forstå forutsetter dette at læreplanen er et konsistent og enhetlig dokument og at kompetansemålene virkelig tar opp i seg kjerneelementene osv. Jeg tror slett ikke det er tilfelle, og er glad for at formålet med faget er omtalt i læreplanen.

Men jeg tror det er et problem at de målene i læreplanen som virkelig «teller», altså kompetansemålene, i bunn og grunn er kriterier for sluttvurdering av elever.

Begrepet kompetanse brukes i lov og forskrift nesten bare om elevvurdering

Ordet kompetansemål er til sammen brukt 25 ganger i Opplæringsloven og Forskrift til Opplæringsloven. Av disse 25 gangene brukes ordet 21 ganger i de to kapitlene i Forskriften som omhandler vurdering (§3 og §4). I lov- og forskriftsteksten brukes altså ordet kompetansemål nesten bare i forbindelse med vurdering (selv om opplæring og skolegang er langt mer enn vurdering). Og erfaring viser at lærere er mest oppmerksomme på nettopp kompetansemålene i læreplanen. Er dette noe av bakgrunnen for setningen om at kompetansemålene skal forstås i lys av teksten «Om faget»? Ønsker lovgiverne (og Utdanningsdirektoratet) å minne lærere om at de må forstå helheten og sammenhengen i læreplanen og i opplæringen og ikke bare planlegge ut fra kompetansemålene? (Lærere kan som kjent planlegge god opplæring ved å ta utgangspunkt i noe ennet enn kompetansemålene). Læreplanforsker Kirsten Sivesind stile en gang spørsmålet om LK20 egentlig er en vurderingsplan og ikke en læreplan. Jeg lurer på om den omtalte setningen berører dette spørsmålet.

Kanskje må setningen «Kompetansemåla skal forståast i lys av teksten om faget i læreplanen» sjølv må forståst i lys av kor i opplæringsløpet elevane og læraren er?

God helg!

1 Det må vel hete «å arbeide mot kompetansemål» og ikke «å arbeide med kompetansemål» slik mange sier. I språket forøvrig er det ingen som sier at de jobber med et mål. Man arbeider, trener osv. mot et mål.

2 Det heter «å slå to fluer i ett smekk». En smekk er gylfen i buksa. Du kan selvsagt slå to fluer i buksesmekken, men det er svært sjelden.

Er det virkelig kompetansemålene i læreplanen som blir vurdert ved muntlig eksamen?

Det er kompetansemålene i læreplanen som skal danne grunnlaget for vurdering av elevene. Er det virkelig dette som skjer ved muntlig eksamen? Og hvor blir det da av kunnskapen?

Mange i skole-Norge venter på hva som vil skje med eksamen, både dette skoleåret, men ikke minst på permanent basis. Noen synes vi bør fjerne eksamen mens andre har gitt anbefalinger om hvordan eksamen kan endres.

Passer dagens muntlige eksamen til tidligere læreplaner?

Denne uka fikk jeg gleden av å innlede til en fagdag for lærere som skulle forberede muntlig eksamen for flere kommuner som samarbeider om dette. Min jobb var å gi en innledning til den første av disse dagene, og da måtte jeg selvsagt lese dokumenter og tenke igjennom tematikken muntlig eksamen. Og etter dette tenkearbeidet spør jeg meg selv om muntlig eksamen, slik den gjennomføres, faktisk bryter med forskrift til opplæringsloven. Jeg tror muntlig eksamen på mange skoler slett ikke er i henhold til regelverket. Jeg er nemlig usikker på om vurderingen av elevene faktisk bygger på kompetansemålene i læreplanen.

Bilde: Pixabay

Her må jeg forte meg å presisere at jeg ikke vet sikkert hvordan muntlig eksamen gjennomføres på skoler rundt i «det ganske land», verken etter 10. trinn eller på videregående skole. (Men jeg gjetter heller ikke helt uten kjennskap til feltet). Jeg antar at de fleste elevene til muntlig eksamen blir eksaminert individuelt (og da har de maksimalt 30 minutter til rådighet i henhold til regelverket). Jeg tror det er stor variasjon hva slags utfordringer, spørsmål og oppgaver elevene får, og jeg antar at de fleste sensorer (altså faglærer og ekstern sensor) vurderer elevene ut fra hvor mye de vet innenfor det aktuelle faget.

Elevene skal vurderes på grunnlag av kompetansemålene – også ved muntlig eksamen

Men la meg begynne et annet sted enn i mine egne antakelser. Vi kan begynne med Forskrift til opplæringsloven kapittel 3, regelverket som regulerer vurdering av elever i norsk skole – inkludert eksamen.

I paragraf 3-3 i denne forskriften står det blant annet: Grunnlaget for vurdering i fag er kompetansemåla i læreplanen i faget.

Ikke til å misforstå: elevene skal vurderes ut fra hvor godt de har nådd kompetansemålene i faget. (Det står mer i denne paragrafen, men det kommenterer jeg ikke her). Dette står i en av de innledende paragrafene i dette kapitlet og skal gjelde for all elevvurdering – også muntlig eksamen.

Men hva er det kompetansemålene i den nasjonale læreplanen faktisk sier at elevene skal ha lært? Jo, her berører vi forholdet mellom innhold og kompetansebeskrivelser i læreplanen. Kanskje synes du, kjære lese, at læreplanen burde angitt tydelige innholdskomponenter og presisert det faglige innholdet som elevene skal lære på skolen. Men det gjør den altså i svært liten grad. Og jeg tror dette gjør at dagens muntlige eksamen ikke er i overensstemmelse med verken læreplanen eller forskrift til opplæringsloven.

Verbene i kompetansemålene er sentrale

Vi kan ikke snakke og tenke om dette uten å se hvordan dette vil arte seg i praksis. Jeg er gammel norsklærer og har både vært intern og ekstern sensor i norsk (riktignok for flere læreplaner siden). Derfor har jeg tatt frem kompetansemålene i norsk etter 10. trinn. (Hvis du vil ha andre eksempler på kompetansemål, kan du selvsagt hente fram dem).

Noen av kompetansemålene i norsk etter 10. trinn lyder slik:

Målet for opplæringen er at elevene skal:

  • lese skjønnlitteratur og sakprosa på bokmål og nynorsk og i oversettelse fra samiske og andre språk, og reflektere over tekstenes formål, innhold, sjangertrekk og virkemidler
  • sammenligne og tolke romaner, noveller, lyrikk og andre tekster ut fra historisk kontekst og egen samtid
  • beskrive og reflektere over egen bruk av lesestrategier i lesing av skjønnlitteratur og sakprosa
  • lytte til og lese tekster på svensk og dansk og gjøre rede for innhold og språklige trekk
  • utforske og reflektere over hvordan tekster framstiller unges livssituasjon
  • gjenkjenne og bruke språklige virkemidler og retoriske appellformer
  • bruke kilder på en kritisk måte, markere sitater og vise til kilder på en etterrettelig måte i egne tekster
  • utforske og vurdere hvordan digitale medier påvirker og endrer språk og kommunikasjon
  • bruke fagspråk og argumentere saklig i diskusjoner, samtaler, muntlige presentasjoner og skriftlige framstillinger om norskfaglige og tverrfaglige temaer

Det elevene skal vise ved eksamen er hvilken grad de har utviklet så mange som mulig av disse kompetansene. (Ved muntlig eksamen skal ikke elevene nødvendigvis vise kompetanse i alle kompetansemålene, men så mange som mulig).

I løpet av 30 minutter skal altså en elev vise hvor flink hun er til å sammenligne og tolke tekster. Er dette mulig å vise på 30 minutter? Ja, det bør vel være mulig. Men hvis eleven ikke først og fremst skal vise hvor flink hun er til å huske, men til derimot å sammenligne og tolke, så bør hun kanskje få en ukjent tekst på muntlig eksamen.

Jeg har uthevet verbene i forrige avsnitt for å vise at det er verbene i kompetansemålene som sier hva elevene skal gjøre. Det er dette de skal lære seg og som de ved muntlig eksamen skal vise hvor godt de kan. Ved muntlig eksamen i norsk skal altså eleven vise hvor flinke de er til å: lese, sammenligne, tolke, beskrive, reflektere, lytte til (nei, dette tar vi kanskje ikke med på muntlig eksamen, eller?), utforske, gjenkjenne, bruke fagspråk osv.

Hva med faginnhold og kunnskap? Blir elevene vurdert ut fra hva de vet?

Og jeg er altså usikker på om det er dette elevene blir bedt om å vise at de mestrer ved muntlig eksamen i dag. Jeg antar (og det er som sagt bare en antakelse) at mange elever i de fleste fag ved muntlig eksamen skal vise hvor godt de kan huske og hvor godt de kan gjengi et fagstoff – gjerne med de samme ordene som læreren eller læreboka har brukt. Jeg antar at lærere ved muntlig eksamen fortsatt undersøker hva elevene «vet». Mens det kan se ut som om kompetansemålene ber elevene om å vise hva de «kan».

For hvilke læringsmål er det egentlig som blir vurdert ved muntlig eksamen? (Vel å merke hvis min antakelse stemmer). Hva skjer om vi prøver å formulere de kompetansene som jeg antar at dagens muntlige eksamen faktisk måler? Hvis muntlig eksamen ligner på de muntlige eksamenene som jeg selv deltok i (for 250 år siden), ser kompetansemålene for muntlig eksamen kanskje omtrent slik ut:

Målet for opplæringen er at elevene skal:

  • huske og gjengi så mye som mulig av det fagstoffet som er gjennomgått i timen og som er omtalt i lærebøkene
  • kunne forklare faglige begreper – uten å kunne bruke dem i særlig grad
  • kunne forklare faglige sammenhenger som de har blitt forklart i undervisningen

Dersom min antakelse om at elever ved muntlig eksamen først og fremst skal huske og gjengi faglig innhold, så vil jeg derfor hevde at dette ikke er i henhold til forskriften til opplæringsloven.

Elevene må bli utfordret til å vise hva de kan gjøre med et faglig innhold

Men du vet like godt som meg, kjære leser, at muntlig eksamen må ha et faglig innhold. Elevene skal utforske, reflektere over, gjenkjenne osv. faglige forhold og faglige begreper. Elevene må også «vite» noe. Men de nasjonale læreplanene angir ikke hvilket fagstoff elevene skal ha arbeidet med – og som de skal vise kjennskap til, kunnskap om og forståelse for. Så vidt jeg vet er det ingen som foreslår at skolen skal tømmes for faglig innhold selv om dette ikke er nevnt i kompetansemålene. Og ved muntlig eksamen må elever også vurderes på grunnlag av et faglig innhold. Men siden elevene skal vurderes på grunnlag av kompetansemålene, må de ved muntlig eksamen faktisk få en karakter som gjenspeiler hvor godt de mestrer de handlingene som læreplanen etterspør.

Og nå lurer du kanskje på hvordan skoler kan gjennomføre en muntlig, eller muntlig-praktisk, eksamen der elevene får anledning til å vise hvor flinke de har blitt til å gjøre det kompetansemålene peker på. Da begynner vi å snakke om eksamensformer: hvordan vi skal gjennomføre det vi kaller eksamen? Jeg skal ikke prøve meg på ulike konkrete svar i dette blogginnlegget. Men jeg kan fortelle at på den skolen jeg ledet i 11 år, gjennomførte de fleste elevene muntlig eksamen i grupper. (De hadde jobbet i grupper gjennom hele ungdomsskoler, og en forutsetning for at vi gjorde grupper til normalordning var nettopp at elevene hadde trent mye på dette). Når elevene gjennomførte muntlig eksamen i grupper, var de inne til eksaminering i inntil 2 timer (siden det var 4 elever pr. gruppe). Det ga i alle fall både elever og sensorer bedre tid til at elevene både kunne gjenkjenne, undersøke, bruke, reflektere over osv.

Så lenge vi skal ha eksamen, må alle elever bli vurdert så likt som mulig. Dette er viktig. Og det er altså kompetansemålene som skal danne grunnlaget for vurderingen av elevene. §3-3 i forskriften sier imidlertid at kompetansemålene skal forstås i lys av teksten «om faget». Kanskje ligger det en nøkkel i denne setningen? Men det må bli et senere blogginnlegg.

God helg!

P. S: I FIKS setter vi i uke 6 fokus på eksamen – i samarbeid med Institutt for pedagogikk ved UiO. Det er fortsatt noen ledige plasser til webinaret vi arrangerer mandag 7. februar om eksamen, men du bør ikke vente for lenge med å melde deg på.

Hvem bestemmer over norsk skole?

Kunnskapsminister Guri Melby har besluttet å avlyse muntlig eksamen for nesten alle elever denne våren – etter press fra mange parter. Forteller denne saken noe om hvem som bestemmer i norsk skole? Eller sier den noe om at som leder må du ha støtte for dine beslutninger blant en tilstrekkelig stor del av de du skal lede?

Det finnes argumenter både for å avlyse eksamen denne våren og for å beholde den. Uavhengig av om man støtter beslutningen om å avlyse eksamen eller ikke, er saken i seg selv interessant. Så vidt jeg kan bedømme, har et tydelig press fra en sektor i samfunnet ført til at den ansvarlige statsråden for denne sektoren har snudd 180 grader og fattet en beslutning som er det motsatte av det den samme statsråden har hevdet hele tiden. (Noen snakker om å snu 360 grader, men da står du som kjent i samme retning som du gjorde før du snudde). Skolesektoren har fått en statsråd til å endre en konkret beslutning – til den motsatte beslutningen enn den samme statsråden hele tiden har stått fast ved.

Regjeringen har hele denne våren sagt at muntlig eksamen skal gjennomføres. De siste ukene har vi imidlertid vært vitne til noe som kan kalles sivil ulydighet fra noen kommuner, først flere kommuner i Grenland før Oslo kommune også fortalte at de vurderte å selv avlyse muntlig eksamen. Dette er ekstraordinært siden eksamen, både muntlig og skriftlig, ikke er noe kommuner og fylkeskommuner kan velge om de vil gjennomføre. De har plikt til å gjennomføre begge deler.

Kilde: Digitalarkivet

Men nå så det altså ut til at flere underliggende etater, altså kommuner, selv ville bestemme om de ville gjennomføre noe de er pålagt å gjennomføre. Og jeg undrer meg over om det er denne sivile ulydigheten fra kommuner sammen med et tydelig press fra ulike organisasjoner og etater, blant annet alle fylkesrådmenn, som har fått statsråden til å endre standpunkt. Selv sier hun at Regjeringen endrer sin beslutning fordi smittetallene nå forteller om mange elever og lærere i karantene. Hver og en får vurdere om denne forklaringen står til troende. Statsråden påpeker nå at korona-situasjonen gjør det umulig å gjennomføre en pålitelig og god eksamen – som om korona-pandemien var noe nytt denne våren.

Jeg tror denne saken viser at du som leder er nødt til å fatte beslutninger som en tilstrekkelig andel av dine medarbeidere kan stille seg bak. Du må «være på linje» med de du skal lede. (Alternativt må du klare å overbevise dine medarbeidere om at det du beslutter er en riktig beslutning). Som leder må du også klare å oppfatte hva en «tilstrekkelig andel» av medarbeiderne dine faktisk mener. Dette kan være vanskelig nok for en rektor eller en skolesjef, men er kanskje enda mer problematisk for en statsråd. For skal lederen lytte til de som roper høyest? Eller kan du som leder skaffe deg pålitelig informasjon om oppfatninger og «stemninger» i ditt personale (eller den sektoren du er statsråd for) på andre måter? Hvis du gjør det siste, må det ikke skape så tore byråkratiske systemer at det hindrer ansatte i å gjøre den jobben de er ansatt for å gjøre. Som leder av en ikke alt for stor virksomhet, for eksempel en skole, kan du oppfatte mye ved å snakke med «folka dine». Det er vanskeligere for en statsråd.

Kanskje har Kunnskapsminister Melby vist godt lederskap ved at hun nettopp har lyttet til «stemmene» fra skolesektoren. Eller har hun derimot fremstått som svært tunghørt og som en sta leder som ikke endrer standpunkt før etter massivt press?

Kanskje denne saken om avlysning av muntlig eksamen også sier noe om hvordan ledere begrunner at de endrer sin beslutning. Det er trolig enklere for en leder av en bedrift eller en virksomhet, for eksempel en skole, å være åpen ovenfor sitt personale om hvorfor en ledergruppe har endret sin beslutning. Lederen kan si noe om at ledelsen har lyttet til innspill fra både ansatte og de som virksomheten retter seg mot. (I private virksomheter kalles de ofte for kunder. I mange offentlige virksomheter snakker man om brukere. Som rektor likte jeg best å snakke om elever og foreldre). En leder av en bedrift eller virksomhet kan være åpen om hvilken informasjon, hvilke forutsetninger eller endrede hensyn som er begrunnelsen for en endret beslutning. Ja, det er trolig en fordel om en ledergruppe er åpen om sin tvil og sitt begrensede beslutningsgrunnlag. (Jeg tror alle ledere har et begrenset beslutningsgrunnlag – uansett hvor mye data de samler). Det var dette med ærlighet – og åpenhet – som varer lenge.

Politikere, derimot, befinner seg i et konstant «spill» der de (tilsynelatende) ikke må fremstå som vinglete eller uopplyste (selv om enkelte politikere fremstår som nettopp dette). Er det umulig for politikere å fortelle at de blir påvirket av faglige innspill? Er det umulig for politikere å være åpen om sin tvil, sitt manglende beslutningsgrunnlag – eller at det er ideologi og ofte underliggende antakelser som styrer valgene deres? Hvordan ville vi oppfattet Kunnskapsminister Guri Melby dersom hun på riksdekkende fargefjernsyn hadde sagt omtrent dette: «Regjeringa har besluttet å avlyse muntlig eksamen for alle nesten elever fordi vi har lyttet til den offentlige debatten. Vi har tatt inn over oss argumenter som er løftet frem av ulike aktører, og vi har merket oss at noen kommuner til og med har vært villige til å bryte lov og forskrift i denne saken. Regjeringen anerkjenner og følger slike tydelige signaler som kommer fra skolesektoren»?

Det ser ut for meg som om denne saken et eksempel på demokrati og medborgerskap i praksis. Uansett om man ville beholdt eller avlyst muntlig eksamen denne våren, viser den for meg en styrke ved det norske demokratiet: at faginstanser kan påvirke politiske beslutninger og at også lokale beslutningstakere kan påvirke sin egen virksomhet. Kanskje har norske lærere med denne saken fått et eksempel de kan bruke når de skal legge til rette for læring innenfor det tverrfaglige temaet demokrati og medborgerskap. Eksamen eller ikke er jo relevant for elevene også i fremtiden.

God helg!

Elevene motiveres langt mindre av eksamen enn det lærere tror

Mange lærere på videregående skole tror eksamen er en viktig motivasjonsfaktor for elevene. Men avlyst eksamen våren 2020 ødela ikke elevenes motivasjon.

Mange universiteter og forskningsinstitusjoner har gjennomført ulike undersøkelser og forskningsarbeider om den ekstraordinære situasjonen da skolebyggene ble stengt i mars i år. I FIKS har vi prøvd å holde oss orientert om de ulike undersøkelsene, og vi jobber fortsatt med å samle tendenser og funn fra både våre egne og andres undersøkelser. (I neste nummer av tidsskriftet Bedre Skole, som kommer ut i september, kan du lese en artikkel vi har skrevet om dette: hva forskningen kan si om skolen under korona-stengingen.)

De ulike undersøkelsene som er gjennomført, har henvendt seg til ulike grupper, de har stilt ulike spørsmål med ulik vitenskapelig metode og de får derfor ulike «svar». Den siste av disse undersøkelsene jeg har lest, er gjennomført av forskere ved NTNU. De gjennomførte tre spørreundersøkelser blant elever, lærere og skoleledere på videregående skole i Trøndelag og Oslo og peker på mange interessante funn. Du kan lese en omtale av undersøkelsen her og rapporten fra forskerne her.

Forskerne ved NTNU utviklet ulike spørreskjemaer til de tre gruppene de spurte, men mange av spørsmålene kretser om samme tema, og dermed kan forskerne sammenholde svar fra de ulike gruppene. Og da kan man se interessante, og noen ganger overraskende, mønstre: Har elever og lærere den samme oppfatningen av undervisningen? Mener lærerne og skolelederne det samme om situasjonen? Osv.

Forskerne har bl.a. spurt både elever og lærere om vurderingen som er gjort under hjemmeskolen. Ikke overraskende svarer bare 33 prosent av elevene at de har vært involvert i vurderingsarbeidet, og forskerne minner oss på at det er viktig å involvere elevene i vurderingen (Forskning er svært tydelig på at dette har positiv effekt på elevenes læring, og forskrift til opplæringsloven pålegger skoler dette).

Som kjent ble eksamen avlyst våren 2020, og forskerne ved NTNU har spurt både elever og lærere om avlyst eksamen hadde negative konsekvenser for elevenes motivasjon. Her var det tydelig forskjell mellom gruppene, og hvis du tror at det var flest elever som opplevde at avlyst eksamen påvirket deres motivasjon negativt, så tar du feil. Nei, det var langt flere lærere enn elever i videregående skole som antok at når eksamen forsvant, så forsvant også elevenes motivasjon.

Slik fordelte elevenes svar seg (nest nederste linje er spørsmålet som er omtalt her):

Elevenes svar

78% av elevene var helt uenig eller uenig i påstanden om at avlyst eksamen hadde negative konsekvenser for deres motivasjon. Bare 12 % var enig eller helt enig i påstanden.

Lærerne svarte slik (4. linje):

Lærernes svar

Bare 44% av lærerne var helt uenig eller enig i den samme påstanden. 37% var enig eller helt enig i påstanden mens 17% svarte at de ikke visste. Lærerne trodde altså at bortfall av eksamen ødela elevenes motivasjon langt mer enn det elevene selv opplevde.

De av oss som trodde at vår tids elever bare blir motivert av eksamen og bare går på skolen for å få gode karakterer, må altså tenke oss om en gang til. Elevene motiveres av mer enn eksamen. Vi kan håpe at «mer enn eksamen» ikke bare er standpunktkarakterene, men at elever faktisk blir motivert av spennende skolefag og engasjerende undervisning. Det skjer hver dag – heldigvis.

God helg!

 

Trenger vi tentamen når eksamen er avlyst?

Elevene er tilbake i norske skolebygg. På noen skoler er tentamen det første som møter elevene.

En lærer jeg snakket med, fortalte at læreren skulle sitte tentamensvakt denne uka. Dette var en videregående skole, og elevene hadde kommet tilbake til skolen gradvis. Først på onsdag hadde alle elevene fysisk vært innom skolen. Og dagen etter skulle de ha tentamen!

Kanskje er dette særskilt, og kanskje er det bare noen få skoler som ønsker elevene velkommen tilbake til skolebygget med tentamen i flere fag. Men jeg spør meg hvorfor skoler arrangerer tentamen når eksamen er avsluttet.

Tentamen kommer av det latinske ordet tentare, som betyr «berøre» eller «prøve». Tentamen er en prøveeksamen. Elevene skal få prøve seg på eksamensformen før de skal gjennomføre eksamen. Det er lurt å øve på noe der du virkelig må prestere. Det gjelder både om du skal spille konsert, ta førerprøven – eller gjennomføre en eksamen. Men dette skoleåret skal ingen elever gjennomføre skriftlig eksamen, og da er det liten grunn for skolen å arrangerer tentamen, altså heldagsprøver som følger eksamensreglene.

Og det kan være at det bare er ordet tentamen som henger igjen. Jeg er imidlertid ikke sikker. Læreren jeg snakket med, skulle sitte tentamensvakt, og det høres ut som om skolen der denne læreren arbeider, har valgt å gjennomføre tentamen slik de alltid har gjort – slik de gjennomfører eksamen.

Men kanskje skoler ikke gjennomfører tentamen som en prøve-eksamen. Kanskje de «bare» gjennomfører heldagsprøver. Allikevel stiller jeg meg spørsmålet: hvorfor ønsker de å bruke mye tid på individuelle heldagsprøver? Jeg tror jeg vet hva svaret er:

Det kan skyldes at lærere føler behov for å ha et godt grunnlag for standpunktkarakterene. Og etter to måneder med hjemmeskole vil lærerne være sikre på at det er elevenes eget arbeid de vurderer, ikke mors eller fars arbeid. Dette er legitime grunner, men jeg tror fortsatt ikke at lærere kan skaffe seg et slikt grunnlag bare ved å gjennomføre heldagsprøver. Hva med mappevurdering, arbeid med kortere tekster og oppgaver, fagsamtaler (f. eks. om tekster eleven har skrevet, oppgaver de har løst eller filmer de har laget)?

Det andre webinaret vi arrangerte i FIKS handlet nettopp om vurdering. Her kan du få noen betraktninger og råd om dette.

Bilde: Pixabay

Årsaken til at skoler arrangerer tentamen kan også være fordi skolens ledelse gjør det av gammel vane, eller fordi de ønsker seg noen tydelige tall de kan bruke for å vurdere dette skoleåret. Og jeg lurer på om tentamen første uke etter to måneders hjemmeskole gir oss en indikasjon på om disse månedene vil endre norsk skole. Hvis mange skoler gjennomfører tentamen selv om eksamen er avlyst, så tyder mye på at skolene går tilbake til sine gamle «stier», som jeg har skrevet om her. Organisasjoner, bl.a. skoler, har en tendens til å gjøre det de alltid hare gjort. Historien har gitt oss mange skrekkeksempler på hva som kan skje når organisasjoner følger sine gamle stier. Her er to: Facit og Kodak.

Den svenske bedriften Facit var ledende i produksjon av mekaniske regnemaskiner. På 1960-tallet begynte mange firmaer i verden å produsere elektroniske regnemaskiner, men Facit satset fortsatt på mekaniske maskiner. Det gikk som det måtte gå: selskapet ble solgt, delt opp og opphørte til slutt å eksistere.

Kodak var firmaet som utviklet det digitale kameraet. Allikevel satset de nesten utelukkende på å produsere kameraer som brukte film – i tillegg til at de produserte film for tradisjonelle kameraer. I 2012 gikk selskapet konkurs; et selskap med en merkevare på høyde med Coca Cola og Mercedes.

Norske skoler vil ikke gå konkurs, men jeg håper skoler klarer å betrakte sine tidligere vaner og begreper med et kritisk blikk – ikke for å unngå konkurs, men for at opplæringen de gir skal være relevant for vår tid. Jeg håper skoler spør seg selv: er det lurt eller nødvendig å fortsette med dette eller dette? Jeg tror ikke det er nødvendig å gjennomføre tentamen våren 2020 selv om lærere skal ha et godt grunnlag for å sette standpunktkarakter. Den stien trenger vi ikke å følge.

God helg

P.S: Hvis du vil lese hva jeg skrev om tentamen i 2015, finner du det her.

Kan gamle stier hindre at norsk skole blir forandret for alltid?

Noen tror de siste ukenes hjemmeskole vil forandre norsk skole. For at det skal skje, må vi våge å tråkke opp nye stier og ikke gå tilbake til de vi kjenner.

Norge har vært stengt i 3 uker. Det er krise for mange private selskaper, men det kan man ikke si om skole-Norge – heldigvis. Lærere, elever og foreldre opplever en helt annen skolehverdag nå enn de gjorde for en måned siden, og det er store forskjeller rundt i landet i kvaliteten på opplæringen som elevene får. Men opplæringen fortsetter til tross for stengte skolebygg, og ingen lærere står i fare for å miste jobben. Jeg tror mange nå har fått et såpass tydelig grep om hjemmeskolen at de begynner å se fremover mot at skolene igjen åpner.

For før eller siden vil skolebyggene åpne og elever og lærere vil igjen møtes fysisk i skolebygget. Mange spør seg nå hvordan den krisa vi står midt oppe i, vil forandre norsk skole. Og vil de siste ukene få betydning for hvordan vi tolker og innfører ny læreplan?

Hva skjer når vi en gang skal tilbake på jobb og skole, når butikkene igjen skal åpne og vi skal møtes på konsert og kafe? Vil vi da gå tilbake til det samfunnet – og den skolen – vi levde i før covid-19, eller vil samfunnet være forandret for alltid? Vil også skolen blir forandret etter disse ukene med digital hjemmeskole? Noen antar at korona-krisen vil forandre Norge radikalt på mange måter. Jeg er blant dem som håper at det vil skje, men jeg tror verken skolen eller samfunnet vil bli særlig endret på lang sikt som en følge av ukene som nå ligger bak oss.

Professor Morten Jerven ved NMBU gjorde meg i en artikkel i Klassekampen oppmerksom på en faktor som har betydning for hvilken forandring korona-pandemien vi skape på lang sikt. På fagspråket heter det sti-avhengighet.

Professor Tom Christensen og hans kolleger forklarer begrepet sti-avhengighet slik i boka ´Organisassjonsteori for offentlig sektor´: «Kulturelle normer og verdier som preger en organisasjon i dens tidlige og formende år, vil påvirke det som skjer med organisasjonen senere… De målene man etablerer fra begynnelsen i en offentlig organisasjon, kan ha stor betydning for utviklingen videre og er ikke lette å forandre.»

Sti-avhengighet betyr at en organisasjon eller virksomhet har lagt seg til noen arbeidsformer, en viss organisering og noen mål og verdier og disse gjør at virksomheten endrer seg svært lite.  Nordmenn, som går mye på tur i skog og mark, kan lett forstå bildet med å følge kjente stier, følge ukjente stier eller å tråkke opp nye stier.

Bilde: Wikipedia

Vi vet at organisasjoner og samfunn endres når det oppstår kriser. Men når vi skal «tilbake» til det normale, er spørsmålet om vi går tilbake til den stien vi har fulgt lenge, eller om vi våger å finne nye stier. Sti-avhengighet betyr at vi følger den stien vi har gått tidligere selv om vi kunne kommet raskere til målet hvis vi valgte en annen rute. (Det at vi bruker uttrykket «tilbake» til skolen eller «tilbake» til det normale sier i seg selv noe om hvordan vi oppfatter endringer og den pågående korona-situasjonen).

Skolen som institusjon er svært vanskelig å forandre, og det skyldes kanskje sti-avhengighet. Det dreier seg om trygghet og tradisjon, men det dreier seg også om makt. Spørsmålet om omveltninger i både samfunnet og skolen dreier seg  om å beholde eller skaffe seg makt og innflytelse og frykt for å miste dette.

Og i skolen er det ikke vanskelig å finne eksempler på gamle stier som vi fortsatt følger:

Organiseringen med faste plasser i et klasserom er over 2000 år gammel. Vi har arvet denne organiseringen fra det romerske senatet via kirken og klostrerskolene. Ideen om at elevene skal sitte på hver sin pult (for øvrig et underlig og ellers lite brukt uttrykk) med ansiktet og oppmerksomheten vendt mot læreren og tavla i time etter time er verken ny eller forskningsbasert. Må vi følge denne stien når vi skal tilbake til skolebygget?

Timeplanen er en arv fra industrialiseringen og samlebåndet. At vi har delt opp det elevene skal lære og utvikle i atskilte skolefag (11 stykker i grunnskolen) er en arv fra rasjonalismen og akademia. Følger vi denne stien fordi forskning har bekreftet at det er lurt, eller gjør vi det av gammel vane? Eller er det noen grupper som risikerer å miste innflytelse hvis vi ikke gjør det og derfor fortsetter på denne stien?

Innenfor hvert fag deler vi opp lærestoffet i små biter som elevene blir testet i – og det er læreren eller læreboka som porsjonerer ut lærestoffet i passelige porsjoner. (Passelig for hvem?) Er dette stier vi bør fortsette å følge, eller finnes det andre veier? Mange praktiserer at elever rekker opp hånda i klasserommet for å vise at de vet svaret på spørsmålet læreren stiller. Er dette en sti det er lurt å følge for å skape læringsutbytte for mange? Bør vi fortsatt følge en sti der læreren er den mest aktive i timen?

Eksamen er virkelig en av de stiene skolen har fulgt «i alle år». Når eksamen nå er avlyst dette skoleåret, får vi anledning til å spørre oss om det er lurt å fortsette på denne stien. Og er målene med opplæringen preget av tidligere tiders mål og verdier? Er skolen fortsatt preget av målet om å lære elever riktige svar og teknikker de trenger for å arbeide ved samlebåndet?

Korona-krisen har kastet hele skole-Norge ut av den kjente stien og har gitt alle en anledning til å tenke over hvilke stier vi bør fortsette på og hvilke stier som åpenbart er omveier – eller hvilke stier som ikke fører til målet i det hele tatt, men som vi fortsatt følger. Hvis vi erkjenner at organisasjoner preges av sti-avhengighet, kan vi kanskje lettere unngå å følge de stiene som ikke fører til målet.

God ferie og god tur!

 

P.S: I FIKS, der jeg jobber, samler vi erfaringer fra ukene med hjemmeskole og vi ønsker å finne ut hvordan disse ukene preger norsk skole. Du kan lese mer om det under vår overskrift «Nye veier og varige spor, erfaringer for fremtidens skole».

P.S. 2: Hvis du ønsker referanse til Christensens bok, får du den her (etter APA6-standard):
Christensen, T., Lægreid, P., Roness, P. G., Røvik, K. A. (2009): Organisasjonsteori for offentlig sektor (2. utg.), Oslo: Universitetsforlaget