Privat eller statlig overvåkning?

Er fremtiden så lys at vi må bruke solbriller?

Bandet Tibuk3 hadde en one-hit-wonder med låta  «The future´s so bright I gotta wear shades«. Er fremtiden lys og skinnende – så skinnende at vi må beskytte oss?

Jeg har den siste tiden lest tre tekster om fremtiden som er både opplysende og bekymringsfulle – i alle fall for oss som heier på det liberale demokratiet. To av tekstene er oppslag som Aftenposten publiserte 25.10.17  og 6.1.18. Den tredje teksten er boka Homo Deus av historieprofessor Yuval Noah Hariri. Alle tekstene forteller hva vår tids enorme datamengder, Big Data, kan brukes til.

Aftenposten forteller om Kina som vil overvåke alle innbyggeres digitale aktivitet. De som gjør noe myndighetene ikke ønsker, vil møte sterkere begrensninger og større vanskeligheter enn de som gjør som myndighetene vil. Kina lager et system der innbyggerne opparbeider seg sosial kreditt gjennom det de gjør og ikke gjør. Og myndighetene bruker digitale spor ogvdata for å vite hva den enkelte foretar seg eller sympatiserer med. Overvåking? Absolutt. Totalitært samfunn? Ja, dessverre. Deprimerende lesning? Ja, jeg synes absolutt det.

Men hvis du tenker at dette er noe som bare skjer i diktaturer, tror jeg du må tenke deg om enda en gang. Det er her boka til Harari kommer inn i bildet. Harari har gitt boka undertittelen «A short history of tomorrow», og han prøver å beskrive virkeligheten slik den ser ut i det 21. århundre, altså nå. Det er mye man kan si om denne boka, bl.a. at forfatteren har stor tillit til ny teknologi som åpenbart ikke er hans fagfelt, men alle som mener noe eller drømmer om fremtiden, bør lese denne boka.

Harari argumenterer for at alt i verden dypest sett er algoritmer, altså data, signaler og prosesser som oppstår i en gitt rekkefølge. Også biologiske vesener som mennesker, er egentlig algoritmer, og han beskriver hvordan algoritmene tar over våre liv, både privat og profesjonelt. Datamaskiner utvikler sin «forståelse» og kunnskap basert på store mengder data som de samler inn og bearbeider, og de begynner å bli flinkere enn mennesker på mange områder. Han forteller bl.a. om IBMs datamaskin Dr. Watson som kan diagnostisere kreft hos pasienter med langt større treffsikkerhet enn noen lege og om Googles «kunstige intelligens»  Alpha Zero som slo sjakk-computeren Stockfish 8 uten at sjakkeksperter hadde programmert den med sjakkpartier osv. Aplha Zero hadde  bare blitt matet med reglene for sjakk og hadde utviklet sin forståelse for dette spillet på egenhånd – i løpet av 4 timer. (Stockfish er den computeren som styrer pila når det sendes sjakk-VM på TV).

Robotene, altså datamaskinene, altså algoritmene vil etter hvert, i følge Harari, kjenne hver av oss bedre enn vi kjenner oss selv. Hvorfor? Fordi datamskinen husker all informasjonen den får om oss mens vi mennesker heldigvis glemmer det meste av det vi opplever og erfarer. Og Harari omtaler denne utviklingen med langt større entusiasme enn jeg klarer å mobilisere. Etter hvert som Google vet stadig mer om oss, vil Google kunne hjelpe oss i hverdagen – både med å finne frem slik de gjør i dag, men også med mye annet. For hvis Google etter hvert kjenner oss bedre enn vi gjør selv, spør Harari: Hvorfor skal vi ikke overlate de viktige valgene til Google? La Google bestemme hva slags mat du skal ha i kjølekskapet og hvilken utdanning og jobb du skal velge. La Google kjøre bilen din i stedet for deg og bestemme hvilket politisk parti du skal stemme på. Og hvorfor ikke la Google bestemme hvem du skal velge som livsledsager (altså ektefelle eller samboer)? Google vil ikke la seg forføre av øyeblikkets fascinasjon, men vil derimot kunne velge en livsledsager som faktisk passer deg. Med skilsmissetall på over 50% ser det jo ikke ut til at innbyggere i moderne liberale demokratier er særlig flinke til å velge en partner som de har tenkt å leve hele resten av livet sammen med. Google vil helt sikkert være mer treffsikker også i valget av partner på samme måte som Dr. Watson gir bedre diagnoser enn vanlige leger av kjøtt og blod. (Harari baserer argumentasjonen sin på at valg av partner er viktigere enn hvordan partnere lever sammen med den de har valgt, men det er en annen historie).

Og disse tekstene får meg til å undres over om vi kanskje kan velge mellom privat og statlig overvåking – hvis vi ikke velger bort hele overvåkingen, da. Harari tror ikke det vil skje. Den store forskjellen er at mens innbyggerne i Kina ikke kan velge hvilken informasjon overvåkerne skal ha tilgang til, gir de fleste innbyggerne i vesten overvåkerne tilgang til sine data helt frivillig. (Når var sist gang du svarte nei til å gi Google eller en app på telefonen din tilgangene de ber deg om å få?). Harari beskriver dette meget treffende: «In the twenty-first century our personal data is probably the most valuable resource most humans still have to offer, and we are giving it to the tech giants in exchange for email services and funny videos.»

Harari omtaler Google som en nøytral størrelse. Han forholder seg ikke til at noen eier Google og har eierinteresser og økonomiske interesser i dette selskapet og hva det foretar seg. Han antar at systemer som det Google bygger opp, vil føre til at arten Homo Sapiens ikke vil overleve dette århundret. Harari tror at en form for supermennesker vil overta hegemoniet i verden – mennesker som er genetisk omprogrammert og «forbedret» gjennom ikke-organiske organer og massiv bruk av Big Data. Disse menneskene vil trolig behandle homo sapiens slik europeere har behandlet afrikanere gjennom historien. Det er nå boka hans begynner å bli nokså ubehagelig lesning. Og hvis du tror dette er bare fri fantasi, skal du høre NRKs utmerkede program Abels tårn. Da de kåret de viktigste vitenskapelige nyvinningene i 2017, dreide «vinnerne» seg alle om bioteknologi, kunstig intelligens og astronomi.

Og du spør deg kanskje hvorfor mennesker lar dataleverandører få tilgang til alle mulige data om seg selv. Det er trolig samme årsak som hvorfor mennesker aksepterer massiv kameraovervåking i byer og dermed gir fra seg både privatliv og anonymitet: Dette gir (de fleste av)  oss sikkerhet og komfort, lengre liv, materiell velstand – og underholdning. Hararis bok forteller at vi mennesker er villige til å gi fra oss både frihet, egen innflytelse og opplevelse av mening med tilværelsen mot materiell velstand, økonomisk vekst og trygghet. Kinas planlagte overvåkingssystem gir trolig også større økonomisk vekst og trygghet for flertallet av innbyggerne enn et liberalt demokrati slik vi har. Og hvis verdens befolkning er like pragmatisk og utilitaristisk som Harari i sin bok, så blir det avgjørende spørsmålet om et tiltak gir fremgang for mange. På kort sikt gir nok det kinesiske systemet for sosiale poeng økonomisk fremgang og stabilitet.

Men du spør kanskje hva dette har med utdanning og skole å gjøre. Svaret er: alt. Vi utdanner dagens elever for en fremtid vi enda ikke kjenner, og da må vi lytte til de spådommene om fremtiden vi ser tegn til i vår tid. Og både kinesisk overvåkning og Hararis bok gir en beskrivelse av en mulig fremtid vi er på vei inn i med stor fart. Spørsmålet blir hva elevene trenger å utvikle i skolen for å kunne møte denne fremtiden. Jeg har ikke noe godt svar på dette spørsmålet, men jeg er sikker på at programmering ikke er nok. Og jeg vet ikke hvor viktig det er for kommende generasjoner å lese Bjørnsons bondefortellinger på skolen hvis de møter fremtiden Harari beskriver. Eller kanskje er det nettopp det de trenger for å oppleve at verden en gang var stabil og forutsigbar. Uansett trenger vi nokså umiddelbart å gjøre både elever og voksne bevisst hva slags informasjon om oss selv vi gir teknologi-gigantene tilgang til. Det kalles visst digital dømmekraft. Og kanskje må vi som art tåle at vi ikke kan overlate alt arbeid til datamaskiner. Da gir vi samtidig fra oss innflytelse og makt.

Om jeg anbefaler deg å lese Hararis bok? Ja, men du bør absloutt beholde ditt kritiske blikk mens du leser. Og hvis du har anlegg for depresjon og er følsom for dystopier, bør du kanskje heller lese en roman av Nick Hornby.

God helg og god lesning.

Reklamer

Skolen som et jazzorkester?

Bør lærere og skoleledere jobbe på samme måte som jazzmusikere?

Eirik J. Irgens skriver på sin Facebookside at Det vi trenger i skolen, er det samme som i et jazzorkester: Minimale, men tilstrekkelige strukturer som kan gi rom for at den enkelte lærer og det enkelte team i tilstrekkelig grad kan gjøre ting på sin egen måte (også gjengitt på Lærerbloggen). Jeg synes dette er godt sagt og har reflektert over dette. Kan skoler fungere omtrtent slik et jazzorkester gjør? Og kan – og bør – skoleledere lede skoler slik de vil lede et jazzorkester?

(Og før du leser videre: Hvis du vil ha et passe lydspor i bakgrunnen mens du leser, vil jeg anbefale plata «Kind of Blue» av Miles Davis, musikk av Chet Baker eller låter som «Stella by Starlight» eller «There will never be another you»)

Men det var om skoleledere bør lede skoler omtrent som et jazzorkester. Før vi kan svare på det, tror jeg vi bør avklare hva vi mener med jazzorkester. For det er en himmelvid forskjell på et storband og en jazz-kvintett selv om begge kan kalles et jazzorkester. Jeg tror Eirik Irgens snakker om et lite jazz-ensemble, en kvartett, kvintett eller sekstett og ikke et storband.

For et storband er et orkester som spiller nedskrevet og arrangert jazzmusikk. I et storband er det vanligvis bare en som improviserer om gangen, og de andre (ofte omtrent 16) musikerne spiller det som står på notene. Det finnes jazz-tilhengere som mener at de fleste storband-musikere ikke er jazzmusikere fordi du kan spille i et storband i årevis og bare spille det som står på notene – altså uten å utvikle noen improvisatoriske ferdigheter.

I klassiske storband er det 4 trompeter, 4 tromboner og 5 saksofoner og det er vanligvis en eller to av stemmene i hver rekke som spiller soloer, altså improviserer: vanligvis 2. trompet, 1. trombone, 1. altsax og 1. tenorsax. De andre blåserne spiller det som står i notene og følger dirigentens anvisning. Musikerne fraserer selvsagt annerledes enn de ville gjort i et janitsjarorkester eller et symfoniorkester, men i alle tre orkestrene er jobben deres å spille det som står på notene. Og alle ensemblene ledes av en dirigent som nokså egenrådig bestemmer hvordan det hele skal spilles. Det er dette Eirik Irgens vil ha mindre av i skolen.

For Irgens´ ideal er det lille jazz-ensemblet, ofte 4 til 6 musikanter med noen melodi-instrumenter og noen akkompagnement-instrumenter (kalt kompet), f. eks. en trompet, en saksofon, piano, bass og trommer. Jazzhistorien er full av slike ensembler og disse ensemblene kan være et godt ideal for hvordan lærere bør arbeide.

Jeg har i mitt amatørmusikant-liv prøvd å spille jazzmusikk og jeg kan fortelle deg, kjære leser, at det er ikke lett. I et jazzorkester er det ikke bare å tute i vei, nei. Gode jazzmusikere har et ekstremt godt grunnlag som de bygger spillet sitt på. Saksofonisten Joshua Redman har uttalt at veien til å bli en god jazzmusiker går gjennom klassisk musikk og skalaøvelser.

Russel Ross forteller i sin biografi om Charlie Parker «Parker lives» (utgitt på norsk i 1978) at som ung jazzmusiker fikk Parker lov til å prøve seg på scenen sammen med en av sine store forbilder. Jeg tror det var Lester Young. På en av Yongs konserter fikk han bli med og spille på en låt bandet spilte, trolig låta «Cherokee». Charlie Parker improviserte i vei og var overbevist om at han imponerte alle helt til han hørte et cymbal som landet midt på scenegulvet. Det var trommeslageren i bandet som hadde skrudd av et av cymbalene sine og kastet det frem på scenen for å stanse den unge Parker. Ikke akkurat en kompliment og svært pinlig for Charlie som tuslet av scenen. Men historien slutter heldigvis ikke der. Parker forstod at han måtte forberede seg ordentlig. Han har fortalt at han etter denne opplevelsen lærte seg låta «Cherokee» i alle 12 tonearter (som ikke er enkelt på saksofon). «Then I was ready,» forteller han videre.

Moral 1: det er bare en måte å bli flink til noe: hardt arbeid.

Moral 2: jazzmusikere må ha full kontroll på skalaer og arpeggioer i alle tonearter og i alle typer skalaer. Også profesjonelle musikere øver på dette på samme måte som Norges landslagsspillere i håndball øver på kast og mottak på hver trening – selv om de er verdens beste. Lærere må også trene slik at de har full kontroll på sitt pedagogiske repertoar og de må stadig utvide dette repertoaret.

Min erfaring med og studier av jazzmusikk har imidlertid lært meg at det mest avgjørende for en god jazzmusiker (og for enhver musiker i enhver sjanger) ikke er om teknikken er trent og nesten perfekt. Det viktigste «redskapet» for en musiker er – ørene. Skal du bli en god ensembelmusiker, må du ha godt utviklede ører. Du må være i stand til å høre ditt eget musikalske bidrag inn i helheten. Og i en jazz-kvintett (til forskjell fra et storband) må alle musikere lytte til alle de andre hele tiden og justere sitt eget spill i forhold til alle de andre musikerne. Kanskje vil pianisten følge en rytmisk figur som trommeslageren spiller, eller kanskje vil bassisten spille en variant av frasen saksofonisten nettopp spilte. Det er dette som er det særegne med jazz-musikk: det uforutsigbare og improviserte. Det er derfor to konserter med samme musikere og samme program kan bli helt ulike.

For improvisasjon handler, som Irgens skriver, ikke om å spille «et eller annet ut fra ingenting». De klassiske jazz-ensemblene brukte mange av de samme låtene som utgangspunkt for improvisasjonene. Det er derfor de kalles standardlåter. (Og du får kjøpt notene til disse låtene i noteheftene som kalles «The Real Book» – som igjen ga opphavet til navnet på vokalkvintetten «The Real Group»). Akkordene i låta danner grunnlaget for improvisasjonene. Hvor lenge den ene musikeren improviserer er ikke bestemt på forhånd, og ofte får alle musikantene i bandet spille en improvisert solo på hver låt.

Men kan vi tenke oss at skoler ledes på samme måte som man leder et jazz-orkester? Jeg tror svaret kan være både ja og nei. Hvis man tenker at rektorer og skolesjefer bør lede skoler slik man leder et storband, er vel ikke det så langt unna det som skjer i dag. Dirigenten (eller skolelederen) bestemmer hvilke låter som skal spilles i hvilke arrangementer (eller hvilke satsingsområder som skal gjelde for skolen). Han eller hun engasjerer musikere til de ulike posisjonene i storbandet, leder øvelsene, instruerer musikerne om hvordan de skal frasere, dynamikk osv., leder orkesteret på konsert – og får en stor del av applausen. I jazzens gullalder hadde storbandene navn etter orkesterlederen, som ofte også var komponist og arrangør: Duke Ellington, Count Basie, Fletcher Henderson m. fl.

Men kan skolesjefer og rektorer lede skoler slik man leder en jazz-kvintett? For å kunne svare på dette, må vi kanskje undersøke hvordan mindre jazz-ensembler blir ledet. Noen slike ensembler har hatt en eller to tydelige ledere som ofte har gitt navn til ensemblet, f. eks. Gerry Mulligan Quartet eller Charlie Parkers ulike band. Men det som særpreger disse ensemblene er at alle medlemmene i orkesteret gir tunge bidrag til musikken. De har altså en stor grad av distribuert ledelse. Det er ikke bare sjefen som avgjør hvilken vei musikken tar, verken når låtene blir laget eller når de blir spilt. Man kan bare lede på denne måten hvis de andre i ensemblet er dyktige fagfolk og hvis de er flinke til å lytte til hverandre. Det kan fortsatt være tydelig hvem som er sjefen i bandet – som velger repertoar og som bestemmer når det er nødvendig, men musikken utvikles i fellesskap av dyktige fagfolk – basert på rammene som låta gir. Dyktige lærere som samarbeider tett, kan gjøre det samme –   dersom de er villige til å justere sin egen pedagogiske praksis etter det de andre lærerne gjør. Improvisasjon og samspill dreier seg som sagt mest om å lytte.

Og kanskje er det lettere for lærere å jobbe som en jazz-kvintett hvis de ikke er så mange som skal jobbe sammen. Kanskje er Irgens´ synspunkt et argument for at lærere bør arbeide i lærerteam på 4-6 lærere. Et storband trenger skrevne arrangementer bl.a. fordi det er umulig for medlemmene å høre og justere seg etter alle andre musikere mens de selv spiller. I en kvintett er dette mulig.

Men det viktigste både skoleledere og lærere kan lære av små jazzorkestre, er trolig improvisasjon. For på kunne improvisere, må du være svært godt forberedt. Du må nemlig være i stand til å endre det du gjør mens du gjør det. Og da må du alltid ha flere alternativer. Vanskelig? Absolutt, men definitivt mulig. Og hvis skoleledere skal lede lærere slik jazzmusikere leder sine kvintetter, må skolelederne være gode lærere. De må være til stede der pedagogikken utøves og utvikles. De må også være lydhøre og de må våge å gjøre feil.

For også dyktige jazzmusikere gjør feil. Bassisten Red Mitchell fikk en gang spørsmål om hva han gjorde hvis han spilte feil midt i en solo. «Da har jeg tre muligheter,» svarte Mitchell. «Jeg kan enten late som ingenting, eller jeg kan uttrykke min irritasjon gjennom det jeg spiller, f. eks. spille noe som høres ut som «blæh». Eller jeg kan bruke det jeg spilte feil og improvisere videre ut fra det. Da blir ikke feilene en feil, men opprinnelsen til noe nytt.»

Det samme kan både lærere og skoleledere gjøre.

God helg!

P.S: Jeg har tidligere skrevet om jazzlegenden Miles Davis og hvordan han ledet sine jazzensembler, oftest kvintetter og sekstetter. Du finner det her.

Utdanning eller læring?

Skaper digitalisering av skolen et endret syn på læring eller er det «same shit – new (and better) wrapping»? Skaper tradisjonell  eksamen uselvstendige studenter?

Mange skoler og kommuner, inkludert min egen, bruker store ressurser på digitalisering – også av utdanningen. Jeg har tidligere stilt spørsmål ved om digitalisering av skolen skaper økt læring eller hjelpeløse elever. Svaret på spørsmålet er sannsynligvis: «Det kommer an på…»

Denne uka ble jeg gjort oppmerksom på en artikkel i nettavisen Khrono,  en nettavis for høyere utdanning. To professor emeritier skriver at universitetene masseproduserer middelmådighet. Det samme kan kanskje sies om grunnopplæringen i Norge. De to professorene mener at en  årsak til dette er at selv om man innfører digitale ressurser i utdanningen, så er fortsatt vår forståelse av opplæring og utdanning gammeldags og hierarkisk.

Jeg tror de to professorene treffer nokså godt også når det gjelder digitale ressurser i skolen. Mange politikere, skoleledere og lærere kaster seg ivrig over digitale muligheter og bruker disse på gode måter i klasserommet. Men jeg lurer på om vi dypest sett har beholdt vår gamle oppfatning av hva elevene skal lære på skolen og hvordan de skal lære nettopp dette. Dermed bytter vi ut en papirbasert kladdebok med et digitalt tekstbehandlngsprogram. I stedet for at elevene skal skrive ned de de har «lært» på et papir, ber vi dem om å presentere det i en film eller i et lydopptak. I stedet for at elevene skal lese en fagtekst i en lærebok, ber vi dem om å se en film som læreren enten har laget selv, eller har funnet på YouTube. I stedet for at elever skal pusle og spille med fysiske klosser og gjenstander, ber vi dem om å spille digitale spill på sin digitale maskin. Digitale ressurser gir flere muligheter, men synet på læring, opplæring og undervisning er i stor grad det samme som før.  Det kan være fornuftig å bruke penger og tid på digitale ressurser også med begrunnelse om mer effektiv jobbing og at lærere dermed bl.a. kan gi respons til flere elever. Men jeg undrer meg over om vi som jobber i skolen virkelig har tatt inn over oss hvordan digitaliseringen ikke bare endrer våre arbeidsmåter, men hele grunnlaget for det vi gjør.

For skoler og universiteter er fortsatt basert på en strengt hierarkisk kunnskaps- og læringssyn der «noen» bestemmer hva som er viktig å lære på skolen – til forskjell fra verdensveven der alle som mener at de vet noe, kan formidle dette og bli korrigert hvis det er nødvendig. (En grunn til at elever opplever skolen som lite relevant er nettopp at andre enn de selv bestemmer hva som er viktig). Og det som er «opphøyet» til viktig «kunnskap» i dag, har vært viktig en gang. Spørsmålet er om det vil være viktig også i fremtiden. (Hvor viktig er det f. eks. for dagens elever og deres fremtid at de har god kjennskap til motsetningene mellom Wergeland og Welhaven?) Professorene siterer Peter F. Druckers som sier: «Når et tema er foreldet, gjør man det til et obligatorisk kurs i opplæringen»

Det er dette stive og hierarkiske kunnskapssynet de to professorene utfordrer, og de peker på eksamen som uttrykk for dette. I grunnutdanningen bruker vi flere vurderingsformer enn eksamen og derfor er nok problemstillingen professorene peker på langt større i høyere utdanning. Men også i skolen bør vi reflektere over spørsmålene  professorene stiller: Hva er læring av høy kvalitet og hvordan kan vi som jobber innen utdanning se tegn på at det skjer læring av høy kvalitet? Er det læring av høy kvalitet når elever klarer å gjengi innholdet i læreboka på en skriftlig prøve – eller gjennom et lydopptak? Er det læring av høy kvalitet når elever klarer å presentere informasjon (også kalt kunnskap) gjennom en muntlig presentasjon, en skriftlig tekst eller ved hjelp av film eller animasjon? Hvis de i all hovedsak gjengir informasjon slik de har hentet den et sted (i læreboka, på nettsider e.l.), så vet vi at de er i stand til å gjengi informasjon, evnt. å huske noe i 14 dager. Men er dette fremtidsrettet læring av høy kvalitet? Eller er det læring av høy kvalitet når en elev eller student skifter synspunkt eller oppfatning på grunnlag av det hun har lest, hørt og prøvd – og kanskje til og med selv forstår hvorfor hun skifter mening?

Om arbeidet skjer med papir og blyant eller med digitale ressurser er ikke vesentlig hvis vårt syn på kunnskap og opplæring er konstant. Det er først når vi lar de digitale mulighetene endre vår oppfatning av opplæring og læring at de virkelig får betydning – ut over å lære elever digitale ferdigheter og programmering (som er nyttig i seg selv, men som ikke endrer vår forståelse av hva læring med høy kvalitet er). Trenger vi f. eks. å angi hvor mange skoletimer elever skal arbeide med ulike skolefag i en digitalisert verden? Trenger vi å dele opp skolen i ulike og nokså få atskilte skolefag? Må lærere drive «undervisning» av hele klasser samtidig i det samme rommet, eller kan elevene jobbe i sitt eget tempo på grunnlag av faglige utfordringer som er tilpasset deres faglige nivå? (Disse utfordringene kan de selvsagt få av lærere).  Er målet med opplæringen at elevene skal «kunne» (og gjengi) et fagstoff som noen har bestemt at er viktig, eller er målet med opplæringen av elevene skal kunne forstå og beskrive både sin samtid og sin egen læring og utvikling og at de selv skal kunne ta stilling til hvilken informasjon (og verdensanskuelse) de velger å støtte seg til? Og skal «kvalitet» beskrives og bestemmes av nasjonale og kommunale myndigheter?

Hva hadde skjedd hvis læreplanene ikke lenger skulle angi hvilken informasjon elevene skal huske – i praksis i 14 dager (frem til neste prøve) før de kan glemme den? Hva hadde skjedd hvis man i stedet laget læreplaner som virkelig beskrev kompetanser elevene må utvikle (og ikke som i dag der læreplanene angir faglige ferdigheter, informasjon og begreper og kaller det kompetanse). Hva skjer når elever lærer gjennom adaptive læreprogrammer? Hva skjer når elever lærer gjennom spill og fiktive universer på egen hånd – med eller uten digitale ressurser?

For eksamen og andre vurderingsformer viser hva slags oppfatning vi har av læring. Hvis eksamen består i at elever og studenter skal kunne forklare faglige begreper og gjengi faglig informasjon slik den er presentert for dem gjennom utvalgte bøker, så viser det at vi mener dette er det elevene trenger for fremtiden: å kunne huske noe i noen uker eller måneder. Hvis eksamen består i å løse nokså kjente faglige utfordringer, altså brede eller smale fagoppgaver) slik man har gjort gjennom hele skolegangen, sier vi at det viktigste for elever er å kunne svare på eksamensoppgaver.

Og så lenge vi beholder en tradisjonell eksamen der elevene og studentene skal arbeide individuelt i et avgrenset antall timer og i løpet av disse timene skal vise hva de har «lært» i løpet av noen års studier eller skolegang, så er det ikke rart om elevene og studentene bare er opptatt av å huske det de trenger til eksamen. Da er det ikke rart at de ikke bryr seg om å virkelig forstå det de jobber med. Og det er heller ikke rart at de ikke bryr seg så mye om å samarbeide med andre eller å forstå sin egen utvikling – eller å gjøre seg opp en mening basert på det de leser og lærer.

Hvis vi derimot vektlegger (og setter karakterer) på grunnlag av elevers utvikling, f eks. dokumentert gjennom papirbaserte eller digitale mapper, vil elevene bli opptatt av sin egen utvikling. Slik det er i dag, er de bare opptatt av å få presentert det rette svaret eller den riktige forklaringen. Det er nemlig det som gir uttelling ved prøver og eksamen.

Du finner artikkelen her:  Universitetene har blitt masseprodusenter av middelmådighet.

Happy reading og god helg!

 

 

 

 

Flytende eller fast ledelse?

Leder vi best gjennom detaljerte planer eller tydelige intensjoner?

Som alle andre skoler må også vi trene elevene i digital folkeskikk. Vi er med i et kommunalt prosjekt for digitalisering av opplæringen, og fikk dermed pålegg fra prosjektledelsen om å lage en 3-års-plan for opplæring i digital dømmekraft og folkeskikk. For planer må vi ha. Det er tydelig på alle nivåer.

Jeg kan lage denne planen på minst to ulike måter, og de to måtene bunner kanskje i to ulike tilnærminger til hva som er god og passelig ledelse.

For vi kan selvsagt skrive en detaljert 3-års-plan som alle lærerne skal følge: Jeg kan angi hva lærerne skal gjennomgå med elevene i oktober på 8. trinn og skrive ned hva de skal gjennomgå i april på 9. trinn osv. Hvis jeg sender en slik plan til min overordnede og til prosjektledelsen, blir de trolig både glade og beroliget. For vi tenker gjerne at «bare vi har en plan…»

Gjørv-utvalget som ble nedsatt etter terrorangrepet 11. juli 2011, var tydelig da de sa at man må ha en plan, bl.a. for terrorberedskap – og sikkert også for trening av digital folkeskikk. Men Gjørv-utvalget sa også at en plan bare er 5% av jobben som må gjøres. Det avgjørende er om man gjennomfører det som står i planen. Det var her det sviktet 22. juli.

For i stedet for en detaljert 3-års-plan kan jeg skrive ned noen rammer og intensjoner som lærerne må oppfylle når de planlegger undervisning bl.a. i digital folkeskikk. Hva som er forskjellen på dette og en detaljert plan, spør du? En detaljert plan sier hva som skal være innholdet på ulike tidspunkt. Den vil gjerne angi konkrete undervisningsmetoder og hvor lenge man skal  holde på med ulike aktiviteter osv. Den er fast og rigid og gir liten mulighet for lokal tilpasning. Rammer og intensjoner, derimot, sier hva slags bevissthet og kompetanse elevene skal utvikle, men de sier ikke hvordan læreren skal undervise i emnet. Omtrent som læreplanen, altså.

À propos tydelige undervisningsplaner: Jeg har blitt fortalt at på skoler i enkelte andre land står det manualer som angir opplegg for hver undervisningstime i hvert fag på hvert alderstrinn slik at læreren bare trenger å følge «oppskriften» for hver time. Noe slikt virker jo som det motsatte av den norske læreplanen og tyder kanskje ikke på tillit til lærere.

Jeg tror som sagt at disse to ulike planleggingsformene henger sammen med hvordan man oppfatter ledelse. Hvis man mener at ledelse dreier seg om å bestemme og å gi instruks, så lager man trolig en detaljert plan f. eks. om trening i digital folkeskikk. Hvis man derimot mener at ledelse dreier seg om å aktivisere andres kompetanse og samle bidrag fra alle impliserte, er man kanskje mer tilbøyelig til å lage rammer fremfor planer. Dreier det seg om hvorvidt man ønsker utvikling nedenfra eller ovenfra? Tror vi som ledere at vi må være de sterke og styrende i organisasjonen vår, eller har vi tro på at medarbeidere selv og sammen kan velge hvordan de vil nå de ulike læringsmålene?

Og hvilket lederideal man støtter seg til er selvsagt aktuelt i alle bransjer, ikke bare i skolen. Fordelen med militær kommando er at den blir fulgt. Ulempen med militær kommando er også at den blir fulgt – også når kommandoene er ufornuftige eller etisk uforsvarlige. Mens en «flytende» ledelse som sikter mot å aktivisere medarbeidernes engasjement og kompetanse forutsetter at medarbeidere nettopp har den nødvendige kompetansen og at de forstår hva som er intensjonene.

Jeg fortsetter med å lage rammer for opplæring i digital folkeskikk og ønsker deg god helg!

Det dreier seg ikke om læring, men om helse

Stortingskomiteer begynner nå å legge seg opp i ansvarsoppgavene til andre Stortingskomiteer. Dette gir helt nye muligheter.

Senterpartiet har foreslått å pålegge skoler å gjennomføre 1 time fysisk aktivitet innenfor gjeldende timetall. Kjersti Toppe, som sitter i helsekomiteen på Stortinget, uttaler til Aftenposten 3.12.17: – Vi innfører ikke dette først og fremst for at elevene skal få bedre læring, men bedre helse. Det er en grunn til at vi har saken i helsekomiteen.

Dermed har en komite på Storinget lagt seg tungt opp i fagfeltet til en annen av Stortingets komiteer. Dette åpner for mange vidunderlige politiske forslag – som selvsagt alle skal realiseres innenfor dagens rammer. Tenk deg følge nyheter:

  • Samferdselskomiteen foreslår at Stortinget pålegger alle landets domstoler å legge asfalt på 10 km vei hvert år. Dette skal skje uten at tid brukt til rettsforhandlinger verken økes eller minskes. Dette er ikke for at vi skal få et bedre rettsvesen, men for at vi skal beholde de gode veiene vi har.
  • Utdanningskomiteen foreslår at Stortinget pålegger alle landets fiskeoppdrettsanlegg å gjennomføre 1 time matematikkundervisning for alle skoleelever i nærmiljøet – selvsagt innenfor de ressursene de har til rådighet. Dette er ikke for at vi skal få en renere og mer effektiv fiskeoppdrett, men for å skape bedre læring.
  • Justiskomiteen foreslår at Stortinget pålegger alle landets helseforetak å gjennomføre rettforhandlinger om sivile søksmål med erstatningsramme under 2 millioner kroner. Dette er ikke først og fremst for at vi skal få et bedre helsevesen, men for å gi en smidigere rettsbehandling
  • Energi- og miljøkomiteen foreslår at Stortinget pålegger alle utenriksstasjoner å utvinne olje eller naturgass på ambassadens eiendom i alle land. Dette er ikke først og fremst for at vi skal sikre Norges interesser internasjonalt, men for å avhjelpe landets energisituasjon.
  • Kulturkomiteen foreslår at Stortinget skal pålegge Finansdepartementet å gjennomføre eventyrstund og sang for barn 1 time hver dag. Dette er ikke for å styrke valutapolitikken, men for å skape bedre kulturopplevelser for barn.

Jeg håper politikerne i de ulike komiteene ikke snakker med politikere fra andre komiteer, eller med folk innen fagområdet, før de fremmer sine forslag. Men Kjersti Toppe har tydeligvis snakket med minst en lærer eller skoleleder i Drammen. Det er flott at de får til å gjennomføre fysisk aktivitet der, men det er dessverre ikke første gang vi hører en politiker som har hørt om et godt lokalt tiltak og som vil gjøre dette til obligatorisk tiltak for hele landet eller kommunen. Jeg har selv opplevd at et kommunestyre vedta at alle matematikklærere skulle bruke en undervisningsmetode politikerne hadde lest om i en lokalavis på vestlandet.

Det var en god matematikkmetodikk, bevares, og det er fint om elever får beveget seg i løpet av både skoledagen og i fritiden. Det trenger de. På vår skole hender det at elever blir kjørt til skolen av foreldre, og svært mange av elevene deltar aktivt i idrett. Da virker det litt underlig at det er skolen som får oppgaven med å holde ungdom i bevegelse for å sikre dem god helse. For forslaget fra Senterpartiet dreier seg om helse og ikke om læring. Det er kanskje jeg som har misforstått når jeg trodde at skolenes oppgave var å skape læring og utvikling hos elevene.

 

Trenger vi virkelig karakterer på ungdomsskolen i våre dager?

Verden endrer seg, men skolen er nokså uforanderlig. Vi må fra tid til annen våge å ta opp til vurdering det vi tror er selvsagt.

For noen uker siden ble jeg irettesatt av fungerende Kunnskapsminister. Pent, høflig og ordentlig selvfølgelig, men nokså tydelig. Det skjedde da jeg møtte ham til samtale om kroppsøvingsfaget på nasjonalt fargefjernsyn en tidlig morgen. Jeg foreslo at man kan kutte ut karakterer i kroppsøving på ungdomstrinnet. «Ja, man kan kutte ut alle karakterene på ungdomstrinnet,» sa jeg. Og det var da Kunnskapsministeren poengterte at vi har ulike roller han og jeg. Jeg er en rektor og skal sørge for at vedtak blir gjennomført og realisert mens hans jobb er å bestemme retning og innhold i opplæringen. Jeg håper kunnskapsministeren ønsker seg skoleledere som har et større engasjement enn at de skal stå på samlebåndet og gjennomføre de oppgavene de blir pålagt av politikerne. Jeg håper politikere faktisk er interessert i å høre på de som jobber i skolen. Men fungerende Kunnskapsminister svarte også på forslaget mitt. Han sa omtrent at «Karakterer er noe vi må ha.» Og jeg tror mange tenker slik: at karakterer er noe vi  ha i skolen.

Men vi bør av og til tenke over hva vi  ha og hva som bare er vane eller tradisjon, og det var etter denne samtalen jeg begynte å tenke mer omkring karakterer i ungdomsskolen. Og kanskje har det vært klart for deg lenge, kjære leser, men for meg ble det ganske tydelig at vi trenger ikke å ha karakterer i ungdomsskolen. Vi kan beholde dem hvis vi synes det er meningsfullt, men vi trenger dem ikke lenger.

Før 1994 trengte vi karakterer i ungdomsskolen. Den gangen var det bare noen elever som fikk plass på videregående skole, og da trengte vi et system som kunne skille de som skulle få plass fra de som ikke fikk plass på videregående skole, eller gymnaset, som det het før 1976. For det beste med karaktersystemet er at det er en forståelig og nokså enkel måte å skille de som presterer høyt fra de som ikke presterer like høyt. Tall er enkelt og vakkert, vet du: 5 er mer enn 3 – ingen tvil om det. Jeg hører argumenter for at vi fortsatt bør gjøre det tydelig for elevene i skolen om de presterer godt eller dårlig, men vi trenger ikke karakterene for å skille elevene når de skal begynne på videregående skole.

Årsaken er åpenbar: siden 1994 har alle norske elever rett til en plass på videregående skole. (Om dette er en fordel eller ikke, er en annen diskusjon). Det store utdanningsmålet for nasjonen Norge er at alle elever skal begynne på – og fullføre – videregående skole. (Om det er lurt og om vi lykkes med det er også en annen debatt. Men jeg vil minne om at det aldri har vært så mange unge som fullfører videregående skole som det er i dag. Før 1994 var det svært mange som aldri begynte på videregående skole.) Siden alle har rett til en plass på videregående skole, trenger vi ikke å skille mellom de som får plass og de som ikke får plass. Så i dag brukes avgangskarakterene fra ungdomsskolen bare til å avgjøre hvilken skole og hvilket studieprogram elevene får plass på, ikke om de får plass.

Mange peker på at det er større forskjeller på undervisningen innen den enkelte skole enn mellom skoler. I de 10 første årene av det som begynner å ligne et 13-årig felles skoleløp går elevene på sin nærmeste skole (eller i alle fall en skole i nærheten av de de bor). Kan de ikke fortsette med det også de 3 siste årene? De elven som søker seg inn på studiespesialiserende linje (tidligere allmennfag), skal bare fordeles på skoler og de kan tildeles plass ut fra andre kriterier enn karakterer siden dette tilbudet finnes omtrent over alt. Dette vil ikke ødelegge utdanningsmulighetene for skoleflinke elever. (Det kan være bedre for en elev å få en flink lærer på en videregående skole med middels rykte enn å få en middels lærer på en videregående skole med veldig godt rykte, vet du). Jeg har hørt politikere i Oslo si at dersom man hadde geografisk inntak til vidergående skole, ville skoler som Stovner og Ulsrud fylles opp med de elevene som presterer svakest på skolen. Er det i motsetning til dagens system som fører til nøyaktig det samme?Vi trenger ikke karaterer for å skille elever som skal begynne på studiespesialiserende linjer.

Dersom inntak til videregående skole ikke hadde skjedd på grunnlag av karakterer fra ungdomsskolen, ville vi også unngått to andre underlige skjevheter som vi har i dag. Den ene er forestillingen om at de gode skolene er de som har det høyeste karaktersnittet for elevene når de avslutter videregående skole og den andre er ordningen med at 5% av elevene på alle videregående skoler, også skoler med høyt presterende elever, er blant de aller svakeste elevene. Visste du ikke det? 5% av plassene på videregående skole blir ikke fylt opp ved første opptak. Grunnen er at de elevene som har for svake karakterer til å komme inn på noen videregående skole, blir fordelt på alle videregående skoler. De har jo rett til en plass, må vite. Dermed får man videregående skoler som har et karaktersnitt ved inntak omkring 5, men der 5% av elevene har karaktersnitt langt under 3. Hvor sannsynlig er det at disse elevene fullfører videregående skole? Om om de gjør det: hvor store ressurser har denne videregående skolen brukt for å få dem igjennom 3 år sammen med klassekamerater som er «superflinke» og «supermotiverte»?

For studieprogram det er knapphet på, trenger vi fortsatt noe som kan skille søkerne fra hverandre, men slike systemer har vi allerede. Det kalles opptaksprøve, intervjuer o.a. Søkere til musikklinjer må gjennom prøvespill for å vise hva de kan. Kan man ikke gjøre det samme også med kunstfaglige linjer (la eleven bygge opp en portfolio i løpet av ungdomsskolen) og idrettslinjer? Kan man gjennomføre intervjuer til noen studieprogram og lage opptakssystemer der elevene får plass basert på hvor flinke og/eller motiverte de er for nettopp det som er studieprogrammets innhold? I dag kan den minst dedikerte og dårligste utøveren få plass på musikklinja dersom han har supre karakterer i de teoretiske fagene fra ungdomsskolen mens den usedvanlig motiverte og nokså flinke utøveren kan risikere å ikke få plass på musikklinja fordi hun presterer middels i teorifagene. Er det lurt å ha det slik? Er det urettferdig at en som har trent på noe i mange år, faktisk får plass på et studieprogram som omfatter det hun har trent på?

Men hovedpoenget mitt er at vi ikke lenger trenger å gi elevene standpunkt- og eksamenskarakterer når de forlater ungdomsskolen. Og da trenger vi ikke å gi dem karakterer underveis på ungdomsskolen heller. Vi kan, men vi ikke. Og når vi erkjenner dette, kan vi åpent drøfte om det er lurt å ha karakterer. Den forskningen jeg kjenner til om vurdering er nokså tydelig: Vurderingssystemene man bruker må ikke åpne for at elevene lett kan sammenligne seg med hverandre (Dylan Wiliam), de må hjelpe elevene til å se sin egen fremgang, de må bestå av faglig feedback (John Hattie). Karakterer virker motiverende på de elevene som presterer høyt, altså de som minst trenger ytre motivasjon, mens de virker demotiverende på omlag 1/4 av alle elever, altså de som presterer svakest og som er de som trenger hjelp til å bygge opp sin egen motivasjon og sin egen forventning om å lykkes (Ruth Butler). (Hvis du, kjære leser, baserer dine argumenter om skole på forskningen til John Hattie, og det er ikke det dummeste du gjør, så skal du merke deg at karaktersystemer ikke en gang er på hans liste over hva som gir god læring mens det som er helt på toppen av hans «rankingliste» – og som i følge Hattie har en effekt nesten dobbelt så kraftig som neste faktor – er elevenes forventning om å lykkes.)

For noen argumenterer for at karakterer er motiverende, og det er nok riktig – for noen og en viss tid. Lønnsøkning er også motiverende – en stund, men hvis jobben din er skrekkelig, hjelper det ikke så mye med litt lønnsøkning. Og vil du lese mer om belønningssystemer i arbeidsliv og utdanning, er Bård Kuvaas og Anders Dysvik gode personer å begynne med. Og husk at av de 13 årene med fellesskole i dette landet, får elevene ikke karakterer i over halvparten av tiden. Fra 1. til 7. klasse får elevene ikke karakterer, og de som påstår at elevene ikke lærer noe hvis de ikke får karakterer, bør komme og møte de elevene som begynner hos oss i 8. klasse. De har lært uhorvelig mye! Når elever begynner på ungdomsskolen, har de imidlertid en forventning om å få karakterer. Og så lenge de har denne forventningen, virker karakterene motiverende på mange. Men 1. – 7. klasse viser at det er fullt mulig å få elever til å lære noe uten karakterer som «ris bak speilet».

Jeg har også hørt noen peke på at særlig gutter trigges av konkurranse. Det er sikkert riktig, men det er fullt mulig å lage konkurranse om faglig utvikling uten at staten trenger å pålegge skolene å gi tallkarakterer hvert halvår. Jeg har også hørt folk argumentere med at elevene må bli vant til å forstå og forholde seg til karakterer – for når de forlater videregående skole trenger de å ha med seg en rekke med tall eller bokstaver som de kan bruke til å konkurrere om et begrenset antall plasser i høyere utdanning. Spørsmålet blir om dette er argumenter som er tungtveiende nok til at vi bør holde fast på et system som både virker demotiverende for mange elever og som forstyrrer læringen deres.

Og hvis du tror min begrunnelse for å fjerne karakterene fra ungdomsskolen er å gjøre skolen slappere eller snillere, så tar du feil. Jeg ønsker å fjerne karakterene for at elevene skal lære mer enn de gjør i dag – med karakterer. Bl.a. Lisbeth Brevik ved Universitetet i Oslo har avdekket at elever ikke går på skolen for å lære: de går der for å få gode karakterer. Belønningssystemet gjør at selve jobben og utbyttet blir uvesentlig.

Som sagt bør vi av og til tenke over hva vi  ha og hva som bare er vane eller tradisjon. Vi trenger ikke karakterer i norsk ungdomsskole og hvis de ødelegger for ekte (og dyp) læring, er det kanskje på tide å skrote dem.

Er det nå det passer med diktet Skeiserenn av Olav H. Hauge frå samlinga Dropar i Austavind fra 1966?

Du startar i lag med storskridaren.
Du veit du ikkje kan fylgja han,
men du legg i veg
og brukar all di kraft
og held lag ei stund.

Men han glid ifrå deg,
glid ifrå deg, glid ifrå deg –
Snart er han heile runden fyre.

Det kjennest litt skamfullt med det same.
Til det kjem ei merkeleg ro yver deg,
kan ikkje storskridaren fara!
Og du fell inn i di eigi takt
og kappskrid med deg sjølv.
Meir kan ingen gjera.

 

God helg!

Generasjon «klipp og lim»?

Er det en hjelpeløs generasjon som bare kan «copy-paste» som inntar universiteter og høyskoler? Har Bertrand Russel rett?

For to uker siden deltok jeg på konferansen Skolen i digital utvikling. Blant alt det interessante jeg hørte her (ja, for det man gjør mest på slike konferanser er å høre) fikk jeg bl.a. med meg Lars Figenschous beskrivelse av dagens studenter. Det var underholdende, men ikke særlig lystelig.

Lars Figenschou jobber på Universitetet i Tromsø (UiT) og skulle snakke om studenters informasjonskompetanse – det vi andre kaller digital kompetanse. Han åpnet med å fortelle om en generasjon som alltid har fått høre at «de er så «gode med data» og som har ubegrunnet høy selvtillit. For den samme generasjonen har, i følge Figenschou, ingen forestilling om akademiske verdier som redelighet, etterprøvbarhet, kritisk tenkning o.l.

Tidligere var informasjonskompetanse, litt forenklet sagt, hvor god du var til å skrive kildeliste. I våre dager er det noe langt mer komplekst. Elever og studenter (og alle vi andre) opplever en økende mengde informasjon som kommer i et stadig økende tempo, og dette må kommende generasjoner klare å forholde seg til. Lars Figenschou ga ikke inntrykk av at «dagens ungdom» er særlig flinke til det.

Lars F. presiserte at utfordringen med «Google-generasjonen» er størst på åpne studier, altså studier der det ikke er opptakskrav og som ofte ikke retter seg mot et spesielt yrke. Dagens nye studenter vet ikke, i følge Lars F., hvorfor de er på universitetet. De har ingen drøm eller nysgjerrighet for faget de studerer og hvis du spør dem hvorfor de går på universitetet, svarer de «Hva annet skulle jeg gjort?»

Figenschou antok at opp mot 50% av dagens studenter velger minste motstands vei gjennom opplæringen – og de har gjort det hele skolegangen sin: de kjøper gjerne besvarelser av andre, de kjøper hjelp av andre, de klipper og limer ubegrenset, de skriver av andre og de er bare opptatt av å levere oppgavene slik at de kan bestå. Og de har altså ubegrunnet høy selvtillit. Det er her Bertrand Russel kommer inn. Han har uttalt «Feilen med verden er at de dumme er så skråsikre på alt – og de kloke så fulle av tvil».

Og forskere har dokumentert at Russel har rett. Forskerne David Dunning og Justin Kruger publiserte i 1999 en studie som indikerte (eller viste) at mennesker har størst selvtillit innen et fagfelt når de vet lite eller ingenting om det. Når mennesker lærer mer om et fagfelt, synker deres faglige selvtillit på dette området. Dette kalles selvsagt Dunning-Kruger-effekten. Noen har ment at vi i dag har statsledere i verden som bekrefter denne teorien.

Bilderesultat for dunning-kruger

Lars F. sensurerer studenters besvarelser. Nylig skulle han sensurere 6 besvarelser. Han viste 4 av disse til noen venner og spurte hvor gamle vennene trodde de var som hadde skrevet disse besvarelsene. «Tja,» svarte vennene, «kanskje 12 år». Så enkelt var både språk og innhold hos studentene. Og Lars F. la til, med sitt herlige nordnorske tonefall: «Og de to siste oppgavan’ va’ ikkje mykkje å samle på de heller.»

Lars F. hadde, som den gode akademiker han er, noen tall som grunnlag for sine påstander. Han fortalte at antall disiplinærsaker ved UiT har økt fra 5 i 2012 til 43 i 2016. Disiplinærsaker dreier seg i stor grad om juks og forsøk på juks. Lars F. mente at denne økningen også hadde sammenheng med at antallet utenlandske studenter har økt, men det forklarte ikke hele økningen. Årsaken ligger også i en generasjon som bare er opptatt av å få god nok karakter. De er ikke opptatt av å lære.

For Lars F. spurte om «Google-generasjonen» egentlig er klare for akademia – og for resten av livet. Han fortalte om en student på UiT som hadde fullført ingeniørutdanning. Da Lars F. traff ham et år etter fullført studium, spurte Lars F. om studenten hadde fått seg jobb. «Nei,» svarte studenten. «Du vet, jeg er egentlig ikke ingeniør. Jeg mener: Gjennom hele skolegangen har jeg gjort akkurat nok til å bestå, men jeg kan ikke det man må kunne som ingeniør, så jeg har ikke turt å søke noen ingeniørjobb.» En sørgelig erkjennelse – som kom sørgelig for sent.

Vi må forholde oss til digitale ressurser i skole og utdanning og nettopp derfor må vi hjelpe elevene til å utvikle kritisk tenkning og evne til dybdelæring og forståelse. Og da er svaret trolig ikke å alltid gi full digital gass.  Jeg tror Lars Figenschou er enig i dette. Du finner foilene hans her.

God helg!

P.S: Hvis du vil glede deg over flere av nobelprisvinner Bertrand Russels sitater som f. eks. «Det er mye glede å finne i unyttig kunnskap», finner du flere her.

%d bloggere like this: