Verslag van een classroom research project voor Engels Testing

ENGELS MONDELING EXAMINEREN
EEN EXPERIMENT IN HET O.-L.-VROUWECOLLEGE VAN TIENEN

Leo Gysegom, Irislaan 20, 3061 Leefdaal
Karel Van Rompaey, Schoolstraat 8, 3380 Bunsbeek
Omer Willems, Bisschoppenhof 7, 3270 Scherpenheuvel

1. Inleiding
2. Het experiment
3. De enquête
4. Algemeen besluit
5. Video

1 Inleiding

Toen in 1991 het navormingsproject Efficient Language Learning afgesloten werd, hadden 256 leerkrachten uit 63 Vlaamse scholen zich als teams bekwaamd in de communicatieve aanpak zoals voorgeschreven door het nieuwe leerplan. Verscheidene deelnemers hadden aan het einde van het project slechts één verzoek: ‘Nog meer bijscholing... over communicatief testen volgende keer!’

Inderdaad, het is niet consequent en zelfs gewoon onrechtvaardig, als men wel communicatief les geeft maar niet communicatief examineert. Men toetst toch wat men heeft aangeleerd! Voor het toetsen van communicatieve vaardigheden echter liggen theorie en praktijk nog ver uit elkaar. Sommige leerkrachten voelen zich trouwens ronduit in de steek gelaten: vaste normen of een methode worden nergens voorgeschreven en ook de navorming wijdt slechts sporadisch enige aandacht aan communicatief toetsen. Dit is jammer.

Onze vroegere inspecteur en begeleider, Jos Vanachter, stelt het zo (in Nova et Vetera, jg. LXXII, nr 6 p. 419-440):

Geleidelijk aan krijgen zij [de leraren] de techniek van het lesgeven op een communicatieve manier wel onder de knie. Maar als het op evaluatie aan komt, deinzen velen terug voor de logische consequenties. (p.419)
Mondelinge toetsen lijken riskant, subjectief, tijdrovend en worden daarom met argwaan bekeken. Leerlingen houden er nog niet van en leraren proberen ze te vermijden. (p.425)

De auteur zegt rake dingen over ‘zinvol evalueren’, meer bepaald van mondelinge communicatieve vaardigheden:

Maar als we het ernstig menen met de communicatieve aanpak van een vreemde taal, moeten we wel overgaan tot mondelinge toetsvormen. Eerst en vooral zullen leerlingen pas goed gaan leren als ze weten dat ze ook getest zullen worden. En anderzijds moeten we toch ook meten en oordelen - zowel formatief als summatief - of de leerlingen in staat zijn om een vreemde taal te spreken en spontaan in die taal te communiceren. (p.425)

Ongetwijfeld kwam het merendeel van de collega’s Engels reeds eerder tot dit besluit en voegden zij de daad bij het woord. In heel wat scholen wordt geëxperimenteerd met allerlei vormen van communicatief toetsen.

In het O.-L.-Vrouwecollege van Tienen is het ‘duo-examen’ of ‘paired interview’ als mondelinge proef voor zesdes en vijfdes al enige jaren ingeburgerd. Leerlingen demonstreren hun communicatieve vaardigheid samen met een partner. Zij overbruggen een informatiekloof, zij interviewen elkaar of spelen een rolletje, zij lossen problemen op, zij interpreteren een gedicht, een serie foto’s, enz...

Het O.-L.-Vrouwecollege (ASO) fusioneerde in 1994 met het St.-Jozefsinstituut (ASO, TSO en BSO), waar een andere traditie van examineren bestond. Natuurlijk moest er gepraat worden. Tijdens vakvergaderingen kwamen we tot een gezamenlijke strategie voor het vak Engels en tot concrete afspraken. In de derde graad zouden mondelinge examens worden georganiseerd: voor het eerste jaar in december, voor het tweede jaar in juni.

Wij geraakten het niet helemaal eens over het examenformaat: dat moest zowel voor leraren als voor leerlingen optimaal zijn. Het artikel van Jos Vanachter was de directe aanleiding om aan action research te doen: via een experiment en een enquête wilden wij proberen tot een gefundeerde keuze te komen.

2 Het experiment

Naast individuele mondelinge examens worden in Tienen dus ook ‘paired interviews’ of duo-examens afgenomen. In zijn artikel stelt Jos Vanachter een interessante variant van dat duo-examen voor, een methode die trouwens ook door Diane Wallis (Testing in twos - the paired format in oral examinations, IATEFL 1994) en het UCLES-team wordt gepropageerd: twee leerkrachten, de ‘interlocutor’ en de ‘assessor’, examineren samen twee leerlingen. Deze variant hebben wij het duplo-examen genoemd.

Nu wilden wij wel eens weten wat de relatieve voordelen zijn voor examinatoren en examinandi van deze verschillende examineermethodes en welke procedure misschien de standaard kon worden in onze school. Daartoe organiseerden wij de mondelinge examens van de vijfdes (december 1995) op drie verschillende manieren en spraken de drie betrokken leerkrachten af om de hele zaak goed te observeren en te evalueren. Lekker meegenomen daarbij was dat alle vijfdes hetzelfde schoolboek gebruiken, dat ze grotendeels dezelfde units hadden gezien en dezelfde taken volbracht.

Het experiment betrof dus alle eerste jaren van de derde graad: 105 leerlingen, 10 klassen. De leerlingen werden een maand voor de examenreeks ingelicht over de voor hen gekozen examineermethode.

2.1 Tien klassen, drie examineermethoden

Welke procedure er ook voor een bepaalde klas gekozen werd, telkens sloten de opgaven aan bij de klasactiviteiten van het eerste trimester:
- een stellingname i.v.m. een probleem, een tekst, visueel materiaal;
- een rollenspel;
- het overbruggen van een informatiekloof.

2.1.1 Het ‘klassiek’ mondeling examen:
Vier klassen (ECWI, GRLA, LAWE, LAWI; 29 leerlingen) legden een ‘klassiek’ mondeling examen af. De leerlingen werden individueel door hun leraar getest en geëvalueerd. Ze kozen blind een steekkaart met opdracht i.v.m. een topic uit het leerboek. De leraar speelde de rol van gesprekspartner voor de leerlingen en observeerde hen ondertussen. Het examen duurde 15 minuten. De leerlingen kregen 15 minuten voorbereidingstijd: terwijl één leerling bezig was met zijn examen bereidde een andere zich in hetzelfde lokaal voor.

2.1.2 Het duo-examen:
Vier klassen (LAMT, MTWE, MTWI, WEWI: 39 leerlingen) legden een duo-examen af. Een paar weken voor het examen kozen de leerlingen hun partner waarmee ze op het examen hun mondelinge taalvaardigheid konden demonstreren voor hun vakleraar.
De leerlingen van de LAMT kenden hun onderwerp niet op voorhand. Ze wisten wel dat het over een topic van het schoolboek zou gaan en dat ze ingeoefende functies zouden kunnen gebruiken. Zij kregen een willekeurig gekozen steekkaart met opgave - en desgevallend de bijhorende foto’s en teksten - en konden zich tien minuten lang individueel voorbereiden in het examenlokaal. Tijdens hun dialoog hield de leraar zich zoveel mogelijk afzijdig om goed te kunnen observeren. Het examen duurde 20 minuten.
De leerlingen uit de andere klassen hadden taken rond drie onderwerpen gekregen (1. School systems and school rules, 2. Phobias, 3. Agony aunt) en konden voor het examen op voorhand oefenen. De leraar leidde de gesprekken in en stelde bijkomende vraagjes. Zo vermeed hij dat de leerlingen gememoriseerde dialoogjes zouden spelen en kon hij de improvisatievaardigheid van zijn leerlingen testen. Het examen duurde 20 minuten.

2.1.3 Het duplo-examen
Twee klassen (MEWE, ECMT: 37 leerlingen) legden een duplo-examen af, met een partner bij hun leraar en zijn collega. De opgaven en de aanpak verschilden niet van die van het duo-examen, alleen waren er nu twee leerkrachten om te evalueren. De procedure voor ECMT was dezelfde als voor LAMT, MEWE kreeg een gelijkaardige opdracht als MTWE, MTWI en WEWI (zie 2.1.2). De vakleraar was telkens ‘interlocutor’ (wij noemden hem ‘examinator’) en zijn collega de ‘assessor’ (wij noemden hem ‘observator’).
De examinator verwelkomde zijn leerlingen en stelde ze voor aan zijn collega. Hij leidde het gesprek en beoordeelde het naar inhoud en vorm. Hij bezorgde zijn collega-observator een evaluatieformulier met daarop de namen van de kandidaten en een markeringstabel. De observator kwam niet tussen in het gesprek: hij observeerde en evalueerde communicatieve vaardigheden voor de examinator volgens de afgesproken criteria.

2.2 Conclusies van de examinatoren

2.2.1 Het duo-examen en het individueel mondeling examen

Nadelen van beide

• De leraar-examinator moet oog en oor hebben voor de rijkdom van de woordenschat, voor gepaste functies en de juistheid van het taalregister, voor articulatie en spreekritme, voor precisie en compensatiestrategieën, voor gevatheid, humor, ... Hij moet oordelen of de vraag goed werd begrepen en of de taak, de opgave, tot een goed eind wordt gebracht. En ondertussen nog notities nemen ook! Dat alles kan een leraar niet tegelijkertijd.
• Hij kan zijn oordeel ook niet toetsen en helemaal of gedeeltelijk bevestigd zien. Blijft de eenzame leraar niet na elk mondeling examen zitten met enige twijfels?
• De leraar-examinator neemt willens-nillens deel aan een gesprek dat hij tevens moet beoordelen. Komt de objectiviteit niet in gevaar? Misschien beoordeelt de leraar-examinator een gesprek waarin hijzelf veel tussenkomt en dat prettig verloopt, onbewust... te positief. Of omgekeerd: misschien is hij onbewust wat streng voor kandidaten die onderling vlot communiceren maar de examinator minder in hun gesprek betrekken.

Voordelen van het duo-examen ten opzichte van het individueel examen

• De leerlingen beginnen meer relax aan hun examen. Ze krijgen alle kansen om hun vaardigheid te bewijzen zoals die in de klas tijdens de pair work sessies werd geoefend.
• De kandidaten zijn niet alleen. Zenuwachtige types krijgen niet dat enge gevoel dat een individuele confrontatie met hun leraar al eens meebrengt.
• Het vormen van duo’s wordt aan de leerlingen overgelaten. Dit verloopt zeer vlot in alle klassen en resulteert in solidariteit en een groter gevoel van betrokkenheid bij de leerlingen. Een onpaar aantal leerlingen in bepaalde klassen zorgt niet voor moeilijkheden: leerlingen zijn graag bereid om twee keer voor de groene tafel te verschijnen om een klasgenoot te assisteren.

2.2.2 Het duplo-examen

Voordelen

• Collega’s-leerkrachten vormen een team: zij hebben verregaand professioneel contact en het goede gevoel dat ze op dezelfde golflengte acteren.
• Dankzij een afgesproken taakverdeling kunnen zij de leerlingen meer in detail observeren en beter (individueel) evalueren.
• Leerlingen ervaren het examen als fair, met een gelijke behandeling voor iedereen en garanties voor een objectieve beoordeling.

Nadelen

• Het examen is iets moeilijker te organiseren. Er zijn telkens twee leraren nodig voor een mondeling examen. Volgens Jos Vanachter zelfs drie: er is nog een assistent nodig die bij de leerlingen is terwijl zij zich voorbereiden in een aangrenzend lokaal. In Tienen hadden we die luxe niet. Leerlingen die zich mochten voorbereiden deden dat in het lokaal waar het examen werd afgenomen. Storend is dat wel, voor alle partijen...
• Er zijn complicaties voor de algemene examenregeling en de surveillance-opdrachten van andere collega’s. (Wegen dergelijke bedenkingen en mogelijke bezwaren echter niet wat licht in het kader van de onderwijsverniewing en de kwaliteitszorg?)

3 De enquête

Een maand na de examens peilden we met behulp van een enquêteformulier naar de appreciatie van de leerlingen. Alle leerlingen van de derde graad werden bevraagd: vijfdes, die het examen in december mondeling deden, en zesdes, die ofwel nooit ofwel een jaar voordien een mondeling examen Engels hadden afgelegd.
In het totaal verwerkten we 221 formulieren. Om beïnvloeding te vermijden verliep de enquête anoniem. Van elke leerling werd de score (0 tot 5) op een rekenblad ingevoerd: zo konden we automatisch gemiddelde procenten berekenen voor elk jaar, voor elke klas, voor elke vraag. In wat volgt noteren wij enkele opvallende conclusies.

3.1 Hoe graag zou je deze examens mondeling doen?

• Uit onze enquête blijkt dat leerlingen gemiddeld liever mondelinge dan schriftelijke examens afleggen. Dit is het geval voor alle vakken, uitgezonderd voor wiskunde.
• Engels is veruit het meest populair: 80%. Dit cijfer kan betekenen dat de bewering ‘Leerlingen houden nog niet van mondelinge examens’ genuanceerd moet worden.
• De klassen leveren grote procent-verschillen voor één en hetzelfde vak. De resultaten zijn indicatief voor wie het vak in bepaalde klassen geeft. Er is een rechtstreeks verband tussen het enthousiasme van de leerlingen voor een mondeling examen en de aanpak van de leraar in kwestie. Als lessen een minder communicatief verloop kennen, voelen leerlingen zich minder goed voorbereid op mondelinge examens en dan doen ze die ook niet graag.

3.2 Welke situatie verkies je voor je mondeling examen Engels?

3.2.1 Alleen jij en je leraar (53,5%)

• Globaal gezien is de populariteit van het klassieke, individuele mondeling examen niet veel groter dan die van het schriftelijke taalexamen.
• Opmerkelijk is dat niet alleen klassen die slechts met deze vorm van mondeling examineren werden geconfronteerd (5 ECWI=78%, 5 GRLA=74%, 5 LAWI=77%) maar ook de Latijnse afdelingen van de zesdes (die meestal wel het duo-examen kennen) een hoger gemiddelde doen noteren (70%). Wijst dit op meer onderlinge concurrentie in de Latijnse afdeling en een grotere drang om er vooral individueel goed te scoren?

3.2.2 Jij en je partner bij je leraar (80%)

• Het duo-examen wordt door onze leerlingen duidelijk het meest gewaardeerd.
• Zelfs leerlingen die dergelijk examen nog niet hebben afgelegd (5 ECWI=71%, 5 LAWE=67%, 5 LAWI=80%, 6 MTWI=86%) zijn er voor gewonnen!

3.2.3 Jij en je partner bij je leraar en een collega (46%)

• Grote verschillen in de appreciatie van het duplo-examen en soms zeer lage scores (5 LAWI= 8,5%)! Begrijpelijk: wat men niet kent - zeker een vreemde leraar op jouw mondeling examen! - boezemt initieel angst in.
• Maar het went blijkbaar snel... De 37 leerlingen die op deze manier werden getest zijn zowaar enthousiast: de 5de ECMT (94%) vindt dit de beste manier van examineren en ook de 5de MEWE (71%) scoort zeer hoog. De gemiddelde examenresultaten waren vergelijkbaar met de andere klassen en voor de meeste leerlingen ook niet bepaald hoger of lager dan hun vroegere scores. Misschien vrezen leerlingen eerst wel ze door twee examinatoren strenger zullen worden beoordeeld... Dat dit nu niet het geval bleek te zijn, kan mee hun enthousiasme verklaren.
• Verscheidene zesdes laten hoge cijfers noteren (tot 66%) als om te zeggen: ‘Wij zijn niet zo snel van ons stuk te brengen! Laat maar komen!’
• De toelichtingen van de leerlingen maakten duidelijk dat sommigen een vreemde bijzitter vrezen ‘omdat hij ons niet van in de klas kent en ons dus niet zo goed kan beoordelen’ maar dat anderen net wel een extra-observator wensen ‘omdat die geen rekening houdt met ons gedrag in de klas en objectiever oordeelt’.

4 Algemeen besluit

Het duplo-examen (twee leerlingen, twee leerkrachten) lijkt ons voorlopig de meest aangewezen manier om communicatief te toetsen.

De cijfers lieten zien dat het duo-examen (twee leerlingen bij hun leerkracht) de voorkeur wegdraagt van de meerderheid van de leerlingen. T.o.v. het klassieke, individuele examen heeft het duo-examen inderdaad nogal wat voordelen - voordelen die ook voor het duplo-examen gelden (zie verder).
Daarnaast konden wij vaststellen dat de nog bestaande weerstand t.o.v. het duplo-examen slechts voorkomt in klassen die er nog niet mee te maken kregen. De weerstand spruit o.i. dus voort uit ongegronde vrees voor het onbekende. Wij vertrouwen erop dat deze angst spectaculair zal verminderen wanneer het duplo-examen de mondelinge examen-standaard wordt in onze school. Worden leerlingen bovendien niet beter gevormd als ze leren hun mannetje te staan voor een meerkoppige jury?

Wij willen de argumenten pro de duplo-examenvorm nog even op een rijtje zetten:

1. De leerlingen die een duplo-examen aflegden zijn ervoor gewonnen.
2. Leerlingen voelen zich bij dit examen betrokken. Het kiezen van een partner is hun verantwoordelijkheid en resulteert in grotere solidariteit.
3. Het duplo-examen garandeert de leerlingen objectiviteit.
4. De leerlingen krijgen alle kansen om hun vaardigheid te bewijzen zoals die in de klas tijdens de pair work sessies werd geoefend.
5. De kandidaten leren zich voor een jury te verdedigen.
6. Het duplo-examen stimuleert teamwork in het lerarenkorps.
7. Het duplo-examen resulteert in meer gedetailleerde evaluatie en mogelijke remediëring. Dank zij de observator kunnen meer verbale parameters weerhouden worden en krijgt de examinator welkome feedback. De examinator zal een leerling precies kunnen zeggen waarin hij goed is en waar hij nog vorderingen moet maken.

5 Video

Jos Vanachter :

Enige vorm van betrouwbaarheid (bij evaluaties) kan slechts bereikt worden door een vergelijking te maken met standaardprocedures. Examinatoren moeten opgeleid worden om dit te doen door voorbeeldprestaties op video of cassette te beoordelen en hun eigen beoordeling te vergelijken met elkaar en met het oordeel dat voor die modellen al bepaald werd. (P. 429)

Met dit doel voor ogen werden in het O.-L.-Vrouwecollege video-opnames gemaakt van het duplo-examen. De filmbeelden tonen hoe vijfdejaars-leerlingenparen diverse taken volbrengen en zijn bedoeld om onze observaties betrouwbaar te maken en beoordelingen te verfijnen.

Dit materiaal kan misschien ook in andere scholen diensten bewijzen, op vakvergaderingen over mondeling Engels examineren bijvoorbeeld. Karel Van Rompaey (016-779302) en Omer Willems (013-774713) staan hiervoor graag te uwer beschikking.

start