Ein faires Maß an englischen Schreibfähigkeiten aufbauen: Ein Interview mit Larry Davis
Im Folgenden finden Sie ein Gespräch zwischen Larry Davis, Forschungsdirektor von ETS, der seit über einem Jahrzehnt eine führende Rolle in der TOEFL-Forschung® spielt, und John Clark, Direktor für strategische Initiativen. Mehr von Larrys Forschung können Sie hier lesen.
Larry, ich wollte mit einer Frage zu deinem akademischen Hintergrund beginnen. Stimmt es, dass Sie zuerst einen Bachelor-Abschluss in Fischereiwissenschaften erworben haben?
Ja, ich hatte einen Bachelor of Science in Tierwissenschaften mit Schwerpunkt Aquakultur und dann einen Master in Fischereiwissenschaften.
Wild! Das mag eine unfaire Frage sein, aber gibt es Verbindungen zwischen diesen Bereichen und der Sprachbewertung, also der Karriere, die du gewählt hast?
Das sind zweifellos sehr unterschiedliche Fachrichtungen. Aber es gibt einige Gemeinsamkeiten. Und das hängt damit zusammen, dass man herausfinden muss, wie man Dinge misst, und dann analysieren muss, was man misst.
In meiner Arbeit in der Fischerei haben wir die Physiologie und das Zugverhalten von Lachsen untersucht. Und es gab nicht immer feste Wege, Phänomene im Zusammenhang mit diesen Dingen zu messen.
Ein großer Teil dieser Arbeit besteht also darin, zunächst herauszufinden, wie man etwas misst, das uns etwas Interessantes verrät. Und wenn Sie diese Daten haben, wie bewerten oder analysieren Sie sie, um Entscheidungen zu treffen?
Beim Sprachtesten ist es dasselbe Problem. Welche Art von Beweisen sammeln wir über die Fähigkeit einer Person, auf Englisch zu kommunizieren? Wie sammeln wir diese Daten? Und wie bewerten wir sie so, dass sie für die Entscheidungsfindung nützlich sein kann?
Es sind also sehr unterschiedliche Bereiche, aber beide stehen vor ähnlichen Problemen.
Das ist ein sehr hilfreicher Vergleich. Übrigens war ich bei den Lachsleitern am Willamette River in Oregon, wo dort Strukturen gebaut wurden, die es Lachsen ermöglichen, um Dämme herumzuschwimmen und flussaufwärts zu laichen. Das ist alles, was ich über Lachs weiß.
Ich war schon tief in solchen Orten, auch in großen Wasserkraftwerken, zu denen man wahrscheinlich wegen Sicherheitsbedenken kaum noch Zugang hat.
Ah! Sie scheinen ein weniger gefährliches Feld gewählt zu haben. Aber du hast die Grundlage für das Thema gelegt, das ich ansprechen wollte.
Eine der schwierigsten Herausforderungen bei der Englischprüfung ist es, aussagekräftige Indikatoren für die englischen Schreibfähigkeiten eines Schülers zu sammeln. Wie denken Sie über die Herausforderungen, die das Testen von Schreibfähigkeiten in einer standardisierten Prüfung innewohnt?
Ich denke, eine grundlegende Herausforderung ist, dass wir, wie Sie angedeutet haben, nur eine sehr kurze Stichprobe dessen sammeln können, was jemand schriftlich tun kann.
Und basierend auf dieser Stichprobe – ob zehn Minuten, eine Stunde oder sogar ein paar Stunden – ist das nur ein kleiner Teil all des Schreibens, das jemand schreiben könnte, sowohl hinsichtlich der Anzahl der Wörter, die er im Laufe seiner akademischen Laufbahn schreibt, als auch der verschiedenen Arten von Schreiben, die jemand in seinem akademischen Studium machen könnte.
Das Spiel dreht sich also wirklich um Vorhersage. Wir sammeln eine Probe dessen, was sie können. Und dann machen wir auf Basis dieser Stichprobe einige Extrapolationen darüber, was wir glauben, dass diese Person in der realen Welt wahrscheinlich leisten kann. Das ist also die grundlegende Herausforderung.
Es gibt verschiedene vernünftige Ansätze, um diese Herausforderung anzugehen. In gewisser Weise kann man eine relativ kurze Stichprobe nehmen und sie mit anderen Daten kombinieren, um ein Gefühl für die allgemeine Fähigkeiten einer Person zu bekommen. Und das ist der Ansatz, der typisch für Sprachkompetenztests ist.
Am anderen Ende des Spektrums kann jemand Aufgaben übernehmen, die sehr spezifisch für eine bestimmte Situation sind, und das würde direktere Schlüsse darüber führen, was jemand in dieser Situation tun kann.
Diese Art von 'spezifischer Zwecke'-Prüfung könnte etwas wie eine Anwaltsprüfung sein, die wahrscheinlich etwas näher an dem Schreiben liegt, das von einem Anwalt erwartet wird, im Gegensatz zu den sehr allgemeinen Texten, die wir bei Sprachkompetenztests bewerten.
Speziell für TOEFL haben Sie und unser Kollege John Norris unsere Bemühungen zur Erforschung der Auswirkungen eines neuen Fragetyps namens Write for an Academic Discussion geleitet. Warum hielt ETS es für angebracht, unsere Prüfung des Schreibens auf TOEFL erneut zu überprüfen?
Nun, es gibt verschiedene Gründe, die die Entwicklung dieser Aufgabe motiviert haben. Eine ist, dass sich seit der ursprünglichen Entwicklung des TOEFL IBT, beginnend Mitte der 1990er und bis Anfang der 2000er Jahre, das Schreiben in Universitätsumgebungen wohl verändert hat.
Aber der Test hatte sich nicht verändert. Deshalb hatten wir das Gefühl, dass es in diesem Fall einen gewissen Grund gab, neu entwickelte Schreibarten in Betracht zu ziehen. Und diese Genres sind meist kürzer. Sie sind auch oft eher gesprächig.
Wir wollten eine Aufgabe entwickeln, die einen Teil davon einfängt. Das war also eine Motivation. Ein weiterer zusätzlicher Vorteil ist, dass es idealerweise hilft, die Testzeit zu reduzieren. In der früheren Version des Tests dauerte der Schreibteil von TOEFL IBT im Grunde eine Stunde und bestand aus zwei Aufgaben.
Aus psychometrischer Sicht gibt das nicht viele Informationen über die Zeit, die die Leute für diesen Teil des Tests aufwenden. Diese Sparsamkeit in der Testzeit war also ein weiterer zusätzlicher Vorteil bei der Gestaltung der Aufgabe.
Abgesehen davon, dass dieser Abschnitt zeiteffizienter gemacht wurde, was waren weitere Motivationen hinter der Entwicklung der Aufgabe "Schreiben für eine akademische Diskussion "?
Ein weiteres Ziel war es, zusätzlichen Kontext für das Schreiben zu schaffen. Die Aufgabe, die Write for an Academic Discussion ersetzte, war eine sehr traditionelle Aufsatzaufgabe. Man bekommt eine Meinungsfrage, weißt du – was bevorzugst du, Hunde oder Katzen? Und das ist alles, was man bekommt.
Dies ist ein sehr traditioneller und langjährig verwendeter Testgegenstand. Aber es liefert keinen Kontext. Und es sagt dir nicht, wer das Publikum ist. Es sagt auch nichts über die größere Situation aus. Dieser Mangel an Kontext wurde in der Schreibgemeinschaft kritisiert, aber auch praktisch führt er zu Problemen bei der Entscheidung, ob eine Antwort angemessen ist oder nicht.
Zum Beispiel könnte ein Schüler in einem akademischen Stil schreiben und ein anderer in einem umgangssprachlichen Stil schreiben. Bewerter wollen meist dem Studierenden mit dem akademischeren Stil eine höhere Punktzahl geben, aber es gibt eigentlich keinen grundsätzlichen Grund, diese Art von Schreiben gegenüber dem Slang-Schreibstil zu bevorzugen, weil wir ihnen nicht gesagt haben, wer das Publikum ist.
Das ist also auch ein wichtiges Thema. Die klare Definition von Zweck und Zielgruppe hilft uns, diese Antworten rationaler zu bewerten.
Für diejenigen, die TOEFL in letzter Zeit nicht belegt haben, enthält die Aufgabe "Write for an Academic Discussion " einen Prompt von einem Professor sowie zwei Antworten von Studierenden. Und von dem Prüfling wird erwartet, dass er sich mit diesen Aufgaben auseinandersetzt, so wie er es in einem modernen akademischen Forum tun würde.
Ja, das stimmt.
Wie gewinnen wir das Vertrauen, dass eine solche Aufgabe für die Prüfung geeignet ist?
Das ist eine wirklich gute Frage. Und die Testvalidität – worauf diese Frage hinausgeht – ist etwas, womit Graduiertenstudierende in der Sprachbewertung viel Zeit investieren. Dies ist ein Thema, dem das Fachgebiet über viele Jahrzehnte hinweg viel Aufmerksamkeit geschenkt hat. Und als Ergebnis haben wir sehr gut etablierte Verfahren, um darüber nachzudenken, wie man eine Testarbeit rechtfertigt.
Dies nimmt meist die Form eines sogenannten Validitätsarguments an, das bestimmte Arten von Beweisen berücksichtigen sollte. Diese Art von Beweisen könnte die Beziehung der Aufgabe zu realen Aufgaben sein. Wie nah ist es also oder was sagt es uns darüber, was jemand in der realen Welt leisten kann?
Es würde auch Belege darüber enthalten, wie die Aufgabe bewertet wird und ob diese Bewertung konsistent und fair ist. Und erfasst das Bewerten tatsächlich die wichtigen Teile dessen, was die Menschen bei dieser Aufgabe tun müssen?
Es würde auch das Sammeln von Beweisen darüber beinhalten, wie diese Maßnahme mit anderen ähnlichen Messgrößen ähnlicher Fähigkeit zusammenhängt. Wenn wir zum Beispiel eine Schreibaufgabe haben, sollte sie eine positive Beziehung zu anderen Bewertungen des Schreibens haben.
Schließlich stellt sich die Frage, wie Tests mit der Leistung in der realen Welt zusammenhängen. Wenn die Leute also eine hohe Punktzahl im Test bekommen, bedeutet das, dass sie in realen Situationen, wie in ihren Schreibkursen, gut abschneiden? Und schließlich: Was ist der Rückfall?
Und mit Washback meine ich: Wenn die Leute sich auf diese Aufgabe vorbereiten, bringt das dann tatsächlich ihrer Sprachfähigkeit zugute? Hilft diese Vorbereitung ihnen tatsächlich, ihre Fähigkeiten zu verbessern? Oder lernen sie einfach, durch Reifen zu springen? Und die Leute werden sich darauf vorbereiten, wenn es ein Test mit hohem Einsatz ist.
Es gibt also dieses ganze Rahmenwerk und eine Denkkette, die in die Rechtfertigung dieser Aufgaben einfließt. Und dieses Rahmenwerk bildet eine Grundlage dafür, darüber nachzudenken, wie wir entscheiden, ob ein Test oder eine Testaufgabe geeignet ist.
In der Arbeit, in der Sie die Aufgabe "Write for an Academic Discussion " mit dem unabhängigen Aufsatz verglichen haben, fanden Sie "Ähnlichkeiten in der Qualität der von Prüfungsteilnehmern produzierten Texte hinsichtlich syntaktischer Komplexität, grammatikalischer Genauigkeit, lexikalischer Vielfalt, Diskurs, Kohärenz und Ausarbeitung sowie Flüssigkeit ihres Schreibens."
Und diese Begriffe sind wichtig, weil sie Teil der Bewertung der Leistungen der Schüler sind. Aber was meinst du eigentlich, wenn du von "syntaktischer Komplexität" sprichst?
Syntaktische Komplexität hängt mit den grammatischen Strukturen zusammen, die im Text verwendet werden. Manche Zuhörer haben vielleicht schon in ihrer Schulzeit Sätze diagrammiert und wissen, wovon ich spreche, aber ein syntaktisch komplexerer Satz hat ein längeres und komplexeres Diagramm. Und es wird dazu neigen, verschiedene Dinge wie mehrere Klauseln zu enthalten.
Um eine Metapher zu verwenden: Wenn ein einfacher Satz wie ein Bambusstab ist, der einfach nach oben geht, ist ein komplexer Satz eher wie ein Baum mit vielen Ästen, die idealerweise alle zu einer kohärenten Bedeutung beitragen.
Danke, dass du diesen Begriff klargestellt hast – Bambus, ich verstehe! Erzählen Sie mir ein wenig mehr über die Studie zur neu verfeinerten Schreibaufgabe.
Das grundlegende Problem in der Studie, die wir gemacht haben, war, dass wir bei der Einführung der Aufgabe "Write for an Academic Discussion " die Interpretation der Testergebnisse nicht ändern wollten. Die Idee ist also, dass wir die Aufgabe ändern, aber sie sollte immer noch die gleichen Arten von Schlüssen über die Fähigkeiten einer Person unterstützen.
Und in diesem Fall ist es wichtig, die Art von Beweisen zu betrachten, die wir aus der damals bestehenden Aufgabe im Vergleich zu dieser neuen Aufgabe erhalten. Also haben wir Daten von Leuten genommen, die beide Aufgaben erledigt hatten, und dann die verschiedenen Merkmale des Schreibens analysiert.
Syntaktische Komplexität war ein Vergleichspunkt neben anderen, die du erwähnt hast: grammatikalische Genauigkeit, Vokabelgebrauch, Kohäsion, Diskursmarker, solche Dinge.
Darf ich noch einen Satz fragen? Lexikalische Vielfalt. Was bedeutet das?
Es ist Wortschatz. Oder speziell im Wortschatzbereich. Und der Grund, warum wir das betrachten, ist, dass es nicht nur darum geht, viele verschiedene oder große Wörter zu verwenden. Es geht um Präzision. Wenn du mehr Wörter in deinem Wortbeutel hast, kannst du deine Bedeutungen präziser kommunizieren.
Verstanden! Larry, danke für den Einblick hinter die Kulissen, wie wir einen Teil unseres Tests gestalten. Ich habe ein Kind, das gerade schreibt, und für mich ist es ein Wunder, dass ich es nicht verstehe. Aber Larry, du hast geholfen, den Prozess der Messung englischer Schrift zu entmystifizieren. Sehr dankbar für Ihre Zeit.
Es war wirklich ein Vergnügen zu plaudern, John – und ich rede immer gerne darüber, wie die Wurst gemacht wird, sozusagen.
Ja, also, und apropos Abendessen, lass uns bald auch über Lachs reden.
Klingt super.
