../Verlag%20Hans%20Huber


Zeitschrift für Pädagogische Psychologie, Heft 3/4, 1996

Zur Qualität studentischer Lehrveranstaltungsevaluationen: Eine Antwort auf Kritik an der Lehrevaluation
On the Quality of Students' Evaluations of University Teaching: An Answer to Evaluation Critique

Heiner Rindermann

(Summary)

Zusammenfassung

An studentischen Lehrevaluationen wird vielfältig Kritik geübt. Studierende seien nicht in der Lage, die Lehre zu beurteilen, studentische Urteile stellten eher «Selbstbezichtigungen» als ein Maß der Lehrqualität dar. Aufgrund der Heterogenität der Veranstaltungsbeurteilungen oder ungeeigneter Items seien keine Verbesserungen der Lehre durch Evaluation möglich. «Empiristisch» konstruierte Instrumente zeichneten sich durch Beliebigkeit der Itemauswahl aus. Dieser Beitrag versucht in einer Antwort auf diese Kritik nachzuweisen, daß (1) die Dimensionen des Heidelberger Iventars zur Lehrveranstaltungs-Evaluation (HILVE) relevante Aspekte der Lehre erheben; (2) die Beurteilung des Dozenten durch Studierende primär durch die Wahrnehmung der didaktischen, rhetorischen und sozialen Kompetenz des Dozenten bestimmt wird; (3) Veranstaltungsmittel als repräsentatives Maß für studentische Beurteilungen verwendet werden können; (4) studentische Beurteilungen mit Fremdeinschätzungen und Leistungskriterien in substantieller Höhe korrelieren, dozentenbezogene Evaluationen weitgehend über verschiedene Veranstaltungen generalisierbar sind und ein relativ geringer Biaseinfluß zu beobachten ist und studentische Beurteilungen deshalb als «mittelvalide» bezeichnet werden können; (5) studentische Evaluationen der Ergänzung durch Beratung oder Weiterbildung bedürfen, um bedeutsame Verbesserungen in der Lehre zu erzielen.

Zeitschrift für Pädagogische Psychologie, Band 10, 1996, Heft 3/4, © Verlag Hans Huber, Bern

Summary

Students' evaluations of university teaching have often been a matter of considerable controversy. Some critics claim that students are not able to judge instruction and student opinions are more «self-incriminations» than a measure for the quality of instruction. Due to the heterogeneity of the course ratings and insuitable items, improvement of instruction by evaluation seems fraught with difficulty. Finally, «empiristically» constructed instruments are said to stand out by their arbitrary item choice. This article aims at answering these points of critique and showing support for the validity of students' evaluations of teaching effectiveness by demonstrating that: (1) the dimensions of the Heidelberg Inventory for Instruction Evaluation (Heidelberger Inventar zur Lehrveranstaltungs-Evaluation HILVE) assess relevant instruction aspects, (2) the instructor is evaluated by students primarily on how his or her didactic, rhetoric and social competencies are perceived, (3) course means can be used as a representative measure of student ratings, (4) student ratings correlate substantially with ratings by external observers and performance criteria, (5) ratings generalize over different courses taught by the same instructor, (6) the influence of a number of potential sources of bias is relatively small and (7) that for significant improvement of teaching effectivness student ratings should be supplemented with systematic counselling by trained professionals.

Zeitschrift für Pädagogische Psychologie, Band 10, 1996, Heft 3/4, © Verlag Hans Huber, Bern


Können Studierende die Qualität der Lehre beurteilen? Einige Anmerkungen zu Rindermanns Antwort an seine Kritiker
Are University Students Able to Judge the Quality of Teaching? Some Comments on Rindermanns' Response to his Critics

Andreas Gold

Zusammenfassung

Der Kommentar setzt sich mit Möglichkeiten und Grenzen des von Rindermann & Amelang entwickelten Inventars zur Beurteilung universitärer Lehre auseinander und geht dabei insbesondere auf gängige Kritikpunkte ein. Während einige Gegenargumente (z.B. das Problem der Aggregierung extrem heterogener Beurteilungen) als weniger gravierend eingestuft werden, wird das Problem unzureichender Validierungsversuche und unklarer Implikationen kritisch betrachtet.

Zeitschrift für Pädagogische Psychologie, Band 10, 1996, Heft 3/4, © Verlag Hans Huber, Bern


Qualitative Urteile über die Qualität der Lehre durch Studierende?
Students' Qualitative Judgements about the Quality of Teaching

Heiner Rindermann

Zusammenfassung

Keine Zusammenfassung erschienen

Zeitschrift für Pädagogische Psychologie, Band 10, 1996, Heft 3/4, © Verlag Hans Huber, Bern


Qualitätsverbesserung in Lehre und Studium statt sogenannter Lehrevaluation. Ein Plädoyer für gute Lehre und gegen schlechte Sozialforschung
Improving the Quality of Teaching and Learning Instead of Implementing So-Called Students' Evaluations. A Plea for Better Teaching and against Poor Social Research

Helmut Kromrey

(Summary)

Zusammenfassung

Umfragen unter Teilnehmern großer Lehrveranstaltungen sind schon in den 70er Jahren als wichtiges Instrument studentischer Rückmeldung an Lehrende eingesetzt worden. Seit einigen Jahren werden sie jedoch darüber hinaus als quasi-objektive Verfahren zur Evaluation der Qualität der Lehre propagiert. Der erste Abschnitt des Beitrags referiert einige Ergebnisse solcher Befragungen und illustriert ihre geringe Eignung für Zwecke der Evaluation im Sinne von Qualitätsmessung. Danach folgen Ausführungen zu einigen methodischen Voraussetzungen bei wissenschaftlich korrektem Vorgehen (die jedoch im Hochschulalltag nicht erfüllbar sind) sowie über typische Fehler der statt dessen gängigen, pragmatisch verkürzten Verfahren. Schließlich wird argumentiert, daß studentische Umfragen in ihrer ursprünglichen Funktion als Rückmelde-Instrument sehr wohl einen wichtigen Beitrag zur Verbesserung von Lehre und Studium leisten können. Ein entsprechendes Projekt beschreibt der dritte Abschnitt des Beitrags.

Zeitschrift für Pädagogische Psychologie, Band 10, 1996, Heft 3/4, © Verlag Hans Huber, Bern

Summary

During the seventies surveys among participants of big lectures have been used as an important approach for students' feedback to their lecturers. Nowadays, however, surveys are in addition recommended as a quasi-objective method for the evaluation of educational quality. In the first section this article gives a review on some results of such surveys illustrating their low use for evaluation purposes in the sense of measuring quality. After that the text lists some methodical requirements for scientifically correct evaluations (not to be reached, however, in everyday life of a university) and shows typical defects of the common pragmatically simplified strategies in this field. Finally it is argued that students' surveys of course can serve as a sound feedback instrument to improve the quality of teaching and learning. A corresponding project is shortly described in the last section of this article.

Zeitschrift für Pädagogische Psychologie, Band 10, 1996, Heft 3/4, © Verlag Hans Huber, Bern


Studentische Evaluation von Hochschulveranstaltungen. Ein Kommentar zu Kromrey
Students' Evaluation of University Courses: Comments on the Article by Kromrey (1996)

Joerg M. Diehl

Zusammenfassung

Weite Teile der von Kromrey vorgebrachten Kritik an der Erhebung studentischer Veranstaltungsurteile haben lediglich für die vorgestellte fehlerhafte Evaluations- und Auswertungsmethodik Gültigkeit. Es fehlen jedoch Belege, von wem und in welchem Umfang eine derartige «schlechte Sozialforschung» - außerhalb der konstruierten Beispiele -überhaupt betrieben wird. Für DozentInnen und Institutionen, die mit vertretbarem Aufwand (regelmäßig) evaluireren wollen, sind die empfohlenen Alternativen wenig hilfreich. Es wird deshalb ein eigener Ansatz zur Evaluation von Lehrveranstaltungen vorgestellt, der bei vernünftiger Handhabung und Auswertungsmethodik in begrenztem Umfang auch vergleichende Rückmeldung von Befragungsergebnissen ermöglicht.

Zeitschrift für Pädagogische Psychologie, Band 10, 1996, Heft 3/4, © Verlag Hans Huber, Bern


«Gute» oder «schlechte» Sozialforschung? Einige notwendig scheinende Ergänzungen
«Good» or «Bad» Social Research? Some necessary additions

Helmut Kromrey

Zusammenfassung

Keine Zusammenfassung

Zeitschrift für Pädagogische Psychologie, Band 10, 1996, Heft 3/4, © Verlag Hans Huber, Bern


Evaluation universitärer Lehre und der Wissenszuwachs bei den Studierenden
Evaluation of University Teaching and Increasing Knowledge of Students

Bernhard Rosemann & Martin K.W. Schweer

(Summary)

Zusammenfassung

Vor dem Hintergrund empirischer Befunde zur Heterogenität des studentischen Urteils über die Qualität der Lehre wird der Zusammenhang zwischen der subjektiven Zufriedenheit mit einer Lehrveranstaltung und dem persönlichen Wissenszuwachs erfaßt. Hierbei zeigt sich, daß Studierende mit wachsender Zufriedenheit auch ihren eigenen Lernerfolg positiver einschätzen. Darüber hinaus wird unter Verwendung eines Außenkriteriums (Klausurnote) dargestellt, daß der objektive Wissenszuwachs der Studierenden nicht in einem bedeutsamen Zusammenhang zu ihrem subjektiven Urteil über die Qualität der Lehre steht. Hieraus resultierende Konsequenzen hinsichtlich des Einsatzes studentischer Evaluation von Lehrveranstaltungen werden abschließend diskutiert.

Zeitschrift für Pädagogische Psychologie, Band 10, 1996, Heft 3/4, © Verlag Hans Huber, Bern

Summary

Based on empirical studies concerning the heterogenity of students' evaluation of university teaching the connection of subjective contentedness and increasing knowledge is investigated. It is shown that contented students have a higher opinion of their learning success. Referring to an objective measurement (report achieved in an exam), it is outlined, that an objective increase of knowledge is not strongly correlated to subjective evaluation of university teaching. Consequences for using student evaluation are discussed.

Zeitschrift für Pädagogische Psychologie, Band 10, 1996, Heft 3/4, © Verlag Hans Huber, Bern


Studentische Evaluation der Lehre - Sackgassen und Perspektiven. Anmerkung zum Beitrag von Rosemann & Schweer
Students' Evaluations of Teaching - dead Ends and Perspectives. Note to the Article from Rosemann & Schweer

Andreas Helmke

Zusammenfassung

Keine Zusammenfassung erschienen

Zeitschrift für Pädagogische Psychologie, Band 10, 1996, Heft 3/4, © Verlag Hans Huber, Bern


Konzentrationsleistungen in der schulnahen Testreihe zur Prüfung der Konzentrationsfähigkeit (TPK) - eine regionale Vergleichsstudie
Performance on a Domain Specific Test for Measuring Concentration at School - a Validation and Comparison between Children from Different Regions of Germany

Gerhard Büttner & Erich Kurth

(Summary)

Zusammenfassung

Mit Hilfe der Testreihe zur Prüfung der Konzentrationsfähigkeit (TPK) von Kurth (1984) wurden in der vorliegenden Untersuchung Konzentrationsleistungen von Schulkindern aus unterschiedlichen Regionen (neues vs. altes Bundesland, Stadt vs. Land) verglichen. Zusätzlich wurden Aspekte zur Validität, Reliabilität und Normierung der TPK geprüft. In die Untersuchung waren 895 Kinder von der zweiten bis zur sechsten Klasse einbezogen. Die Mädchen übertrafen die Jungen in mehreren Subskalen der TPK. Kinder aus dem alten Bundesland erbrachten teilweise bessere Leistungen als die Kinder aus dem neuen Bundesland. Zwischen städtischem vs. ländlichem Wohngebiet und Konzentrationsleistungen ergab sich kein systematischer Zusammenhang. Die Kennwerte zur Reliabilität und Validität der TPK fielen weitgehend zufriedenstellend aus. Es zeichnete sich jedoch die Notwendigkeit zur Neustandardisierung der TPK ab.

Zeitschrift für Pädagogische Psychologie, Band 10, 1996, Heft 3/4, © Verlag Hans Huber, Bern

Summary

The concentration ability of second to sixth graders from different regions of Germany (former East and West Germany) and areas (urban versus rural) was compared. The performances were measured by the Testreihe zur Prüfung der Konzentrationsfähigkeit (TPK) [Test Battery for Measuring Concentration Ability]. This test was developed by Kurth (1984) in the former German Democratic Republic as a domain-specific test for measuring school-specific aspects of concentration. The girls significantly outperformed the boys on several subscales of the TPK. On some subtests, the children from the Western part of reunified Germany showed better performance than the children from the Eastern part. A systematic relationship between residential area and concentration performance measures could not be found, however. The reliability and validity coefficients of the TPK were largely satisfactory. Due to differences between our results on several of the subtests and those of the standardization sample we recommend that the TPK be renormed.

Zeitschrift für Pädagogische Psychologie, Band 10, 1996, Heft 3/4, © Verlag Hans Huber, Bern


Lebenszufriedenheit und Wohlbefinden bei Jugendlichen und Erwachsenen im Vergleich. Befunde aus 2 Repräsentativbefragungen
A Comparative Analysis of the Live Quality and Well-Being of Adolescents and Adults. Results from two Repräsentativ Surveys

Jürgen Mansel

(Summary)

Zusammenfassung

Anhand repräsentativer Surveys bei Jugendlichen und Erwachsenen wird gezeigt, daß einerseits Gefühle nicht nur im Alltag von Jugendlichen, sondern auch bei Erwachsenen ein bedeutsames Element darstellen und andererseits, daß gesundheitliche Beeinträchtigungen in der Jugendphase nicht seltener sind als im Erwachsenenalter. In beiden Lebensphasen stehen emotionale Befindlichkeitsstörungen und Beeinträchtigungen des physischen Wohlbefindens in einem engen Zusammenhang. Dies wird darauf zurückgeführt, daß in der modernen Zivilisation der produktive Umgang mit Emotionen vernachlässigt wird. Abschließend werden deshalb die mittel- und unmittelbare Ver- und Bearbeitung von Gefühlen als Instrumente für die kompetente Emotionsregulierung dargestellt.

Zeitschrift für Pädagogische Psychologie, Band 10, 1996, Heft 3/4, © Verlag Hans Huber, Bern

Summary

Based on representative surveys among adolescents and adults, this article argues that, on the one hand, emotions play an important role in the daily lives of both adolescents and adults and that, on the other hand, health problems of adolescents occur not less frequently than those of adults. In both life periods, emotional and physical problems are closely interconnected. An explanation of this phenomenon can be seen in the fact that in modern civilization a productive way of dealing with emotions is missing to a large extend. The article therefore concludes by displaying indirect and direct methods of regulating emotions successfully.

Zeitschrift für Pädagogische Psychologie, Band 10, 1996, Heft 3/4, © Verlag Hans Huber, Bern


Mathematikkenntnisse von Studienanfängern: Anspruch und Realität. Eine nutzenorientierte Betrachtung des mathematischen Wissens von Studienanfängern
The Mathematics Knowledge of College Freshmen: Claim and Reality. A Utility-oriented Approach to Knowledge of Mathematics in College Freshmen

Ulrich Schulz & Andreas Niebergall

(Summary)

Zusammenfassung

In nahezu allen wissenschaftlichen Disziplinen finden mathematische und statistische Methoden und Modellbildung in zunehmendem Umfang Eingang. Studienanfänger scheinen, besonders in den ehemals eher «mathematikfreien» Geistes- und Sozialwissenschaften hier mit Anforderungen konfrontiert, auf die sie nur unzureichend vorbereitet sind. Der vorliegende Beitrag versucht, die realen Vorkenntnisse von Studienanfängern differenziert zu erfassen, die Relevanz der studienfachbezogenen Mathematikkenntnisse zu ermitteln und, in der Bezugsetzung von Bedeutungsgewichten und Leistungskennwerten, unter nutzentheoretischer Perspektive den Wert (Nutzen) des Eingangswissens von Studienanfängern für das gewählte Fach aufzudecken.
Zu diesem Zweck werden einerseits ein modifiziertes Verfahren eines bewährten Mathematiktests und andererseits ein Verfahren zur Bestimmung und Gewichtung von Anforderungsmerkmalen über subjektive Expertenratings für neun verschiedene Studiengänge eingesetzt. Man erhält so Aufschluß über den individuellen und gruppenspezifischen Wert (Nutzen) der Mathematikkenntnisse für das jeweilige Studienfach und die spezifische Studieneignung.

Zeitschrift für Pädagogische Psychologie, Band 10, 1996, Heft 3/4, © Verlag Hans Huber, Bern

Summary

Mathematical and statistical methods and models are becoming increasingly important in nearly all scientific disciplines. However, college freshmen seem to be insufficiently prepared to cope with the demands that this places on them, particularly in the previously more «unmathematical» humanities and social sciences. The present article is concerned with assessing the mathematical requirements of each college subject, performing a differentiated assessment of what college freshmen actually know, and detecting specific deficits by matching requirements to competencies from the perspective of utility theory. For this purpose, we modified a well-known mathematics test and also constructed an expert rating procedure to ascertain and weight the demand characteristics of nine college subjects. These procedures provided information on the individual and group-specific value (utility) of mathematical knowledge for each college subject and the specific student's aptitude for that subject.

Zeitschrift für Pädagogische Psychologie, Band 10, 1996, Heft 3/4, © Verlag Hans Huber, Bern


wwwadmin@hanshuber.com, 30. Juni 1997