Enhancing Student Performance Through Technology-Mediated Formative Feedback in Large Scale University Lectures

The characteristics of the world of the 21st century are volatility, uncertainty, complexity and ambiguity. This forces employees to adapt to a new way of working which requires a different kind of skill-set, namely higher-order thinking skills. Since the main goal of universities is to prepare students for the future, they need to provide the conditions for training these skills. Two factors are essential for achieving this goal: first, a realistic teaching-learning scenario that allows students to apply the skills that need to be developed and second, the provision of rich and meaningful feedback of the students' progress. However, universities are under high pressure due to an increasing number of students and limited budget. Thus, they face the challenge of how to provide students feedback in their learning process, so that they are able to develop their 21st century skills. This dissertation project addresses this research gap. It aims to develop a teaching-learning scenario which combines the concepts of technology-mediated learning and peer learning to meet the challenges of large-scale classes. This comprises: (1) designing a system to provide technology-mediated formative feedback, (2) evaluating previous research on how to measure feedback quality, (3) deriving characteristics describing high and low quality peer feedback, (4) developing design principles for creating a culturally sensitive peer feedback process, and (5) measuring the effects of the technology-mediated feedback on student performance. This dissertation contributes to theory in three key ways. Firstly, it generates knowledge on how to design systems that provide technologymediated formative feedback. Secondly, it identifies a set of empirically grounded guidelines on measuring peer feedback quality. Thirdly, it produces prescriptive knowledge on the effects of technology-mediated formative feedback on student performance.

Die Welt des 21. Jahrhunderts zeichnet sich durch Volatilität, Unsicherheit, Komplexität und Mehrdeutigkeit aus. Dies zwingt Mitarbeiter, sich an eine neue Arbeitsweise anzupassen, die Fähigkeiten auf höheren Komplexitätsstufen erfordert. Da das Hauptziel der Universitäten darin besteht, Studierende auf die Zukunft vorzubereiten, müssen sie die Voraussetzungen für die Entwicklung dieser Fähigkeiten schaffen. Zwei Faktoren sind von wesentlicher Bedeutung: Erstens, ein realistisches Lehr-Lernszenario, das es den Studierenden ermöglicht, die zu entwickelnden Fähigkeiten anzuwenden und zweitens, das Geben von reichhaltigem und aussagekräftigem Feedback über die Fortschritte der Entwicklung. Allerdings stehen die Universitäten aufgrund einer steigenden Zahl von Studierenden und eines oft begrenzten Budgets unter hohem Druck. Daher stehen sie vor Herausforderung, wie sie Studierenden in ihrem Lernprozess Feedback geben können, um die Fähigkeiten die sie im 21. Jahrhundert benötigen, zu entwickeln. Ziel dieser Dissertation ist die Entwicklung eines Lehr-Lernszenarios, dass die Konzepte des technologiegestützten-Lernens und des Peer-Lernens kombiniert, um den Herausforderungen von grossen Vorlesungen gerecht zu werden. Dies umfasst: (1) den Entwurf eines Systems zur Bereitstellung von technologiegestütztem Feedback, (2) Evaluierung des vorhandenen Wissens und der Literatur zur Messung von Feedbackqualität, (3) die Ableitung von Eigenschaften, die qualitativ hoch- und minderwertiges Peer-Feedback charakterisieren, (4) die Entwicklung von Gestaltungsprinzipien für einen kultursensiblen Peer-Feedback-Prozess und (5) die Messung der Auswirkungen des technologiegestützten Feedbacks auf die Leistung von Studierenden. Die vorliegende Dissertation leistet in dreifacher Hinsicht einen wichtigen Beitrag zur Theorie. Zum einen wird Wissen generiert, wie man Systeme entwirft, die technologiegestütztes formatives Feedback geben. Zweitens identifiziert sie eine Reihe von empirisch fundierten Leitfäden zur Messung von Peer-Feedback Qualität. Drittens generiert sie präskriptives Wissen über die Auswirkungen von technologiegestütztem formativen Feedback auf die Leistungen von Studierenden.