Paradigma de autoevaluación de estudiantes en MOOC: El caso de la educación superior en China


RESUMEN

Los estudios han propuesto varios tipos de métodos de autoevaluación, sin embargo, muchos profesores, en el país, todavía consideran que la autoevaluación de estudiantes es «difícil de implementar». El objetivo de este artículo es optimizar la evaluación del método MOOC y establecer un paradigma integrado de autoevaluación para los estudiantes, en base de «centrado en estudiantes, asistido por profesores y compañeros». Se han seleccionado nueve factores clave que influyen en la implementación de autoevaluación del MOOC, y sobre esta base, a través del modelo de estructura interpretativa ISM y el método de análisis MICMAC, se han definido las relaciones entre estos factores y se ha establecido un paradigma integrado de seis niveles de la autoevaluación de estudiantes. Además, se han dado unas proposiciones para optimizar la autoevaluación del MOOC. En primer lugar, se necesitan utilizar la autoevaluación del MOOC como un método de evaluación formativa. En segundo lugar, las universidades deberían, mediante la publicidad, aumentar la conciencia de los estudiantes sobre la autoevaluación. En tercer lugar, las universidades pueden ofrecer programas de evaluación para mejorar la calidad de la evaluación de los estudiantes. En cuarto lugar, se utilizan los medios tecnológicos para optimizar el entorno de autoevaluación de estudiantes. Este estudio es significativo para hacer la autoevaluación como una base del aprendizaje online, y así, promover los efectos del MOOC.

Palabras clave

MOOC, aprendizaje MOOC, autoevaluación, estructura interpretativa, aprendizaje permanente, cogniciones del aprendizaje

Keywords

MOOC, MOOC learning, self-assessment, interpretative structure, lifelong learning, cognitive learning

ABSTRACT

Although scholars have proposed many types of self-assessment methods. There are still many teachers in China who consider that student self-assessment is “difficult to implement”. This paper aims to optimize the assessment of MOOC learning, and to establish an integrated student self-assessment paradigm with “student-centered, teacher, and peer auxiliary”. We started by selecting nine key factors that influence the implementation of self-assessment in MOOCs. Then, we clarified the relationship between the nine factors by using the interpretative structure model (ISM) and the MICMAC analysis, and a six-level paradigm of integrated student self-assessment was established. Moreover, we put forward the following suggestions to optimize student self-assessment in MOOC learning. First, it’s necessary to consider student self-assessment in MOOCs as a formative assessment method. Second, universities should enhance student awareness of self-assessment through publicity. Third, institutions of higher education could set up assessment courses to enhance the quality of assessment of students. Fourth, schools should optimize the environment of student self-assessment with the help of technology. This study is of great significance for students to make self-assessment become the basis of online learning and thus perfect the research on MOOC learning.

Palabras clave

MOOC, aprendizaje MOOC, autoevaluación, estructura interpretativa, aprendizaje permanente, cogniciones del aprendizaje

Keywords

MOOC, MOOC learning, self-assessment, interpretative structure, lifelong learning, cognitive learning

Introducción

En los últimos años, los cursos en línea masivos y abiertos (MOOC) se han hecho muy populares. Popular no significa regular. Los MOOC se enfrentan al reto de no ser reconocidos como cursos «normales» (es decir, los que se imparten en instituciones de enseñanza tradicionales). Shrader et al. (2016) descubrieron que los alumnos de MOOC describían diferentes preferencias por estrategias de instrucción exploratorias o dirigidas por el instructor. Las implicaciones para el diseño instructivo de MOOC para el aprendizaje actitudinal incluyeron el reconocimiento de que los alumnos de MOOC a menudo ven MOOC más como entretenimiento que como educación formal. Los MOOC solo se consideran una forma auxiliar de mejorar las cualificaciones. Una de las principales razones es la evaluación en un entorno no supervisado, por ejemplo, los problemas de las búsquedas en línea de los examinandos o la interacción con otras personas para encontrar las respuestas a las preguntas del examen (Beg et al., 2020). Como forma de educación gratuita y a un ritmo propio, los MOOC no suelen contar para la obtención de un título universitario oficial. Además, la baja tasa de finalización de los cursos es el problema más criticado de los MOOC, y también es un problema difícil al que siempre se han enfrentado los cursos en línea (Tauber, 2013). Como resultado, se cree que las evaluaciones valoradas por las universidades como resultados de aprendizajes importantes son menos relevantes para los alumnos o diseñadores de MOOC (Zhao et al., 2017; Chudowsky et al., 2003; Earl & Torrance, 2000).

La evaluación es un aspecto central en el diseño de los cursos en línea masivos y abiertos (MOOC) (Sandeen, 2021). En los últimos años, algunas universidades han empezado a diseñar MOOC con créditos como parte de los programas universitarios, con el objetivo de fomentar un aprendizaje de calidad y unos buenos resultados que cumplan los criterios formales de evaluación de la universidad. Chunwijitra et al. (2020) sugieren que el marco de servicios MOOC consta de cinco capas: autentificación, recursos, aprendizaje, evaluación y credenciales. La evaluación es uno de los temas clave emergentes de los MOOC (Bayne & Ross, 2013). La autoevaluación también es muy importante en los MOOC, especialmente en nuestro caso, ya que recibimos muchas cartas con preguntas. Se ha sugerido que la autoevaluación debería utilizarse como una evaluación para el aprendizaje en lugar de una evaluación del aprendizaje (Admiraal et al., 2015). Algunos estudiosos sugieren desarrollar e integrar cursos de autoevaluación de los estudiantes en la enseñanza de las asignaturas (Brown & Harris, 2014; Olivares et al., 2021). Como resultado, cada vez más universidades están llevando a cabo investigaciones de evaluación sobre los MOOC. Earl (2003) dividió la evaluación en tres categorías según la finalidad de la evaluación: evaluación para el aprendizaje, evaluación del aprendizaje y evaluación como aprendizaje.

La evaluación entre iguales y la autoevaluación ofrecen la oportunidad de ampliar tanto las evaluaciones como el aprendizaje en las aulas globales (Kulkarni et al., 2013). Poco a poco, cada vez más estudiosos empiezan a estudiar la eficacia de la evaluación. Entre ellos, muchos estudiosos hacen más hincapié en la evaluación entre iguales. Stančić (2020) demostró que, a pesar de ser estresante e incómoda para muchos estudiantes, la evaluación entre iguales era más beneficiosa para el aprendizaje del alumno que la autoevaluación. La evaluación por pares se está convirtiendo en una herramienta cada vez más popular para evaluar tareas complejas en MOOC (Capuano & Caballé, 2018; Reinholz, 2016). Pero algunos alumnos no tienen los conocimientos y la experiencia necesaria para evaluar el trabajo de sus compañeros. De ahí que existan algunos problemas con la calidad de los respectivos comentarios de los compañeros (Hew & Cheung, 2014).

Uno de los principales retos a los que se enfrentan los Cursos Online Masivos y Abiertos (MOOC) es evaluar el rendimiento de los alumnos más allá de los métodos tradicionales de evaluación automatizada (Cho & Cho, 2011; Watson et al., 2017). Sin embargo, no existe ningún estudio sistemático y en profundidad sobre la autoevaluación de los MOOC por parte de los estudiantes (Liyanagunawardena et al., 2013). Hoy en día, los estudiantes que se autoevalúan eficazmente suelen aprender mejor, y la creación de métodos eficaces y completos para ayudarles a hacerlo sigue siendo un reto fundamental. Aunque la autoevaluación parece ser una habilidad que puede mejorarse, tanto los estudiantes como los profesionales siguen teniendo dificultades para realizar una autoevaluación precisa (Motycka et al., 2010). Por ejemplo, Ivaniushin et al. (2016) propusieron el enfoque de los resultados de aprendizaje de evaluación en el aprendizaje colaborativo basado en proyectos. Ashton y Davis (2015) identificaron que capacitar a los estudiantes para evaluar mejorará su capacidad para proporcionar retroalimentación de calidad. Los distintos investigadores tienen prioridades diferentes a la hora de definir la autoevaluación. Andrade y Du (2007) consideran que la autoevaluación pertenece a la evaluación formativa. El concepto subraya que el propósito de la autoevaluación de los alumnos no es solo hacer un auto-juicio para identificar lo que les falta, sino también ajustar su aprendizaje sobre esta base. Algunos investigadores han ampliado el concepto de autoevaluación al de autojuicio basado en criterios de evaluación, haciendo hincapié en el uso de criterios de evaluación. En palabras de Rolheiser y Ross (2000), «la autoevaluación consiste en que los alumnos juzguen la calidad de su trabajo basándose en criterios de calidad y en la evaluación de un buen rendimiento». Algunos investigadores definen directamente la autoevaluación como la autoevaluación del alumno. No se hace ningún hincapié especial en el uso de criterios de evaluación para juzgar el aprendizaje. Por ejemplo, Brown y Harris (2014) definieron la autoevaluación de los estudiantes como la descripción y evaluación de los estudiantes sobre su rendimiento y capacidad académica. Hay diferentes tipos de evaluación utilizados por diferentes MOOC (Papathoma-Köhle et al., 2015; Zeng, 2017; Wong, 2016), por ejemplo, la evaluación automatizada (Pieterse, 2013; Ashton & Davis, 2015), la evaluación por pares (Kulkarni et al., 2013; Sadler & Good, 2006; Stančić, 2020), y la autoevaluación (Wilkowski et al., 2014).

Revisando la investigación existente, hay tres vías populares para la autoevaluación de los estudiantes en el mundo académico. En primer lugar, Boud y Brew (1995) propusieron que las diferentes tareas de aprendizaje y evaluación responden a diferentes intereses cognitivos y, posteriormente, propusieron tres tipos de autoevaluación del alumno: la autoevaluación del alumno por interés técnico, por interés práctico y por interés emancipador. La autoevaluación del estudiante en interés técnico significa que comprobamos si se han adquirido y comprendido los conocimientos y las destrezas en relación con las normas establecidas, así como el nivel alcanzado. En segundo lugar, Panadero et al. (2013) identificaron tres estrategias para que los docentes ayuden a los estudiantes a desarrollar habilidades de autoevaluación, concretamente la autoevaluación, el indicador de autoevaluación y el guion de autoevaluación. Un script es un conjunto ordenado de frases estructuradas construidas a partir de pasos de ejecución de tareas (Alonso-Tapia & Panadero, 2010). El guion de autoevaluación indica que los alumnos realizan actividades de aprendizaje de acuerdo con las preguntas del guion de autoevaluación y, a continuación, reflexionan y evalúan los resultados del aprendizaje. Los guiones de autoevaluación son preguntas reflexivas ordenadas en base a criterios de evaluación construidos según los pasos de ejecución de la tarea (Alonso-Tapia & Panadero, 2010). Por ejemplo, Lepp et al. (2017) mostraron que las dos herramientas de autoevaluación (preguntas de autoevaluación y solucionadores de problemas) se complementan entre sí y pueden ser adecuadas para diferentes participantes.

En una encuesta realizada en 15 escuelas piloto de MOOC en China, la razón se encuentra en la falta de criterios claros, lo que dificulta el control de esta forma de evaluación por parte de profesores y alumnos. Para la situación, las investigaciones de algunos estudiosos proporcionan cierta ayuda. Por ejemplo, Panadero et al. (2013) analizaron la cuestión de «si existen, y en qué forma, normas de evaluación» en las actividades de autoevaluación de los estudiantes. Según el reparto de poder entre profesores y alumnos, Taras (2016) clasifica la autoevaluación de los estudiantes en baja, media y alta, incluyendo un modelo estándar, el diseño de contratos de aprendizaje, la autoevaluación, la norma sólida y la autoevaluación con un tutor integrado y la retroalimentación de los compañeros. Uno de los requisitos previos del poder son los recursos (Burns, 1996). En la autoevaluación, el aprendizaje reflexivo puede ayudar a los estudiantes a acelerar la actualización de conocimientos, hacer que los estudiantes se conviertan en sujetos de aprendizaje, promover la colaboración y la comunicación en línea de los estudiantes, mejorar efectivamente su alfabetización informacional y realizar la transición del aprendizaje superficial al aprendizaje profundo (Wang et al., 2018). Algunos investigadores (Wang & Sun, 2002) señalan que la autoevaluación del alumno tiene lugar principalmente en el aprendizaje. La autoevaluación del alumno debe incluir tres etapas: el inicio de las actividades de aprendizaje, la mitad de las actividades de aprendizaje y el final de las actividades de aprendizaje. En cuanto a los resultados del aprendizaje, debe incluir una autoevaluación de conocimientos, habilidades, hábitos, actitudes y personalidad (Wang & Sun, 2002; Eschenbrenner & Nah, 2007). Los estudiosos también se centran en los aspectos técnicos de cómo aplicarlo, y no hay investigaciones en profundidad sobre cómo evaluarlo. Valdivia-Vázquez et al. (2021) indican que el EIIMC-MOOC es una herramienta válida, fiable y estable para evaluar la motivación inicial y los conocimientos previos de los participantes sobre temas relacionados con la energía. La autoevaluación de los estudiantes en los MOOC no solo es escasa en China, sino que también ha recibido poca atención en otros países. Por lo tanto, este estudio espera establecer un paradigma integrado de autoevaluación del estudiante para el aprendizaje MOOC, especialmente para los estudiantes universitarios en China.

Materiales y métodos

Marco teórico

Para optimizar la evaluación del aprendizaje MOOC, esta investigación tiene tres objetivos principales. En primer lugar, clasificaremos los factores que influyen en la autoevaluación de los estudiantes chinos en los MOOC. En segundo lugar, utilizaremos una herramienta analítica para analizar las autoevaluaciones de los estudiantes en los MOOC. En tercer lugar, construiremos un paradigma integrado de autoevaluación del alumno. Por este motivo, se propuso la siguiente pregunta de investigación: ¿Qué factores influyen en la autoevaluación de los estudiantes en los MOOC? La autoevaluación del alumno es una evaluación exhaustiva en la que los alumnos tratan de encontrar los cambios en su aprendizaje profundo e implícito. Necesitamos teorías apoyables para clasificar y simplificar el proceso de autoevaluación de los estudiantes.

Para responder a la pregunta, una teoría llamada «los siete pilares de la evaluación» puede ayudar. Los principales contenidos de esta teoría son los siguientes: Falchikov (2004) describió siete cuestiones básicas en el ámbito de la evaluación: «Por qué evaluar», «Cómo evaluar», «Qué evaluar», «Cuándo evaluar», «Quién evalúa», «En qué medida» y «Dónde». Será más conciso y lógico seleccionar los factores que afectan a la autoevaluación de los alumnos a partir de estas siete preguntas básicas. De acuerdo con las características del aprendizaje MOOC, el autor consultó a quince expertos, incluidos expertos en tecnología educativa de universidades chinas, directores y profesores de apoyo de escuelas piloto de aulas MOOC, y finalmente determinó nueve factores que afectan a la autoevaluación de los estudiantes en MOOC. Los nueve factores figuran en la Tabla 1.

https://typeset-prod-media-server.s3.amazonaws.com/article_uploads/75978370-a994-4a19-b5a8-d27cd4f27d75/image/71e57db0-621e-4898-ade9-a0af203177e1-u09-01.png

El modelo de estructura interpretativa

Necesitamos aclarar la relación entre estos importantes factores mencionados para establecer las bases de un paradigma integrado de autoevaluación. Con este fin, se seleccionó el modelo estructural interpretativo (ISM) como herramienta analítica en este estudio. El ISM es un modelo estructural propuesto por el profesor John Warfield en 1973, cuyo objetivo es analizar problemas complejos de estructura social. La idea básica es aprovechar la experiencia práctica, los conocimientos profesionales y la asistencia informática de los ciudadanos. Al estructurar y estratificar las relaciones complejas y desordenadas entre los elementos del sistema, se construye un modelo de estructura explicativa jerárquica y multinivel. La característica de este modelo es que muchos factores difusos del sistema se descomponen en una estructura interna visual, organizada y jerárquica para que las personas puedan entender claramente la relación entre los factores, captar la esencia del problema y encontrar soluciones. Es especialmente adecuado para el análisis de sistemas con muchas variables, relaciones complicadas y una estructura poco clara. El ISM desempeña un papel muy importante en la revelación de la estructura del sistema, especialmente en el análisis del contenido y la estructura de los recursos didácticos, el diseño y desarrollo de recursos de aprendizaje y la exploración del modo del proceso de enseñanza. Se trata de un método de investigación único en la investigación sobre tecnología educativa.

El ISM es una valiosa herramienta de gestión y un método cualitativo e interpretativo utilizado para generar soluciones a problemas complejos e identificar la importancia relevante de cada variable (Shen et al., 2016; Pfohl et al., 2011). El modelo estructural interpretativo (ISM) consiste en crear un modelo estructural compuesto por nodos y aristas dirigidas calculando la relación lógica entre los elementos. El modelo consiste en describir la jerarquía y la causalidad dentro del sistema complejo mediante métodos matemáticos. Dada la amplia aplicabilidad y la eficacia del modelo en el análisis de los factores internos, este trabajo utilizó el ISM para analizar los factores de influencia de la autoevaluación de los estudiantes, de modo que podamos comprender la estructura interna del proceso de autoevaluación de los estudiantes en MOOC. Los distintos pasos que intervienen en el ISM se han extraído de Abbas et al. (2022);Ravi &Shankar (2005); y Shahabadkar (2012). El proceso de análisis es el siguiente:

  • Paso 1. E es el conjunto de todos los elementos del sistema S, y R es el conjunto de todas las relaciones del sistema S. Hay n elementos en el sistema S.

https://typeset-prod-media-server.s3.amazonaws.com/article_uploads/75978370-a994-4a19-b5a8-d27cd4f27d75/image/fc8cada3-a5a1-4568-b4da-08935ad54613-u09-02.png

La matriz de adyacencia A se utiliza para representar la relación de influencia entre dos elementos del sistema, donde,

https://typeset-prod-media-server.s3.amazonaws.com/article_uploads/75978370-a994-4a19-b5a8-d27cd4f27d75/image/f4ed2bd1-82c7-4ef2-a00e-ae27b7abb12f-u09-03.png
  • Paso 2. Resolución de la matriz alcanzable M. Existe una relación transitiva entre ei y ej. Si existe un camino dirigido del nodo i al nodo j en un grafo dirigido, se considera que ei a ej es alcanzable, donde

https://typeset-prod-media-server.s3.amazonaws.com/article_uploads/75978370-a994-4a19-b5a8-d27cd4f27d75/image/2ea1bc49-dad5-456d-bf3e-3af4f58f1052-u09-04.png

La matriz alcanzable B puede obtenerse mediante la operación lógica de la matriz de adyacencia y la matriz de identidad, y la fórmula es:

https://typeset-prod-media-server.s3.amazonaws.com/article_uploads/75978370-a994-4a19-b5a8-d27cd4f27d75/image/53e34544-548c-4c36-9881-5998144dcccc-u09-05.png
  • Paso 3. Según la matriz alcanzable, se dan el conjunto antecedente y el conjunto alcanzable:

https://typeset-prod-media-server.s3.amazonaws.com/article_uploads/75978370-a994-4a19-b5a8-d27cd4f27d75/image/c38e87ce-ba04-422a-ac6f-bf085b3be617-u09-06.png

Además, se indican los elementos subyacentes:

https://typeset-prod-media-server.s3.amazonaws.com/article_uploads/75978370-a994-4a19-b5a8-d27cd4f27d75/image/81d64bd5-806f-4a2d-99d4-2a2287bbe992-u09-07.png

Si ei es el elemento subyacente, entonces el conjunto antecedente A (ei) contiene al propio ei y a los elementos fuertemente conectados. El conjunto alcanzable R (ei) se contiene a sí mismo, a los elementos fuertemente conectados a ei y a los elementos alcanzables desde ei. Si hay un elemento ej en el nivel inferior de ei, ej solo puede estar contenido en A (ei) pero no en A (ei) ∩ R (ei), es decir, A (ei) ≠ A (ei) ∩ R (ei).

Construyendo el ISM de la autoevaluación del estudiante en MOOC

Basándose en la Tabla 1, este estudio toma como ejemplo la enseñanza MOOC en las universidades chinas para establecer un paradigma integrado de autoevaluación del estudiante. De acuerdo con la definición del modelo de estructura interpretativa, utilizamos el software MATLAB para obtener la matriz de alcanzabilidad B. En primer lugar, este estudio consultó a 15 expertos con amplia experiencia en la enseñanza MOOC en universidades piloto chinas. A partir de la revisión de la bibliografía y los debates de los expertos, se determinaron las relaciones entre los nueve factores. Después, se crea la matriz de adyacencia A:

https://typeset-prod-media-server.s3.amazonaws.com/article_uploads/75978370-a994-4a19-b5a8-d27cd4f27d75/image/21a7cfba-ec65-4409-9e49-93f0ad9c7fb7-u09-08.png

Después se puede calcular la matriz alcanzable:

https://typeset-prod-media-server.s3.amazonaws.com/article_uploads/75978370-a994-4a19-b5a8-d27cd4f27d75/image/04ca97ba-de3f-4d56-a345-bc25dc49c004-u09-09.png

Resultados del modelo

Según la fórmula de solución de ISM, el nivel de división de la matriz alcanzable puede dividir los factores de influencia en seis niveles. El primer nivel: L1={S3, S4, S6, S7}. El segundo nivel: L2={S8}. El tercer nivel: L3={S9}. El cuarto nivel: L4={S1}. El quinto nivel: L5={S2}. El sexto nivel: L6={S5}. Como se muestra en la Tabla 2.

https://typeset-prod-media-server.s3.amazonaws.com/article_uploads/75978370-a994-4a19-b5a8-d27cd4f27d75/image/6f65a2ee-54d3-4fa3-bb6d-e450c12e2250-u09-10.png

De acuerdo con la jerarquía anterior, la matriz A se presenta como un grafo dirigido, tal y como se muestra en la Figura 1, y las elipses de distintos colores representan elementos en distintos niveles. Según la relación horizontal y vertical de los factores, este documento divide los seis niveles en factores superficiales, factores intermedios y factores profundos. Los factores de superficie se refieren a L1 {S3, S4, S6, S7}. Los factores intermedios incluyen L2 {S8}, L3 {S9}. Los factores profundos se refieren a L4 {S1}, L5 {S2}, L6{S5}.

https://typeset-prod-media-server.s3.amazonaws.com/article_uploads/75978370-a994-4a19-b5a8-d27cd4f27d75/image/c685188d-bd91-482c-85d2-7bd98a5d454d-u09-11.png

El análisis MICMAC

El análisis MICMAC se basa en el principio de la multiplicación de matrices. El modelo es un método propuesto por Duperrin y Godet para analizar la relación y la interacción entre los factores del sistema y se utiliza habitualmente para identificar los factores con gran impulso y gran dependencia en el sistema. Los elementos del sistema pueden dividirse en los cuatro cuadrantes siguientes: variables autónomas (a), variables dependientes (b), variables de enlace (c) y variables impulsoras (d). Como se muestra en la Figura 2, el poder impulsor y el poder de dependencia de las variables autónomas son débiles. El poder de dependencia de las variables dependientes es fuerte, pero el poder impulsor es débil. Tanto el poder impulsor como el poder de dependencia de las variables de vinculación son fuertes. El poder impulsor de las variables impulsoras es fuerte, pero el poder de dependencia es débil.

La suma de las filas y columnas de la matriz alcanzable B se denota como la fuerza impulsora P, y la dependencia J. P indica el grado de influencia de este factor sobre otros factores. J indica en qué medida este factor se ve afectado por otros factores. Calculando los valores P y J de cada elemento del sistema, este se divide en cuatro cuadrantes diferentes, como muestra la Figura 2.

https://typeset-prod-media-server.s3.amazonaws.com/article_uploads/75978370-a994-4a19-b5a8-d27cd4f27d75/image/357fa416-a6be-451c-b966-5f062b1927c1-u09-12.png

https://typeset-prod-media-server.s3.amazonaws.com/article_uploads/75978370-a994-4a19-b5a8-d27cd4f27d75/image/36edc324-fa4e-48be-ba9a-3ee93248aae7-u09-13.png

Discusión

Basándonos en los análisis ISM y MICMAC, obtuvimos una estructura jerárquica (Figura 1) de las autoevaluaciones de los alumnos y la clasificación de los factores influyentes (Figura 3). En la parte siguiente, abordaremos los detalles del análisis anterior.

Análisis factorial superficial

Los factores de superficie son el evaluador (S7), el método de evaluación (S3) y la tecnología de evaluación (S4). El evaluador, el método de evaluación y la tecnología de evaluación forman un bucle cerrado en el proceso de aprendizaje MOOC, y la autoevaluación del estudiante atraviesa todo el proceso.

Los evaluadores pueden elegir el método según su criterio y el método de evaluación afectará y limitará la elección del evaluador. Por lo tanto, existe una relación bidireccional entre el evaluador y el método de evaluación. En primer lugar, la competencia del evaluador determina la elección del método. Dado que el papel de los estudiantes como principal órgano de evaluación se ha descuidado durante mucho tiempo en los MOOC, ahora se anima a los estudiantes a participar en la formulación de las normas de evaluación y a determinar los métodos de evaluación. La investigación ha demostrado que es necesario algún tipo de acuerdo (es decir, criterios de evaluación acordados) entre alumnos y profesores para que la autoevaluación desempeñe un papel en el fomento del aprendizaje. Los estudiantes establecen objetivos de aprendizaje y planifican su proceso de aprendizaje de acuerdo con las normas acordadas antes de aprender, y autoevalúan los resultados del aprendizaje de acuerdo con las normas al final del proceso de aprendizaje. En segundo lugar, los distintos métodos también influyen en la actuación y la decisión del evaluador. Por un lado, los profesores dan a los alumnos información adecuada y oportuna (en lugar de calificaciones), lo que puede reducir los errores de los alumnos en la autoevaluación y animarlos a hacer evaluaciones más inteligentes. Por otra parte, los compañeros pueden ofrecer a los estudiantes perspectivas diferentes, por ejemplo, para ver los puntos fuertes o débiles que los estudiantes no pueden identificar por sí mismos, y dar sugerencias viables para ayudar a los estudiantes a hacer una evaluación más completa.

Análisis factorial intermedio

Como muestra la Figura 1, los métodos y técnicas de evaluación afectan a la autenticidad de la evaluación. Estos dos factores pertenecen a las causas externas. Ha habido una serie de investigaciones sobre la autoevaluación de los estudiantes que han enfatizado la importancia de una autoevaluación realista o verificablemente precisa para el rendimiento (Boud & Falchikov, 1989; Sánchez-Vera & Prendes-Espinosa, 2015). Los estudios han demostrado que la precisión de la autoevaluación de los estudiantes depende de sus conocimientos profesionales y de su capacidad en el área de evaluación (Dunning et al., 2004; Kitsantas et al., 2004). Pertenecen a una causa interna. Por lo tanto, la clave para garantizar la precisión es mejorar las competencias de autoevaluación y los conocimientos profesionales de los estudiantes, así como su capacidad para analizar el contenido de la evaluación.

Por fiabilidad de la evaluación se entiende la exactitud y el realismo de los resultados de la evaluación. La fiabilidad de los resultados de la autoevaluación afectará directamente a la futura tendencia de desarrollo de la autoevaluación de los alumnos. Una autoevaluación inauténtica o inexacta del alumno es una evaluación inválida. Por lo tanto, el mejor desarrollo de la autoevaluación de los alumnos debe basarse en la fiabilidad. En China, la evaluación en clase de los MOOC se realiza principalmente de tres formas: evaluación por parte del profesor, evaluación por parte de los compañeros y autoevaluación por parte de los estudiantes. En la práctica docente actual de los MOOC, la evaluación del profesor es la base y la posición dominante, mientras que la autoevaluación del estudiante es la menos utilizada. En el futuro, con el auge de la evaluación orientada al aprendizaje y el establecimiento de un sistema de aprendizaje permanente, los estudiantes deberán convertirse en excelentes autoevaluadores. Por lo tanto, el cambio en el desarrollo futuro de la autoevaluación de los estudiantes afectará inevitablemente a la motivación de los mismos. Además, el objetivo de la autoevaluación del alumno solo puede determinarse una vez establecida la nueva motivación de la autoevaluación del alumno. La discusión anterior se refiere a la relación entre los elementos del nivel intermedio.

Análisis factorial profundo

La motivación para la evaluación (S1), el objetivo de la evaluación (S2) y la adquisición de conocimientos y competencias (S5) es el factor profundo. La motivación es el punto de partida de la autoevaluación de los estudiantes, y debe quedar claro que la motivación de la autoevaluación de los estudiantes en los MOOC es optimizar continuamente el aprendizaje de los estudiantes. En concreto, la autoevaluación de los estudiantes no solo optimiza su aprendizaje actual, sino que también fomenta el aprendizaje permanente de los estudiantes. En el proceso de autoevaluación, si los alumnos tienen un mayor poder de evaluación y un sentido de control sobre su aprendizaje, lo que contribuye a romper el malentendido de que los alumnos «aprenden para los profesores o los padres», a hacer que los alumnos sientan que «aprender es cosa suya», a aumentar su sentido de la responsabilidad por el aprendizaje y, después, a planificar, supervisar y regular su aprendizaje de forma estable.

El objetivo de la evaluación es como la diana, y su posición determina la dirección del alumno. Por lo tanto, es crucial comprender el objetivo de la evaluación. Si la motivación de la evaluación es el punto de partida, el objetivo es el punto de apoyo. Para la autoevaluación en MOOC, el objetivo de la evaluación es el aprendizaje eficaz en MOOC (Deng et al., 2020). Este es el objetivo general del aprendizaje MOOC. En los MOOC, habrá muchos subobjetivos debido al progreso del aprendizaje. En una palabra, los objetivos no están grabados en piedra, hay que ajustarlos. Debe quedar claro que lo que estamos evaluando para la autoevaluación de los estudiantes en el aprendizaje MOOC es la adquisición de conocimientos y habilidades. Esto viene determinado por el objetivo de evaluación de la autoevaluación del alumno. En comparación con la evaluación externa, los alumnos solo pueden juzgar lo que han aprendido, pero la autoevaluación también puede revelar cómo lo han aprendido. En el proceso de aprendizaje MOOC, por un lado, los estudiantes deben saber lo que han aprendido y evaluar si sus conocimientos y habilidades en un determinado aspecto cumplen los estándares y en qué medida los han alcanzado, haciendo referencia a los estándares de evaluación establecidos. De este modo, los alumnos comprenden claramente lo que saben, lo que dominan, lo que no saben y lo que no dominan. Por otra parte, para comprender mejor cómo están adquiriendo conocimientos y destrezas, los estudiantes pueden entender su modo de pensar, su actitud de aprendizaje y su estrategia de aprendizaje reflexionando y registrando el proceso de aprendizaje. De este modo, los estudiantes ajustan su aprendizaje de forma puntual y específica y desarrollan su conciencia metacognitiva. Al igual que el tipo de evaluación –«autoevaluación en el interés emancipador»– propuesto por Boud y Brew (1995), el interés emancipador hace referencia al interés básico de los seres humanos por la «liberación» y el «empoderamiento».

Construcción de un paradigma integrado de autoevaluación del estudiante en MOOC

A través del análisis de diferentes niveles de factores, este estudio estableció un paradigma integrado de autoevaluación del estudiante en MOOC, como se muestra en la Figura 4. En la figura, el nodo del elemento (○), con diferentes colores y alturas, representa distintos niveles. La siguiente sección profundizará en la Figura 6, empezando por L1 (el factor de superficie).

En primer lugar, para el aprendizaje MOOC en China, la autoevaluación del estudiante debe llevarse a cabo a lo largo de todo el proceso de aprendizaje MOOC. Los estudiantes deben llevar a cabo una autoevaluación de sus progresos y logros de aprendizaje antes, durante y después de los MOOC. Mientras tanto, lo mejor es adoptar distintos métodos de evaluación en distintos periodos de aprendizaje.

En segundo lugar, los estudiantes deben ser los principales ejecutores de la evaluación. Sin embargo, ser un excelente autoevaluador no es algo que pueda lograrse aceptando un gran número de actividades de evaluación impartidas por los profesores. En su lugar, los estudiantes deben realizar un gran número de prácticas de autoevaluación y aprender haciéndolo. Por lo tanto, la evaluación del profesor dará paso gradualmente a la autoevaluación y a la evaluación mutua entre compañeros, y la situación dominada por la evaluación del profesor se transformará en la autoevaluación de los alumnos como base y guía. Las universidades deberían cambiar la tendencia de evaluación del modelo tradicional de terraza al modelo de apoyo al aprendizaje permanente. Se trata de despertar la autoconciencia y la iniciativa del alumno para que pase de ser un objeto de evaluación pasivo a un sujeto de evaluación consciente y activo. Los profesores deben concienciar a los alumnos de su responsabilidad de supervisar, evaluar y regular su aprendizaje.

En tercer lugar, la validez de una evaluación depende de su fiabilidad. Para garantizar la fiabilidad de la autoevaluación de los estudiantes en los MOOC, es necesario mejorar las habilidades de autoevaluación de los estudiantes y establecer cursos de evaluación para mejorar la calidad de la evaluación. Partiendo de la premisa de garantizar la eficacia de la autoevaluación, las universidades deberían hacer que la autoevaluación de los estudiantes se convirtiera en la base de la evaluación de los MOOC. Según la situación actual de la evaluación MOOC en China, los profesores deben ser diligentes a la hora de «hacer concesiones», transfiriendo los derechos de evaluación a los estudiantes y convirtiendo las actividades de evaluación en un proceso de participación activa, autorreflexión, autoeducación y autodesarrollo de los estudiantes. Después de aclarar la importancia de la autoevaluación de los estudiantes en los MOOC, se determina la motivación de la autoevaluación de los estudiantes para optimizar el aprendizaje de los MOOC. A continuación, se determina el objeto de autoevaluación (proceso de aprendizaje MOOC) en MOOC.

Por último, debemos centrarnos en los factores profundos (la adquisición de conocimientos y destrezas) de la autoevaluación de los estudiantes. En primer lugar, el contenido de la autoevaluación del alumno puede dividirse en «conocimientos y habilidades» y «proceso cognitivo». Por lo tanto, lo que el evaluador debe valorar en primer lugar es la adquisición de conocimientos y habilidades en el MOOC. Este proceso de evaluación es un proceso cognitivo y necesitamos utilizar diferentes métodos de evaluación. Basándose en las características de MOOC, es más adecuado para el método de evaluación con las características de criterios de evaluación constructivos y procesos de evaluación dinámicos. Concretamente, si el contenido de la evaluación es el conocimiento y las destrezas, se pueden adoptar métodos de autoevaluación con un medio de reparto de poder, criterios de evaluación claros y énfasis en las calificaciones o puntuaciones, como los siguientes tipos; autoevaluación, norma sólida y rúbricas de autoevaluación. Si el contenido de la evaluación es un proceso cognitivo, la autoevaluación con interés práctico, la autoevaluación con interés emancipador y la autoevaluación con el tutor integrado y la retroalimentación de los compañeros son más adecuadas. A través de la comunicación y el debate con profesores o compañeros, los estudiantes forman su comprensión personalizada de las tareas de evaluación y construyen sus criterios de evaluación. Los estudiantes no solo construyen una comprensión individualizada y criterios de evaluación individuales, sino que también reflexionan sobre el propio proceso de construcción y llevan a cabo actividades de autoevaluación de forma independiente.

https://typeset-prod-media-server.s3.amazonaws.com/article_uploads/75978370-a994-4a19-b5a8-d27cd4f27d75/image/4bf76eb0-fe20-4932-b8ee-85664bf800ea-u09-14.png

Conclusión

Teniendo en cuenta el debate anterior, proponemos varias sugerencias para la autoevaluación del aprendizaje MOOC por parte de los estudiantes. En primer lugar, considere la autoevaluación de los estudiantes en los MOOC como un método de evaluación formativa. La autoevaluación del alumno no es solo una actividad de evaluación después de una etapa de aprendizaje, es un tipo de evaluación formativa, que recorre todo el proceso de aprendizaje del alumno. Por lo tanto, la autoevaluación del alumno es una forma de «evaluación formativa». En segundo lugar, las universidades deberían concienciar a los estudiantes sobre la autoevaluación a través de la publicidad y concienciar a los alumnos de su responsabilidad de supervisar, evaluar y regular su aprendizaje. En tercer lugar, podríamos crear cursos de evaluación para mejorar la calidad de la evaluación de los estudiantes. Por ejemplo, se pueden crear microconferencias en vídeo para que los alumnos adquieran conocimientos y destrezas de evaluación en clase y luego, elegir los métodos de evaluación para aumentar la fiabilidad de los resultados. Por último, las instituciones escolares deberían optimizar el entorno de autoevaluación de los alumnos con la ayuda de la tecnología. Con la profunda integración de las tecnologías de la información y la educación y la enseñanza, la naturaleza en red de las actividades de evaluación es cada vez más evidente. Todos los tipos de sistemas de evaluación en red proporcionan a los estudiantes datos de aprendizaje personalizados, herramientas de evaluación diversificadas y plataformas de comunicación, que superan las limitaciones y dificultades de la evaluación tradicional en la recopilación de datos y pueden optimizar el entorno de autoevaluación de los estudiantes.

En resumen, un buen aprendiz permanente debe ser un buen autoevaluador. Los profesores pueden seguir asumiendo la responsabilidad de evaluar el aprendizaje de los alumnos, pero, a largo plazo, los estudiantes dependerán de la evaluación y los comentarios de los profesores, y les resultará difícil formarse en una autoevaluación de calidad. Así, a los estudiantes les resultaría difícil juzgar su crecimiento tras dejar la escuela e incluso perderían oportunidades de aprendizaje. Por lo tanto, cultivar la «calidad de la evaluación» de los estudiantes mediante el proceso de autoevaluación no solo ayuda a optimizar el aprendizaje actual de los estudiantes, sino que también establece una buena base para el aprendizaje y el desarrollo permanente de los estudiantes. Además, la autoevaluación de los estudiantes debe integrar métodos cualitativos y métodos cuantitativos. Por ejemplo, para la evaluación de conocimientos y competencias, pueden utilizarse métodos cuantitativos, como las rúbricas de autoevaluación. Para la evaluación del proceso cognitivo, pueden utilizarse métodos cualitativos, como el guion de autoevaluación, el informe de autoevaluación y el registro reflexivo. Entre ellos, el aprendizaje reflexivo no solo desarrolla el comportamiento de aprendizaje de los estudiantes, sino que también les permite tener capacidades más integrales en el proceso de aprendizaje, lo que les convierte en personas más completas (Cristianti et al., 2020).

En el caso actual de los MOOC en China, el enfoque en la autoevaluación de los estudiantes no es suficiente (Li, 2017). Es necesario romper la tendencia unilateral de que «la autoevaluación del alumno solo significa que los alumnos se califican a sí mismos». Tenemos que formarnos una idea holística y global de la autoevaluación. Además de China, según la revisión de la literatura existente, también hay poca investigación centrada en la autoevaluación de los estudiantes en MOOC en otros países. Para el aprendizaje en línea, como los MOOC, la autoevaluación debería ser el principal método de evaluación debido a las características del autoestudio en la enseñanza en línea. Por lo tanto, lo primero es cambiar la actitud de profesores y alumnos hacia la autoevaluación y formar una comprensión global de la autoevaluación, y luego, ordenar el camino lógico de la autoevaluación del estudiante y construir un paradigma integrado de autoevaluación del estudiante en MOOC. Esta es la contribución de este estudio. En el futuro, nos centraremos en cómo optimizar el efecto de aprendizaje de los MOOC mediante la autoevaluación de los estudiantes. (1)