Ключевые слова
Usability, satisfaction, design tools, evaluation software, multimedia annotations, educational software, MOOC, university education
Резюме
The worldwide boom in digital video may be one of the reasons behind the exponential growth of MOOCs. The evaluation of a MOOC requires a great degree of multimedia and collaborative interaction. Given that videos are one of the main elements in these courses, it would be interesting to work on innovations that would allow users to interact with multimedia and collaborative activities within the videos. This paper is part of a collaboration project whose main objective is «to design and develop multimedia annotation tools to improve user interaction with contents». This paper will discuss the assessment of two tools: Collaborative Annotation Tool (CaTool) and Open Video Annotation (OVA). The latter was developed by the aforementioned project and integrated into the edX MOOC. The project spanned two academic years (2012-2014) and the assessment tools were tested on different groups in the Faculty of Education, with responses from a total of 180 students. Data obtained from both tools were compared by using average contrasts. Results showed significant differences in favour of the second tool (OVA). The project concludes with a useful video annotation tool, whose design was approved by users, and which is also a quick and user-friendly instrument to evaluate any software or MOOC. A comprehensive review of video annotation tools was also carried out at the end of the project.
Ссылки
Aguaded, I. & Sánchez, J. (2008). Niños adolescentes tras el visor de la cámara: expe-riencias de alfabetización audiovisual. Estudios sobre el Mensaje Periodístico, 14, 293-308.
Link DOI | Link Google Scholar
Link DOI | Link Google Scholar
Area, M. (2005). Los criterios de calidad en el diseño y desarrollo de materiales didácticos para la www. Comunicación y Pedagogía, 204, 66-72.
Link DOI | Link Google Scholar
Bangor, A., Kortum, P.T. & Miller, J.T. (2009). Determining What Individual SUS Scores Mean: Adding an Adjective Rating Scale. Journal of Usability Studies. 4 (3), 114-123.
Link DOI | Link Google Scholar
Bartolomé, A. (1997). Uso interactivo del vídeo. In J. Ferrés & P. Marques (Coord.), Comunicación educativa y nuevas tecnologías. Barcelona: Praxis. 320 (1-13).
Bartolomé, A. (2003). Vídeo digital. Comunicar, 21, 39-47. (http://goo.gl/MDcYOt) (29-04-2014).
Bevan, N. (1997). Quality and Usability: A New Framework. In Van Veenendaal, E. & McMullan, J. (Eds.), Achieving Software Product Quality. Netherlands: Tutein Nolthenius, 25-34.
Link DOI | Link Google Scholar
Cabero, J. (2004). El diseño de vídeos didácticos. In J. Salinas, J. Cabero & I. Aguaded (Coords.), Tecnologías para la educación: diseño, producción y evaluación de medios para la formación docente (PP. 141-156). Madrid: Alianza.
Castells, M. (2012). Redes de indignación y esperanza. Madrid: Alianza.
Cebrián-de-la-Serna, M. & Bergman, M. (2014). Formative Assessment with eRubrics: an Approach to the State of the Art. Revista de Docencia Universitaria. 12, 1, 23-29. (http://goo.gl/A4cpaa).
Cebrián-de-la-Serna, M. & Monedero, J.J. (2014). Evolución en el diseño y fun-cionalidad de las rúbricas: desde las rúbricas «cuadradas» a las erúbricas federadas. Revista de Docencia Universitaria, 12, 1, 81-98. (http://goo.gl/xNhnqR).
Cebrián-de-la-Serna, M. (1994). Los vídeos didácticos: claves para su producción y evaluación. Pixel Bit. Sevilla, 1, 31-42. (http://goo.gl/w3Ayi6).
Colasante, M. (2011). Using Video Annotation to Reflect on and Evaluate Physical Education Pre-service Teaching Practice. Australasian Journal of Educational Technology, 27(1), 66-88. (http://goo.gl/f2HfZB).
Link DOI | Link Google Scholar
Link DOI | Link Google Scholar
Ferrés, J. (1992). Vídeo y educación. Barcelona: Paidós.
Link DOI | Link Google Scholar
García-Valcárcel, A. (2008). El hipervídeo y su potencialidad pedagógica. Revista Lati-noamericana de Tecnología Educativa (RELATEC), 7, 2, 69-79.
Giroux, H.A. (2001). Cultura, política y práctica educativa. Barcelona: Graó.
Link DOI | Link Google Scholar
Hattie, J. (2009). Visible Learning: A Synthesis of Over 800 Meta-Analyses Relating to Achievement. New York, NY: Routledge.
Link DOI | Link Google Scholar
Link DOI | Link Google Scholar
Kirakowski, J. & Corbett, M. (1988). Measuring User Satisfaction. 4ª Conference of the British Computer Society Human-Computer Interaction Specialist Group, 329-338.
Link DOI | Link Google Scholar
Link DOI | Link Google Scholar
Link DOI | Link Google Scholar
Link DOI | Link Google Scholar
Link DOI | Link Google Scholar
Link DOI | Link Google Scholar
Link DOI | Link Google Scholar
Link DOI | Link Google Scholar
Salinas, J. (2013). Audio y vídeo Podcast para el aprendizaje de lenguas extranjeras en la formación docente inicial. IV Jornadas Internacionales de Campus Virtuales. 14-15 Febrero. Universidad de las Islas Baleares. (http://goo.gl/EHq2Jo) (29-04-2014).
Sauro, J. (2011). Measuring Usability with the System Usability Scale (SUS) (http://goo.gl/63krpp) (29-04-2014).
Schön, D.A. (1998). El profesional reflexivo: ¿cómo piensan los profesionales cuando actúan? Barcelona: Paidós.
Техническая спецификация
Получила: 30-04-2014
пересмотренный: 19-05-2014
Принятый: 21-06-2014
OnlineFirst: 15-11-2014
Дата публикации: 01-01-2015
Время пересмотра статьи: 19 дней | Среднее время пересмотра вопроса 44: 37 дней
Время принятия статьи: 52 дней | Время приема Номер 44: 69 дней
Время редактирования препринта: 201 дней | Выпуск препринта среднего времени редактирования 44: 197 дней
Время редактирования статьи: 246 дней | Среднее время редактирования журнала 44: 242 дней
метрика
Метрики этой статьи
Просмотров: 43158
Ознакомление с аннотациями: 35123
загрузки PDF-файлов: 8035
Полные метрики 44
Просмотров: 1144315
Ознакомление с аннотациями: 908020
загрузки PDF-файлов: 236295
Цитируется
Цитаты в Web of Science
Hernandez-Dominguez, J.; Perez-Cortes, A. J.;. ANALYSIS OF THE TECHNOLOGICAL ACCEPTANCE OF MULTIMEDIA TOOLS AT UNIVERSITY PHYSICAL EDUCATION LEARNING JOURNAL OF SPORT AND HEALTH RESEARCH , 2020.
Maiz Olazabalaga, Inmaculada; Castano Garrido, Carlos; Garay Ruiz, Urtza. Research on MOOCs: Trends and Methodologies PORTA LINGUARUM, 2016.
Lemos-de-Carvalho-Junior, Giovani; Raposo-Rivas, Manuela; Cebrian-de-la-Serna, Manuel; Sarmiento-Campos, Jose A.. Analysis of the pedagogical perspective of the MOOCs available in Portuguese REVISTA ESPANOLA DE PEDAGOGIA, 2017.
https://doi.org/10.22550/REP75-1-2017-06
Belen Perez-Torregrosa, Ana; Diaz-Martin, Cristina; Ibanez-Cubillas, Pilar. The use of Video annotation tools in teacher training Procedia Social and Behavioral Sciences, 2017.
https://doi.org/10.1016/j.sbspro.2017.02.090
Bartolome-Pina, Antonio; Garcia-Ruiz, Rosa; Aguaded, Ignacio. Blended learning: overview and expectations RIED-REVISTA IBEROAMERICANA DE EDUCACION A DISTANCIA, 2018.
https://doi.org/10.5944/ried.21.1.18842
Espigares Pinazo, Manuel Jesus; Bautista Vallejo, Jose Manuel. Assessment of digital learning objects in Moodle EDUCATIO SIGLO XXI, 2018.
https://doi.org/10.6018/j/350051
Lemos de Carvalho, Giovani, Jr.; Cebrian Robles, Daniel; Cebrian de la Serna, Manuel; Raposo Rivas, Manuela. COMPARATIVE STUDY SPOC VS. MOOC FOR SOCIO-TECHNICAL CONTENTS FROM USABILITY AND USER SATISFACTION TURKISH ONLINE JOURNAL OF DISTANCE EDUCATION, 2019.
Tabuenca, Bernardo; Kalz, Marco; Lohr, Ansje. Massive Open Online Education for Environmental Activism: The Worldwide Problem of Marine Litter SUSTAINABILITY, 2019.
https://doi.org/10.3390/su11102860
Martinez Romera, Daniel David; Cebrian Robles, Daniel. Videographic analysis for assessment of the external work placements in the initial stages of secondary school teacher training EDUCAR, 2019.
https://doi.org/10.5565/rev/educar.873
Osuna-Acedo, Sara; Gil-Quintana, Javier; . sMOOC, A New Training Model in Second Language Learning. Case study AMERICAN JOURNAL OF DISTANCE EDUCATION, 2020.
https://doi.org/10.1080/08923647.2019.1705085
Cebrian-Robles, D; Franco-Mariscal, AJ and Blanco-Lopez, A. Sequence of tasks to teach argumentation in science to pre-service teachers through CoRubric. Exemplification in an activity on a saline power plant DIDACTICA DE LAS CIENCIAS EXPERIMENTALES Y SOCIALES , 2021.
https://doi.org/10.7203/DCES.40.18178
Cebrian-de-la-Serna, Manuel; Jesus Gallego-Arrufat, Maria; Cebrian-Robles, Violeta; . Multimedia Annotations for Practical Collaborative Reasoning JOURNAL OF NEW APPROACHES IN EDUCATIONAL RESEARCH, 2021.
https://doi.org/10.7821/naer.2021.7.664
Wu, Bing; Zhang, Chenyan. Behavior and Intention in MOOCs Research Advances in Intelligent Systems Research, 2016.
Liu, Shuqing; Liang, Tianyi; Shao, Shuai;. Evaluating Localized MOOCs: The Role of Culture on Interface Design and User Experience IEEE ACCESS , 2020.
https://doi.org/10.1109/ACCESS.2020.2986036
Espigares-Pinazo, Manuel J.; Bautista-Vallejo, Jose M.; Garcia-Carmona, Marina;. Evaluations in the Moodle-Mediated Music Teaching-Learning Environment TECHNOLOGY KNOWLEDGE AND LEARNING , 2020.
Цитаты в Scopus
Garrido Gómez, M.I.. The communicability in MOOC, its strengthen by the multimedia annotations [La comunicabilidad en los MOOC y su potenciación mediante las anotaciones multimedia]), Opcion, .
Maiz Olazabalaga, I., Castaño Garrido, C., Garay Ruiz, U.. Research on MOOCS: Trends, methodologies [Investigación en MOOC: Tendencias y metodologías]), Porta Linguarum, .
Lemos-De-Carvalho, G., Jr., Raposo-Rivas, M., Cebrián-De-La-Serna, M., Sarmiento-Campos, J.A.. Analysis of the pedagogical perspective of the MOOCs available in Portuguese [Análisis de la perspectiva pedagógica de los MOOC ofertados en lengua portuguesa]), Revista Espanola de Pedagogia, .
https://doi.org/10.22550/REP75-1-2017-06
Blackmon, S.J., Major, C.H.. Wherefore art thou MOOC?: Defining massive open online courses), Online Learning Journal, .
https://doi.org/10.24059/olj.v21i4.1272
Villavicencio, M., Pincay, J., Desiderio, K., Quimba, S.. Reusing, creating OERs for software engineering training), JIISIC 2018 - Jornadas Iberoamericanas de Ingenieria de Software e Ingenieria del Conocimiento, .
Arnavut, A., Bicen, H.. Determination of teachers’ perspectives, level of readiness towards MOOCs for tolerance education), Quality, Quantity, .
https://doi.org/10.1007/s11135-017-0546-z
de Carvalho Junior, G.L., Robles, D.C., de la Serna, M.C., Rivas, M.R.. Comparative study Spoc Vs. Mooc for socio-technical contents from usability, user satisfaction), Turkish Online Journal of Distance Education, .
Martínez Romera, D.D., Robles, D.C.. Videographic analysis for assessment of the external work placements in the initial stages of secondary school teacher training [Análisis videográfico para la evaluación de los aprendizajes en las prácticas externas de la formación inicial de docentes de secundaria]), Educar, .
https://doi.org/10.5565/rev/educar.873
Tabuenca, B., Kalz, M., Löhr, A.. Massive open online education for environmental activism: The worldwide problem of marine litter), Sustainability (Switzerland), .
https://doi.org/10.3390/su11102860
Bernal-Torres, C.A., Hoyos, J.D., Fracica, G., Fernández-Otoya, F.A. . Use of video in taekwondo learning: A study in children in school age | [Uso del video en el aprendizaje del taekwondo: estudio en niños en edad escolar]), Informacion Tecnologica, .
https://doi.org/10.4067/S0718-07642020000100311
Osuna-Acedo, S., Gil-Quintana, J. . sMOOC, Un Nuevo Modelo De Formación En El Aprendizaje Del Segundo Idioma. Estudio De Caso), American Journal of Distance Education, .
https://doi.org/10.1080/08923647.2019.1705085
Costa, C., Teixeira, L., Alvelos, H.. A study on massive open online courses in higher education), Atas da Conferencia da Associacao Portuguesa de Sistemas de Informacao, .
https://doi.org/10.18803/capsi.v15.125-141
Liu, S., Liang, T., Shao, S., Kong, J. . Evaluating Localized MOOCs: The Role of Culture on Interface Design and User Experience), IEEE Access, .
https://doi.org/10.1109/ACCESS.2020.2986036
Espigares-Pinazo, M.J., Bautista-Vallejo, J.M., García-Carmona, M. . Evaluations in the Moodle-Mediated Music Teaching-Learning Environment), Technology, Knowledge and Learning, .
https://doi.org/10.1007/s10758-020-09468-0
Morales, C.R.M.. MOOC concerning the communication sciences targeting native Spanish speakers [MOOC referentes a las ciencias de la comunicación dirigidos a hispanohablantes]), Opcion, .
Hernández-Domínguez, J., Pérez-Cortés, A.J. . Analysis of the technological acceptance of multimedia tools at university physical education learning | [Análisis de la aceptación tecnológica de herramientas multimedia en el proceso formativo de la educación física universitaria]), Journal of Sport and Health Research, .
Cebrián-de-la-Serna, M., Gallego-Arrufat, M.J., Cebrián-Robles, V. . Multimedia Annotations for Practical Collaborative Reasoning), Journal of New Approaches in Educational Research, .
https://doi.org/10.7821/naer.2021.7.664
2-s2.0-85121783286. The Use of Video Annotation in Education: A Review), Asian Journal of University Education, .
https://doi.org/10.24191/ajue.v17i4.16208
Rey, F.J.R., Robles, V.C., de la Serna, M.C.. Study of videoposters using video annotations as a methodology for scientific events), Revista de Educación a Distancia, .
Цитаты в Google Scholar
Bartolomé Pina, A., García-Ruiz, R., & Aguaded, I. (2018). Blended learning: panorama y perspectivas.
https://repositorio.unican.es/xmlui/handle/10902/15898
Cebrián-de-la-Serna, M., Cebrian Robles, D., & Serrano Puerto, J. (2015). Metodología para evaluar el impacto de las erúbricas y las anotaciones de vídeo en las prácticas externas.
https://riuma.uma.es/xmlui/handle/10630/10026
Maiz Olazabalaga, I., Castano Garrido, C., & Garay Ruiz, U. (2016). Research on MOOCs: trends and methodologies.
http://digibug.ugr.es/handle/10481/54092
Blackmon, S., & Major, C. (2017). Wherefore Art Thou MOOC: Defining Massive Open Online Courses. Online Learning Journal, 21(4).
https://www.learntechlib.org/p/183776/
LA HERRAMIENTA, D. E. A. D. E. V. O. V., & RÚBRICA, Y. (2015). Documentando el eportafolios federado con evidencias multimedia, anotaciones de video y erúbricas.
石小岑, & 李曼丽. (2016). 国际 MOOC 研究热点与趋势——基于 2013-2015 年文献的 Citespace 可视化分析. 开放教育研究, 22(1), 90-99.
http://www.cqvip.com/qk/80620x/201601/667728593.html
Pérez-Torregrosa, A. B., Díaz-Martín, C., & Ibáñez-Cubillas, P. (2017). The use of Video annotation tools in teacher training. Procedia-Social and Behavioral Sciences, 237, 458-464.
https://www.sciencedirect.com/science/article/pii/S1877042817300903
Lemos-de-Carvalho-Júnior, G., Raposo-Rivas, M., Cebrían-de-la-Serna, M., & Sarmiento-Campos, J. A. (2017). Análisis de la perspectiva pedagógica de los MOOC ofertados en lengua portuguesa.
https://reunir.unir.net/handle/123456789/6201
Romera, D. D. M., & Robles, D. C. (2019). Análisis videográfico para la evaluación de los aprendizajes en las prácticas externas de la formación inicial de docentes de secundaria. Educar, 55(2), 457-477.
https://www.raco.cat/index.php/Educar/article/view/359305
Lemos-de-Carvalho-Junior, G., Raposo-Rivas, M., Cebrian-de-la-Serna, M., & A. SARMIENTO-CAMPOS, J. (2017). Análisis de la perspectiva pedagógica de los MOOC ofertados en lengua portuguesa/Analysis of the pedagogical perspective of the MOOCs available in Portuguese. revista española de pedagogía, 101-119.
https://www.jstor.org/stable/26379349
Costa, C., Teixeira, L., & Alvelos, H. (2017, March). A Study on Massive Open Online Courses in Higher Education. In Atas da Conferência da Associação Portuguesa de Sistemas de Informação (Vol. 15, No. 15, pp. 125-141).
http://capsi.apsi.pt/index.php/capsi/article/view/616
李金芳, 刘娜, 王莲, & 祝欣. (2015). 基于 xMOOC 课程模式的高校图书馆信息素养教育研究. 图书情报工作, 59(21), 56-62.
http://www.lis.ac.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=20607
Rey, F. J. R., & Robles, D. C. Anotaciones de vídeo y estilos de aprendizaje en el Máster de Secundaria de Matemáticas. Publicado en. ISSN (En línea) Versión en línea, 678.
Robles, V. C. capítulo 2. lasanotacIonesenInternet: el Ágora dIgItal grIego.
http://gtea.uma.es/wp-content/uploads/2017/04/libro-gtea6.pdf#page=14
Hernández Domínguez, J., & Pérez-Cortés, A. J. HERRAMIENTAS TECNOLOGICAS MULTIMEDIA PARA EL ANALISIS DEL MOVIMIENTO EN ENTORNOS EDUCATIVOS. REVISIÓN BIBLIOGRÁFICA. MULTIMEDIA TECHNOLOGICAL TOOLS FOR THE ANALYSIS OF THE MOVEMENT IN EDUCATIONAL ENVIRONMENTS. BIBLIOGRAPHIC REVIEW. ALCANCE DE LA INVESTIGACIÓN EN LA EDUCACIÓN FÍSICA, 74.
de la Serna, M. C. Recursos tecnológicos para un PLE-portafolios multimedia de calidad para el prácticum y las prácticas externas.
Martinez-Romera, D. D. (2018). Innovación e Investigación Educativa sobre la Evaluación de Competencias Profesionales con TIC para la Enseñanza de las Ciencias Sociales en el Máster de Profesorado.
https://riuma.uma.es/xmlui/handle/10630/17447
Romera, D. D. M., & Robles, D. C. Editado por.
https://educar.uab.cat/article/view/v55-n2-martinez-cebrian
Dos Santos, N. B., & Santos, G. L. (2018). PERSPECTIVAS EMERGENTES DAS PESQUISAS SOBRE MOOCS. CIET: EnPED.
http://cietenped.ufscar.br/submissao/index.php/2018/article/view/552
Arnavut, A., & Bicen, H. (2018). Determination of teachers’ perspectives and level of readiness towards MOOCs for tolerance education. Quality & Quantity, 52(2), 929-943.
https://link.springer.com/article/10.1007/s11135-017-0546-z
Wu, B., & Zhang, C. (2016, November). Behavior and Intention in MOOCs Research. In 2016 2nd International Conference on Artificial Intelligence and Industrial Engineering (AIIE 2016). Atlantis Press.
https://www.atlantis-press.com/proceedings/aiie-16/25866421
Tabuenca, B., Kalz, M., & Löhr, A. (2019). Massive Open Online Education for Environmental Activism: The Worldwide Problem of Marine Litter. Sustainability, 11(10), 2860.
https://www.mdpi.com/2071-1050/11/10/2860
Pérez-Torregrosa, A. B., Díaz-Martín, C., & Ibáñez-Cubillas, P. (2017). The use of Video annotation tools in teacher training. Procedia-Social and Behavioral Sciences, 237, 458-464.
https://www.sciencedirect.com/science/article/pii/S1877042817300903
Pinazo, M. J. E., & Vallejo, J. M. B. (2018). Evaluación de objetos digitales de aprendizaje musical en Moodle. Educatio Siglo XXI, 36(3), 377-396.
Ortiz Jiménez, J. G. MOOCS: miradas críticas desde la pedagogía.
http://repository.usta.edu.co/handle/11634/13963
Gómez, M. I. G. (2015). La comunicabilidad en los MOOC y su potenciación mediante las anotaciones multimedia. Opción, 31(3), 528-540.
https://www.redalyc.org/pdf/310/31045567027.pdf
Martínez Chávez, M. E., Suárez, R., & Carolina, N. (2019). Instrumento Para Evaluar Desde La Transposición Didáctica Interna Objetos Virtuales De Aprendizaje En Probabilidad.
http://repository.unilibre.edu.co/handle/10901/15668
López Cueva, M. A. (2018). Elaboración de heurísticas para evaluar la usabilidad en aplicaciones web orientadas al comercio electrónico.
http://repositorio.unap.edu.pe/handle/UNAP/8879
Ortíz Jiménez, J. G., Rojas Mesa, J. E., Martínez, E., & Silva, A. Diseño de una propuesta de cursos Mooc desde la universidad Santo Tomás que permita implementar formas de aprendizaje y oportunidad educativa a poblaciones con diferentes características sociales, regionales, culturales, y de formación. Primera fase.
http://repository.usta.edu.co/handle/11634/13590
Novillo Andrade, Á. F. (2018). Diseño e implementación de un MOOC, aplicando la metodología PACIE, para el desarrollo de nuevas estrategias pedagógicas con el uso de las TIC en la práctica docente y optimizar el proceso de enseñanza-aprendizaje (Master's thesis, Universidad Casa Grande. Departamento de Posgrado).
http://dspace.casagrande.edu.ec:8080/handle/ucasagrande/1526
Villavicencio, G. T., Santel, J. M., Palma, K. M. V., & Altamirano, A. C. (2019). Una experiencia interinstitucional de desarrollo de un MOOC para docentes en servicio. Apertura: Revista de Innovación Educativa, 11(1), 120-135.
https://dialnet.unirioja.es/servlet/articulo?codigo=6940127
Fernández Rodrigo, L. (2018). Las TIC en programas socioeducativos: Evaluación de un Entorno Virtual como medio de soporte a profesionales en la implementación del programa Caminar en Familia (Doctoral dissertation, Universitat de Lleida).
https://www.tdx.cat/handle/10803/665034
Wagner, R. Solassist Learning: MOOC para formação de professores.
http://www.tise.cl/volumen13/TISE2017/38.pdf
Wagner, R., Piovesan, S. D., & Passerino, L. (2019). Solassist Learning: um MOOC para formação em Tecnologia Assistiva/Solassist Learning: a MOOC for Assistive Technology training. Brazilian Journal of Development, 5(6), 5235-5256.
http://brjd.com.br/index.php/BRJD/article/view/1739
Lin, J., & Cantoni, L. (2017). Exploring the Experiences of Instructors Teaching Massive Open Online Courses in Tourism and Hospitality: A Mixed Methods Approach.
Lin, J. (2018). Exploring the experiences of instructors teaching massive open online courses in tourism and hospitality (Doctoral dissertation, Università della Svizzera italiana).
Альтернативные метрики
Как процитировать
Monedero-Moya, J., Cebrián-Robles, D., & Desenne, P. (2015). Usability and satisfaction in multimedia annotation tools for MOOCs. [Usabilidad y satisfacción en herramientas de anotaciones multimedia para MOOC]. Comunicar, 44, 55-62. https://doi.org/10.3916/C44-2015-06