1. Posturas
1.1. el uso educativo de las TIC no es en sí mismo garantía de la calidad del aprendizaje
1.2. Dimensiones: a) la interactividad tecnológica potencial. b) la interactividad pedagógica potencial. c) la interactividad tecnopedagógica real
1.3. Los ordenadores desempeñan y cubren diferentces: función informativa, función metodológica función comunicativa
1.4. Enfoque parcial. Centrado principalmente en alguno de los siguientes aspectos: La actividad formativa Los materiales de formación Las plataformas tecnológicas La relación coste/beneficio Enfoque global. Se distinguen dos tendencias: Los sistemas de evaluación centrados en modelos y/o normas de calidad estándar y calidad total Sistemas basados en la práctica del benchmarking
1.5. Jonassen (1998) realiza una clasificación interesante y distingue entre el aprendizaje realizado por los estudiantes sobre el ordenador, del ordenador o con el ordenador.
1.6. Clasificación de los entornos: presenciales o virtuales, que integran materiales multimedia, que favorecen la participación conjunta y los que se basan en la no-coincidencia temporal.
2. Evaluación En el Entorno
2.1. Definiciones
2.1.1. El término "Software social" (blogs, wikis, redes sociales,…) se utiliza en mundos diferentes, su tecnología se han desarrollado fuera del mundo educativo. Terry Anderson (2005) ha introducido el concepto de "software educativo social" que exponemos a continuación en un contexto de educación a distancia: El software social está constituido por "(...) las herramientas de red que apoyan y estimulan a los individuos a aprender, conservando el control individual de su tiempo, espacio, presencia, actividad, identidad y relación" (Anderson, 2005, p. 4)..
2.1.2. el Entorno social de aprendizaje (ESA), o Social Learning Environment (SLE), podemos entenderlo (Baird y Fisher, 2006) como un conjunto de servicios en los que no hay diferencia entre autor y usuario (Redes sociales, wikis, blogs, You Tube,….), donde no hay mediación personal de especialistas en computación, ni dependencia de ellos.
2.1.3. la interactividad se entiende como la organización de la actividad conjunta - es decir, en las formas que adoptan las actuaciones interrelacionadas de los participantes en torno a los contenidos y tareas de aprendizaje y en su evolución.
2.2. Características
2.2.1. Características del aprendizaje a distancia de Keegan (1996) 1.- La separación cuasi-permanente del profesor y el aprendiz a lo largo del proceso enseñanza-aprendizaje, 2.- La influencia de una organización educativa tanto en la planeación como en la preparación de los materiales de aprendizaje y en la provisión de servicios de soporte a estudiatnes 3.- El uso de medios técnicos para unir al profesor y al aprendiz y para transportar el contenido del curso 4.- La provisión de un medio de comunicación bi-direccional de forma tal que el estudiante pueda beneficiarse de este 5.- La ausencia cuasi-permanente del grupo de aprendizaje a lo largo del proceso de aprendizaje.
2.2.2. Sobre el perfil social de aprendizaje del alumno, puede plantearse: A. Se contempla aunque sea de forma laxa, con referencias en los documentos y guías, opciones al acceso del perfil del alumno en la web social por parte del profesor, etc, la evaluación o simplemente que el profesor tenga en cuenta el perfil social del alumno. B. Existe un tratamiento explícito en el diseño instruccional a esta característica del alumno como fuente de datos para la evaluación. C. Constituye un elemento obligado para ser incluido en la organización instruccional (Guías didácticas, etc.) del programa formativo. D. Se utiliza para ser tenido en cuenta en el diseño tecnológico del espacio virtual de aprendizaje (incluido en el LMS o de forma separada.
2.2.3. El uso de las Tecnologías de la Información y las Comunicaciones -TIC- ha tenido un fuerte impacto en el sistema educativo, especialmente en el aprendizaje a distancia, pues en la medida que avanza la tecnología, la alfabetización digital se convierte en un requisito clave para interactuar en el mundo privado y laboral (RICYT, 2009), por ello es importante considerar cómo aprenden los estudiantes, cómo se les puede enseñar mejor, cuáles son las estrategias de enseñanza más convenientes para la apropiación de contenidos y cómo organizar de forma eficiente los recursos educativos.
2.2.4. En primer lugar, hay que controlar las variables referidas a los aprendices, es preciso conocer qué saben sobre la materia de la que se trata utilizando cuestionarios iniciales. En segundo lugar, hay que subrayar que existe otro grupo de variables, que permiten vaticinar el éxito de los procesos formativos on line, aspectos meramente técnicos como el diseño de los entornos y la interfaz de usuario - atendiendo a criterios de usabilidad, accesibilidad, adaptabilidad a los estilos cognitivos (Del Moral y Villalustre, 2005)
2.3. Indicadores
2.3.1. Categorías para medir el proceso de aprendizaje en e-learning: -Institución -Pedagogía -Tecnología -Contexto -Servicios y otros
2.3.2. Criterios comunes de evaluación del impacto del e-learning: Contenido, diseño educativo, modelo pedagógico (estilos de aprendizaje), diseño de interfaz de la herramienta virtual, efectividad de la estructura del cursso, necesidades de los estudiantes, recursos de aprendizaje, número de retroalimentaciones dadas por parte del profesor al estudiante, evaluación del rendimiento y del aprendizaje del estudiante, nivel de comunicacion con el instructor, interacciones con otros estudiantes (trabajo en grupo o colaborativo), grado de experiencia en el manejo de la plataforma (acceso, navegación, usabilidad), grado de satisfacción del estudiante en el curso, motivación (actitud e interés), infraestructura adecuada, nivel de habilidades computacionales y pedagógico para los participantes, porcentaje de docentes y estudiantes equipados con PC o laptop, porcentaje de salones de clase equipados para e-learning.
2.4. Herramientas y ejemplos
2.4.1. En el e-portafolio , la evaluación se concreta a apartir de la creación de una carpeta individual donde cada estudiante va introduciendo los trabajos realizados, permitiendo determinar su evolución formativa (Kimball, 2013)
2.4.2. Las rúbricas de evaluación ayudan a describir claramente los criterios a seguir para valorar el trabajo desarrollado por los estudiantes. Generalmente se utilizan, cuando existen múltiples dimensiones que poseen pesos diferenciales preestablecidos de antemano. (Adell (2004)
2.4.3. Moodle, Blacboard, Wikis, blogs, youtube, facebook, twitter, etc.
2.4.4. Herramientas de red: Network simulator 2, Network simulator 3, Wireshark, FileZilla
3. DSAE: Seminario de modelos y ambientes educativos basados en tecnologías de información y comunicación. MAE-2014
3.1. Equipo Evaluación De/En Entornos de Aprendizaje: Norma Candolfi Arballo, Diana Costilla López, Marcia Leticia Márquez Hernández, Lidia Elena Mendoza López
4. Referencias y Documentos
4.1. Barberà, E. (2004) Pautas para el análisis de la intervención en entornos de aprendizaje virtual: dimensiones relevantes e instrumentos de evaluación
4.2. Del Moral Pérez, M.E., Villalustre Martínez, L. (2013) e-valuación en entornos virtuales: herramientas y estrategias. IV Jornadas Internacionales de Campus Virtuales
4.3. Zapata-Ros, M. (2011) Evaluación de la calidad en entornos sociales aprendizaje RED. Revista de Educación a Distancia, núm. 29, 2011, pp. 1-10, España
4.4. Cardona, D. M. y Sánchez, J. M. (2010) Indicadores Básicos para Evaluar el Proceso de Aprendizaje en Estudiantes de Educación a Distancia en Ambiente e-learning
4.5. A. Pereira Simõesa, & De Moraesa, A. (2012) The ergonomic evaluation of a virtual learning environment usability
4.6. Sarraba, M. & Hussain Rehmanb, O. M. (2014) Empirical study of open source software selection for adoption, based on software quality characteristics.
4.7. Kakasevski, G., Mihajlov, M., Arsenovski, S., Chungurski, S. (2008) Evaluating Usability in Learning Management System Moodle. Croacia
4.8. Rubio M. J. (2003) Enfoques y modelos de evaluación del e-learning (Focus and models of evaluation of the e-learning)
5. Evaluación Del Entorno
5.1. Definiciones
5.1.1. e-learning, Rosenberg (2001) lo define como el uso de las tecnologías basadas en internet para proporcionar un amplio despliegue de soluciones a fin de mejorar la adquisición de conocimientos y habilidades.
5.1.2. Una variable es un aspecto que desea medirse de un objeto de estudio, mientras que un indicador es una característica observable e identificable dentro de una variable, de forma que, los indicadores permmiten asignarle a una variable un determinado valor (Sánchez-Torres, 2006).
5.1.3. La usabilidad se refiere a la extención en la cual un producto puede ser usado por usuarios específicos para obtener metas específicas con eficiencia, eficacia y satisfacción en un contexto especifico del usuario. ISO 9241-11
5.1.4. El término aprendibilidad, se expande para incluir la habilidad de los usuarios al aprendizaje efectivo y mantener las competencias y el conocimiento.
5.1.5. Una de las funciones de la ergonomía en el proceso evolutivo del software educacional es contribuir con métodos y técnicas que permitan reconocer la relación entre el usuario y las herramientas de enseñanza.
5.2. Características
5.2.1. Tres criterios que se han de cumplir para poder aplicar correctamente el término e-learning (Rosenberg, 2001: 28-29): a) que se produzca en red, lo que permite una actualización inmediata, almacenamiento y recuperación, distribución y capacidad de compartir los contenidos y la información, b) que llegue al usuario final a través de un ordenador, utilizando estándares tecnológicos de Internet, c) que esté centrado en la visión más amplia de soluciones para el aprendizaje que van más allá de los paradigmas tradicionales de la formación.
5.2.2. El entorno virtual de aprendizaje tiene una relación clara con la naturaleza y génesis social del aprendizaje, favorecida en este caso por los medios tecnológicos. Con Onrubia (2005) podemos decir que es un conjunto de dispositivos y herramientas tecnológicas que permiten con la concurrencia de alumnos, profesores y recursos instruccionales, que el alumno elabore su propio conocimiento. Así pues, el aprendizaje en entornos virtuales, desde una perspectiva de la Teoría del Aprendizaje, lo entendemos como un proceso de construcción y de elaboración.
5.2.3. La evaluación del entorno puede abarcar la valoración de materiales, de la propia plataforma tecnológica, del enfoque global, de la gestión de la calidad y análisis financiero.
5.2.4. La calidad de los contextos o entornos educativos que median las TIC se mide por la calidad de la interactividad profesor- alumno-contenidos de aprendizaje y más concretamente, por la calidad de las ayudas educativas que se desarrollan para sostener, orientar y guiar la actividad constructiva del alumno para apropiarse de los contenidos
5.3. Indicadores
5.3.1. 1. Fundamentar teóricamente y metodológicamente los instrumentos que han de permitir analizar los entornos electrónicos de enseñanza y de aprendizaje para su comprensión. 2. Identificar y caracterizar las dimensiones relevantes de análisis que forman parte de los instrumentos para el estudio de los procesos de construcción del conocimiento en entornos formales de enseñanza y de aprendizaje mediados por las TIC. 3. Elaborar estos instrumentos de acuerdo con las dimensiones establecidas en coherencia con la perspectiva teórica de partida. 4. Validar las dimensiones y los instrumentos perfeccionándolos de acuerdo con la aplicación experimental de los mismos en casos concretos.
5.3.2. Criterios para seleccionar Open Source Software [OSS]: CALIDAD DEL SISTEMA: disponibilidad, confiabilidad, desempeño, usabilidad, funcionabilidad CALIDAD DE LA INFORMACIÓN: reusabilidad, seguridad capacidad de hacer pruebas y mantenimiento. CALIDAD DEL SERVICIO: soporte comercial y de comunidad, documentación, tutoriales y especificaciones, habilidades de desarrollo INTENCIÓN DE USO SATISFACCIÓN DEL USUARIO BENEFICIOS DE RED
5.3.3. Modelo sistémico de Vann Slyke et al (1998); características institucionales, de los destinatarios de la formación, del curso, de la formación a distancia. Modelo de cinco niveles de Marshall & Shriver (1999): docencia, materiales del curso, curriculum, módulos de los cursos, transferencia del aprendizaje. Modelos de cuatro niveles de Kirkpatrick (1994): reacción, aprendizaje, transferencia, impacto.
5.3.4. Fases del proceso BENVIC Benchmarking: 1. En la fase primera, un representante del campus virtual utiliza los indicadores de la plantilla para realizar el diagnóstico inicial con relación a indicadores de la estructura (recursos disponibles en el campus virtual para conseguir los objetivos, que incluye las competencias humanas, la plataforma, administración y gestión); de la práctica (cómo el campus virtual utiliza los recursos en relación a la estrategia de organización en acceso y diseño pedagógico); y de la ejecución (el impacto de los resultados: aprendizajes, coste-beneficio, efectividad tecnológica). 2. En la segunda fase la institución aplica los resultados del diagnóstico inicial a la práctica de la organización. A partir de aquí se identifican áreas clave que necesitan ser mejoradas. El equipo examina la base de datos BENVIC e identifica “socios benchmarking” del club BENVIC, los cuales son ejemplos de buenas prácticas en las áreas identificadas como deficientes. Se pueden consultar las puntuaciones medias de los socios en esas áreas y la forma en que los socios bechmarking las han solucionado. 3. En la tercera fase el campus virtual es llevado a un proceso de mejora y de benchmarking. El conocimiento y el aprendizaje generado pasa a formar parte del sistema BENVICbenchmarking.
5.4. Herramientas y ejemplos
5.4.1. Benchmarking: Proyecto BENVIC, metodología y criterios de calidad para evaluar entornos y plataformas virtuales de aprendizaje.
5.4.2. Cuestionario SUS [Escala de Usabilidad del Sistema por sus siglas en inglés], contiene indicadores sobre: Frecuencia del uso del sistema, complejidad del sistema, facilidad de uso, asistencia en el uso del sistema, funciones integradas del sistema, incosistencia del sistema, aprendizaje rápido, el sistema es intestable y complicado de usar, seguridad y confianza en el uso del sistema, aprendizaje de otra información usando el sistema
5.4.3. La evaluación cooperativa es un método que identifica los puntos en la interface la cual hace más dificil la interacción del usuario. Es una técnica cooperativa que involucra a los usuarios y a los evaluadores. Monk et al (1993)
5.4.4. Evaluación heurística, la cual fue introducida por Nielsen y Rolf Molich durante los 90's. Consiste en un método de inspeccipon de la usabilidad, llevada a cabo por especialistas en el área que utiliza un grupo de principios heurísticos como referencia para evaluar si los elementos de una interface particular son acordes a los principios seleccionados.
5.4.5. Los LMS también llamados sistemas de manejo de curso [CMS] o entornos de aprendizaje virtual [VLE]. La mayoría de ellos, son diseñados para los entornos de educación formal. Entre otros: Moodle, Sakai, ATutor, ILIAS
5.4.6. Los sistemas de referencia que pueden consultarse para la evaluacio: Índice de la economía del conocimiento (KEI), Índice de la nueva economía – PPI, Modelo de estimación de e-preparación, Guía de preparación para vivir en el mundo de la Red, Modelo de indicadores de la Junta de Castilla y Leon, Indicadores de eEspaña , e-Indicadores de BISER (Benchmarking the Information Society in European Regions), Nuevos Indicadores eEurope – SIBIS, Sistema de Indicadores OSCILAC, Indicadores básicos de TICs - UNESCO –UIS , EUROSTAT, Guía para la Medición de la Sociedad de la Información (OECD), CEPAL, Conferencia ministerial sobre la sociedad de la información de Am. Latina y el Caribe .