1. Time on Task
1.1. Referido como tiempo de finalización de una tarea Buena manera de medir eficiencia de un producto Mayoría de casos, mas rápido, mejor experiencia de usuario No aplica a juegos Estadísticas contradictorias a web sesión y pageview durations
1.1.1. Time on Task Consideraciones
1.1.1.1. Cuando prender y parar el reloj Herramientas automatizadas Aplicaciones móviles Como tabular datos de tiempo Usar Excel o cualquier programa similar
1.1.2. Time on Task Presentar Datos
1.1.2.1. Mas común manera es ver la cantidad de tiempo promedio que un usuario gasto en una tarea o set de tareas en particular Forma intuitiva y fácil de reportar datos Mostrar intervalos de confianza
1.1.3. Time on Task Recomendaciones
1.1.3.1. Utilizar rangos o intervalos de tiempo Permite visualizar mas fácilmente los datos de muchos usuarios Utilizar limites Basado en experiencia propia Permite visualizar solo información relevante Remover casos extremos y usar distribuciones
2. Efficiency
2.1. Tiempo que se demora una tarea suele considerarse como eficiencia pero hay otra manera de calcularla Numero de acciones o pasos que el usuario tomo para realizar una tarea Clics en links Presionar botones en un teléfono Mas acciones significa mas esfuerzo Físico, como mover el mouse Cognitivo, como encontrar el lugar correcto para realizar la acción
2.1.1. Efficiency Colectar y Analizar
2.1.1.1. Colectar Identificar el o las acciones a medir Definir el inicio y final de la acción Contar las acciones Acciones deben ser representativas Analizar Buscar por el número de acciones que cada participante toma para completar la tarea y calcular el promedio por tarea, por participante
2.1.2. Efficiency Lostness
2.1.2.1. Lostness Otra manera de medir eficiencia tomando en cuenta Numero de diferentes paginas web visitas, S total numero de paginas visitadas, R mínimo numero de paginas que debió visitar
3. Learnability
3.1. Efficiency Combinación de Task Success y Time
3.1.1. Combinar las dos métricas de task success y time on task Parte de la ISO 25062:2006 Medida base para medir eficiencia Es el radio de finalización a la media de tiempo por tarea
3.2. Mayoría de productos requieren algo de aprendizaje No sucede de inmediatamente Ocurre en el transcurso del tiempo con la experiencia adquirida Learnability es la extensión con la que se puede verificar si el usuario ha aprendido eficientemente Mas común de ser una métrica importante desde el aparecimiento de servicios self-service
3.2.1. Learnability Colectar y Analizar
3.2.1.1. Colectar Que métricas se van a usar en el transcurso del tiempo Time on Task Efficiency Errors Numbers of steps Cuanto tiempo se va ha esperar entre trials Misma sesión, Misma sesión con pausas o Sesiones diferentes Analizar Examinar el performance de las métrica por trial para cada tarea o agrupadas
3.2.2. Learnability Problemas a considerar
3.2.2.1. Que es un trial Depende del producto puede variar El tiempo entre trial puede ser muy corto o largo dependiendo del uso del sistema Número de trials Al menos dos Difícil de escoger cuantos, porque no se sabe cuanto se demora un usuario en aprender
4. Task success
4.1. *Métrica mas usada *Mide que tan efectivos los usuarios son al completar una serie de tareas * Utilizado cuando se esta interesado en que los usuarios puedan o no completar una tarea *Dos tipos diferentes de verificar éxito de una tarea * Éxito Binario * Niveles de éxito *Grados de finalización *Experiencia de Usuario al encontrar la respuesta *Calidad de la respuesta
4.1.1. Task Success Tabulado
4.1.1.1. Definir que significa éxito y fracaso Tarea determinada Fines claros Fines abiertos Utlizar 1s y 0s
4.1.2. Task Success Binario
4.1.2.1. Task Success Presentar Datos por Tarea
4.1.2.1.1. Presentar porcentaje de participantes que completaron la tarea Porcentaje de éxito en barras incluyendo el intervalo de confianza Tareas en el eje horizontal
4.1.2.2. Task Success Presentar Datos Agrupados
4.1.2.2.1. Agrupar por segmentos Frecuencia de uso Previa experiencia por producto Conocimiento del dominio Grupos de edad Si se tiene un numero grande usuarios, se puede presentar como una distribución de frecuencias
4.1.3. Task Success por Niveles
4.1.3.1. Task Success Como recolectar y medir niveles
4.1.3.1.1. Basado en completar una tarea in diferentes maneras Éxito completo Con asistencia Sin asistencia Éxito parcial Con asistencia Sin asistencia Fallo Con asistencia Sin asistencia
4.1.3.2. Task Success Como recolectar y medir niveles
4.1.3.2.1. Basado en completar una tarea in diferentes maneras Éxito completo Con asistencia Sin asistencia Éxito parcial Con asistencia Sin asistencia Fallo Con asistencia Sin asistencia
4.1.3.3. Task Success Como recolectar y medir niveles
4.1.3.3.1. Basado en la experiencia del usuario en completar una tarea Sin problema = 1 Problemas menores = 2 Problemas mayores = 3 Fallo o se rindió = 4 Para analizar se usan barras apiladas
5. Errors
5.1. Los errores son el posible resultado de un problema de usabilidad Útil cuando se quiere entender la acción o set de acciones que llevaron a que una tarea fracase Permiten evaluar performance del usuario Logran obtener información como cuantos errores cometió el usuario mientras interactuaba con el producto
5.1.1. Errors Cuando medirlos y que es un error
5.1.1.1. Cuando Un error puede resultar en una perdida significativa de eficiencia Un error resulta en costos significativos para la organización o el usuario final El error resulta en una tarea fallida Que constituye un error Ingresar datos incorrectamente en un campo de un formulario Seleccionar la opción incorrecta en un menú o drop down Tomar la incorrecta secuencia de acciones Fallar en tomar una acción critica
5.1.2. Errors Colectar y Analizar
5.1.2.1. Preferible utilizar números entre 1 y 0 si el numero de errores en la tarea es 1 1: no error 0: 1 error Si hay múltiples errores puede variar entre 0 y el mayor numero de errores que sean posibles Se puede utilizar también el concepto de presencia y ausencia 1: presencia 2: ausencia Presentar datos directamente si hay un solo error, y promedio si son mas
5.2. Definir que significa éxito y fracaso Tarea determinada Fines claros Fines abiertos Pasos Definir numero de usuarios Definir tarea Comparar entre varios sitios Establecer valores numéricos Tabular resultados
6. Otras definiciones
6.1. Eficacia
6.2. Eficiencia
6.2.1. Cuanto esfuerzo mental es necesario para realizar una tarea Como Medir tiempo entre tareas Verificar funnels y heatmaps
6.3. Satisfacción
6.3.1. Depende de que puedan cumplir su objetivo con el mínimo esfuerzo Eficacia y eficiencia alta, satisfacción será alta también Otros aspectos influyen satisfacción del usuario Calidad estética del sitio web Tiempo que toma cargar la pagina Como evaluar Encuestas después de realizar alguna tarea