Desarrollo y evaluación de un prototipo de aplicación móvil para la administración de traslados de pacientes COVID-19

Abstract

Abstract: In this article we present a prototype of a mobile application for the administration of COVID-19 patient transfers carried out by the PRIME team of the CEACO medical center in Costa Rica. The evaluation of the prototype shows the usefulness of the mobile application to support the processes of the PRIME team and the results of the user experience study indicate a very positive perception for the categories of attraction, transparency, efficiency, controllability and stimulation. En conjunto con la Caja Costarricense de Seguro Social (CCSS), institución pública que proporciona los servicios médicos en el país, habilitaron el Centro Especializado para la Atención de Pacientes con COVID-19 (CEACO), un hospital exclusivo para pacientes con COVID-19, creado con el fin de minimizar los riesgos de infecciones y hacer más eficiente la logística de traslados, pacientes y personal y recursos especializados. La aplicación web de "back office" es utilizada desde el centro de control por el personal administrativo y médico relacionado con los procesos del equipo PRIME para dar seguimiento antes, durante y después de los traslados, incluyendo cuadro de mando con indicadores clave para apoyar los procesos de toma de decisiones.

Headnote

Resumen: En este artículo presentamos un prototipo de una aplicación móvil para la administración de los traslados de pacientes COVID-19 realizados por el equipo PRIME del centro médico CEACO en Costa Rica. Describimos el diseño de la aplicación, los aspectos técnicos relacionados con su implementación, y los resultados de la evaluación de la experiencia de usuario realizada por los miembros del equipo PRIME. La evaluación del prototipo muestra la utilidad de la aplicación móvil para apoyar los procesos del equipo PRIME y los resultados del estudio de experiencia de usuario indican una percepción muy positiva para las categorías de atracción, trasparencia, eficiencia, controlabilidad y estimulación.

Palabras-clave: COVID-19, aplicación móvil, listas de chequeo, Android, iOS, PRIME, CEACO.

Abstract: In this article we present a prototype of a mobile application for the administration of COVID-19 patient transfers carried out by the PRIME team of the CEACO medical center in Costa Rica. We describe the design of the application, the technical aspects related to its implementation, and the results of the evaluation of the user experience carried out by the members of the PRIME team. The evaluation of the prototype shows the usefulness of the mobile application to support the processes of the PRIME team and the results of the user experience study indicate a very positive perception for the categories of attraction, transparency, efficiency, controllability and stimulation.

Keywords: COVID-19, aplicación móvil, listas de chequeo, Android, iOS, PRIME, CEACO.

1.Introducción

La pandemia del COVID-19 es la crisis que nos ha enfrentado a retos desconocidos, donde cada país ha actuado de inmediato para prepararse, responder y recuperarse (PNUD, 2020). Para esto los gobiernos tomaron las medidas necesarias para impulsar la resiliencia y minimizar los daños. Muchas de las iniciativas impulsadas fueron apoyadas con tecnologías digitales utilizadas como herramientas para abordar distintos aspectos de la enfermedad (Blasimme & Vayena, 2020). Las innovaciones digitales para el manejo de salud pública ante la pandemia del COVID-19 han impulsado el uso de las tecnologías que han establecido modelos que serán útiles incluso más allá de la pandemia (Blasimme & Vayena, 2020; Budd et al, 2020).

En Costa Rica, el gobierno implementó el Plan Nacional de Preparación y Respuesta Estratégica de COVID-19 liderado por el Ministerio de Salud y con el apoyo del Sistema Nacional de Gestión del Riesgo (PNUD, 2020). En conjunto con la Caja Costarricense de Seguro Social (CCSS), institución pública que proporciona los servicios médicos en el país, habilitaron el Centro Especializado para la Atención de Pacientes con COVID-19 (CEACO), un hospital exclusivo para pacientes con COVID-19, creado con el fin de minimizar los riesgos de infecciones y hacer más eficiente la logística de traslados, pacientes y personal y recursos especializados.

El equipo de Primera Intervención Médica Especializada (PRIME) del CEACO ha sido el encargado del traslado de los(as) pacientes y pacientes críticos con COVID-19 del país, principalmente para la movilización de centros de bajo nivel de complejidad a hospitales de mayor complejidad como el CEACO (Ramírez, 2021). Para marzo del 2021, el equipo PRIME había trasladado exitosamente 968 pacientes en condición delicada por COVID-19, sin ningún deceso durante el traslado (de los cuales gran cantidad de casos eran de nivel de complejidad alto). De las 968 misiones, 280 fueron realizadas por ambulancia aérea, dos por traslados marítimos y 686 por traslados terrestres (Ramírez, 2021). Por medio de su flotilla vehicular y su capacidad de respuesta el equipo traslada las personas en condición delicada, las estabiliza en el lugar y las lleva al centro de atención respectivo. El equipo atiende pacientes directamente en el hogar, traslados interhospitalarios, misiones humanitarias, evacuación de pacientes y traslados internacionales; esto en las modalidades acuática, aérea y terrestre.

La misión del equipo PRIME es el traslado seguro de los pacientes y la seguridad de la tripulación. Esta labor se rige por los más altos estándares de seguridad, donde gracias a la redundancia en los protocolos, ningún miembro del equipo se ha contagiado por el virus. Los protocolos médicos y sanitarios son seguidos por todos los miembros del equipo para cada uno de los traslados para garantizar el traslado seguro de los(as) pacientes.

El servicio de Terapia Respiratoria del CEACO, por medio del equipo PRIME, determinó la necesidad de la automatización de algunos de los principales procedimientos establecidos durante los traslados. Inicialmente, el equipo gestionaba algunas de sus actividades mediante el uso de varias aplicaciones de mensajería tradicionales de los ecosistemas Android y iOS. Sin embargo, para el equipo era prioritario poder integrar todas las funciones necesarias para los procesos realizados en los incidentes de traslado en una sola aplicación móvil. Por esta razón, el equipo decidió automatizar el seguimiento de los procedimientos establecidos durante los traslados de pacientes mediante la implementación de listas de chequeo.

Para esto se desarrolló un prototipo de una aplicación móvil para la administración de los traslados de pacientes COVID-19 realizados por el equipo PRIME. Esta permite al equipo contar con información actualizada y en tiempo real de los traslados realizados, la administración de información asociada a los traslados, la definición y seguimiento de los procedimientos médicos y sanitarios que se realizan por medio de las listas de chequeo y la posibilidad de administrar contenido multimedia asociado a ellas. En este trabajo presentamos el diseño de la aplicación, los aspectos técnicos relacionados con su implementación y finalmente, los resultados de la evaluación de la experiencia de usuario realizada con los miembros del equipo PRIME.

El artículo está organizado de la siguiente manera. La Sección 2 lista trabajos sobre el uso de las aplicaciones móviles en el contexto del COVID-19. La Sección 3 detalla el prototipo de la aplicación móvil propuesta, la Sección 4 explica los resultados de la evaluación, y finalmente, la Sección 5 presenta las conclusiones y el trabajo futuro.

2. Trabajo relacionado

Las aplicaciones móviles han demostrado ser valiosas para ayudar a enfrentar los retos de la pandemia del COVID-19. Las aplicaciones móviles se han utilizado para apoyar el rastreo de contactos, la distribución de información de salud pública, el entrenamiento, la evaluación, asistencia y seguimiento de síntomas y riesgos, el seguimiento de aspectos de salud mental, el manejo de información en tiempo real para los profesionales de salud, la recolección de información para estudios, y el apoyo a la toma de decisiones (Kondylakis et al, 2020; Collado-Borrell et al, 2020; Ming et al, 2020; Ahmed et al, 2020; Whitelaw et al, 2020; Ming et al, 2020; Islam et al, 2020; Almalki & Giannicchi, 2021). Las aplicaciones móviles han sido proveídas, en su mayoría, por los gobiernos y autoridades de salud y han sido consideradas valiosas por los ciudadanos, profesionales de salud, y los tomadores de decisiones para enfrentar los retos de la pandemia (Kondylakis et al, 2020; Almalki & Giannicchi, 2021; ColladoBorrell et al, 2020).

Parte del trabajo por realizar se relaciona con la evaluación de la efectividad de estas aplicaciones (Almalki & Giannicchi, 2021). Aunque muchos de los estudios presentan pruebas de concepto y discuten los potenciales beneficios del uso de aplicaciones móviles, también se ha planteado la necesidad de discutir los posibles problemas de seguridad y brechas de privacidad al usar este tipo de aplicaciones (Sharma & Bashir, 2020).

3. Prototipo de la aplicación móvil

En esta sección detallamos los aspectos principales del diseño e implementación de prototipo de la aplicación móvil. El diseño de la solución fue realizado en conjunto con dos expertos del CEACO de la CCSS. El diseño y primera versión del prototipo de la aplicación móvil fue desarrollado durante los meses de agosto y setiembre del 2020. La primera versión de la aplicación móvil se desarrolló la funcionalidad prioritaria para el equipo PRIME y se entregó para una prueba del prototipo en campo. En total, el prototipo de la aplicación fue desarrollado durante los meses de agosto y diciembre del 2020. Al finalizar este periodo, la aplicación fue entregada al equipo PRIME.

3.1.Propuesta de la solución

La solución propuesta incluye una aplicación móvil para apoyar los procesos realizados en los traslados de pacientes, una aplicación web de "back office" para el apoyo administrativo de los equipos y el seguimiento de los traslados en tiempo real, y una base de datos centralizada para la administración de la información de los tras-lados y los contenidos asociados, tal como se muestra en la Figura 1.

3.1.1.Componentes de la solución

El diseño de la solución cuenta con tres componentes. La aplicación móvil es el componente principal, esta es utilizada por el equipo PRIME en campo para realizar los procesos relacionados con los traslados, incluyendo las listas de chequeo por incidente, y administrar la información en tiempo real. La aplicación web de "back office" es utilizada desde el centro de control por el personal administrativo y médico relacionado con los procesos del equipo PRIME para dar seguimiento antes, durante y después de los traslados, incluyendo cuadro de mando con indicadores clave para apoyar los procesos de toma de decisiones. La aplicación móvil y web utilizan un repositorio NoSQL (base de datos) en la nube para compartir la información de los traslados y los contenidos asociados, que permita contar con toda información integrada, consistente y actualizada. En este trabajo presentamos en detalle el diseño, implementación y evaluación del prototipo de la aplicación móvil del equipo PRIME.

3.2. Prototipo de la aplicación móvil

El prototipo funcional de la aplicación móvil fue desarrollado utilizando Flutter. Flutter es un conjunto de herramientas de Google para la creación de aplicaciones compiladas de forma nativa para dispositivos móviles, web y de escritorio, a partir de una única base de código fuente. La aplicación móvil utiliza la base de datos NoSQL Realtime de Firebase que almacena la información en archivos json. Firebase es una plataforma en la nube que provee un conjunto de librerías para integrar aplicaciones móviles con los servicios de almacenamiento en tiempo real y autenticación. Las decisiones sobre la selección de estas tecnologías severless se realizaron por su robustez, seguridad, escalabilidad, costo y para reducir el tiempo de desarrollo del prototipo. El desarrollo del prototipo se realizó utilizando la metodología Scrum, con iteraciones de dos semanas y entregadas cada dos iteraciones.

3.2.1.Funcionalidades de la aplicación móvil

El objetivo del prototipo de la aplicación móvil es administrar la información de los traslados de pacientes COVID-19 realizados por el equipo PRIME, permitiendo compartir información actualizada en tiempo real de los traslados, definir y dar seguimiento a los procedimientos médicos y sanitarios establecidos, y adjuntar contenido multimedia asociado a ellos. Toda la información y los contenidos multimedia son cifrados por la aplicación móvil antes de almacenarlos en los repositorios, por lo que solo los usuarios de la aplicación pueden consultarlos. Asimismo, la aplicación fue implementada para administrar opciones de caché que le permiten funcionar tanto en línea como fuera de línea. La Figura 2 muestra las principales interfaces de usuario del prototipo de la aplicación móvil. Esta cuenta con cinco funcionalidades principales:

Administración de usuarios y perfiles: el prototipo cuenta con funcionalidades para iniciar sesión de usuario con autenticación por medio una identificación y contraseña, activar cuenta de usuario registrado, cambiar y recuperar contraseña, y cerrar sesión. La aplicación permite administrar los tipos de usuario "administrador de la aplicación" y "usuario de la aplicación". En este caso el administrador es el coordinador del equipo y los usuarios son los miembros del equipo PRIME. Un usuario tipo "administrador" cuenta con la autorización para utilizar las opciones de configuración de la aplicación que incluyen registrar nuevos usuarios y administrar las plantillas de lista de chequeo, y uno tipo "usuario" tiene autorización para utilizar todas las opciones operativas durante los traslados, tales como administrar incidentes de traslado, instanciar y llenar lista de chequeo de incidentes, administrar contenido multimedia, y generar la ficha de incidentes.

Administración de plantillas de listas de chequeo: el prototipo cuenta con funcionalidades para crear, modificar, buscar y reordenar las plantillas de listas de chequeo para el seguimiento de los procedimientos sanitarios y médicos que realiza el equipo PRIME antes, durante y después de los traslados. Las listas de chequeo se configuran con su información general y la lista de ítems y sub ítems en múltiples niveles que dependen de la complejidad del procedimiento.

Administración de incidentes de traslado: el prototipo cuenta con funcionalidades para crear, completar y modificar los datos de los incidentes de traslado realizados por el equipo PRIME. Esta incluye información general para identificar el incidente de traslado, el estado y la modalidad, la información de origen y destino, el equipo y unidad asignada, información que se recolecta durante el traslado para caracterización de los incidentes y la condición de los pacientes (datos generales del paciente -sin incluir datos de identificación por aspectos de privacidad-, condición de colecta, antecedentes, síntomas, progresión clínica, condición de entrega, complicaciones durante el traslado). Cada incidente administra los estados de atención del mismo, los cuales tienen asociados las listas de chequeo de cumplimiento obligatorio por el equipo (registrado, revisado, asignado, iniciando, colecta, en traslado, entrega, reactivación, terminado).

Instanciación de listas de chequeo de procedimientos en los incidentes de traslado: el prototipo cuenta con funcionalidades para instanciar y completar el contenido de las listas de chequeo en cada una de las etapas (estados) de cada uno de los incidentes de traslado realizados por el equipo PRIME. La aplicación indica al equipo las listas de chequeo que deben completar y controla el estado de llenado de las mismas, del mismo modo para cada uno de los ítems de las listas permite agregar contenido multimedia sobre el traslado. Todos los contenidos de incidentes y listas de chequeo son cifrados por la aplicación móvil antes de almacenarlos. Finalmente, la aplicación permite generar la ficha de un incidente de traslado en formato PDF para ser enviado por correo electrónico o ser almacenado en el dispositivo.

Administración de contenido multimedia: el prototipo cuenta con funcionalidades para agregar contenido multimedia en tiempo real a los incidentes y los ítems de las listas de chequeo. El contenido que se puede capturar o agregar para un incidente y sus listas de chequeo incluye imágenes y fotografías, voz y audio, video y texto. Para cada campo de llenado del incidente o ítem de lista de chequeo se pueden capturar o agregar uno o múltiples archivos de contenidos multimedia. Todos los contenidos multimedia son cifrados y comprimidos por la aplicación móvil antes de almacenarlos local o remotamente en la base de datos.

3.2.2.Arquitectura de la aplicación

El prototipo de la aplicación móvil fue desarrollado siguiendo los principios de arquitecturas limpias (Martin, 2018), tal como se muestra en la Figura 3. La capa de presentación se implementó utilizando el patrón BL°C (lógica de los componentes gráficos) para gestionar los estados y eventos de la interfaz de usuario e interactuar con la capa del dominio que contiene la lógica de negocio implementada en los casos de uso.

BL°C funciona como el intermediario entre la vista y el dominio, funciona como un adaptador y controla la lógica de la interfaz de usuario. La capa de dominio implementa los casos de uso (lógica de negocio) y las entidades que utilizan los casos de uso en la implementación de las reglas de negocio. La capa de datos contiene los repositorios, las fuentes de datos y los objetos de transferencia de datos (DTOs) que implementan los servicios necesarios para la comunicación entre las bases de datos y la capa de dominio. Los repositorios son los intermediarios entre el dominio y los datos. En la aplicación móvil se implementaron dos fuentes de datos, la de datos remotos para la comunicación con Firebase cuando la aplicación se encuentra en línea y la de datos locales para la administración de la caché que administra los datos y contenidos cuando la aplicación se encuentra fuera de línea. Los repositorios se encargan de coordinar la sincronización entre ambas fuentes de datos. Los objetos de transferencia de datos son los que se encargan, entre otras cosas, del cifrado y descifrado de los datos y contendidos (por medio de un decorador) cuando estos van y vienen desde la capa de dominio y la capa de datos por medio de los repositorios. Las llaves de cifra-do son administradas mediante el Google Cloud Secret Manager API y se almacenan en el dispositivo móvil con los servicios del sistema operativo respectivos (KeyStore y Keychain). La Figura 4 ejemplifica el proceso de cifrado de contenidos multimedia que realiza la aplicación para administrar los contenidos en el almacenamiento remoto y local.

Entre cada una de las capas se declaran e implementan las respectivas interfaces para cumplir las reglas de dependencia de arquitecturas limpia y realizar el desacoplamiento. En este caso, cada uno de los casos de uso tienen sus interfaces y sus implementaciones separadas, del mismo modo los repositorios y las fuentes de datos. Las principales clases de las capas de la aplicación móvil son las siguientes:

Capa de presentación: los BL°Cs y sus componentes gráficos de la aplicación para el ingreso, los incidentes, el detalle de cada incidente, la plantilla de lista de chequeo, el detalle de plantilla, sus ítems, la lista de plantillas, la plantilla de incidente, la lista de incidentes, los adjuntos (texto, audio, imagen, video), la ficha de incidente, la administración de usuario, el inicio de sesión, la configuración, entre otros.

Capa de dominio: los casos de uso (y sus entidades) para el inicio de sesión, registro y contraseñas (usuario, perfil), los incidentes, detalle de incidente y reporte (incidentes, campos), las plantillas de listas de chequeo y los ítems (plantilla, ítems), los adjuntos (archivo adjunto), entre otros.

Capa de datos: los repositorios de los archivos adjuntos, los incidentes, las plantillas, los usuarios, las fuentes de datos locales, fuentes de datos remotos, los objetos de transformación de datos de archivos JSON, los objetos de compresión de datos, los objetos de cifrado de datos, el servicio de gestión de secretos de la aplicación, el servicio de cifrado, el servicio de gestión de llaves de cifrado, el servicio de caché segura, el servicio de autenticación, entre otros.

4.Evaluación

La primera versión de la aplicación móvil fue desarrollada durante los meses de agosto y setiembre del 2020. La versión Android de la aplicación fue entregada para una prueba en campo con 4 miembros del equipo PRIME durante el desarrollo de la segunda versión de la aplicación. La segunda versión del prototipo, que incluyó las mejoras y nuevas características a partir de la retroalimentación del equipo PRIME y aspectos técnicos identificados por el equipo de desarrollo, fue implementada de octubre a diciembre del 2020 y entregada al final de este periodo al equipo para su utilización.

La evaluación de la experiencia de usuario (UX) se realizó en marzo del 2021 con el equipo PRIME utilizando el cuestionario UEQ, descrito en la Sección 4.1. La evaluación se realizó de manera presencial y anónima, con 17 miembros del equipo PRIME en las instalaciones del CEACO después de una sesión de entrega del producto. De los(as) 17 profesionales que participaron en la evaluación, 15 eran hombres y 2 mujeres. Las edades de los profesionales se encuentran entre los 23 y 48 años, con un promedio de 34 años. Nueve usuarios(as) utilizan dispositivos con el sistema operativo Android y 8 dispositivos con iOS. Los miembros del equipo incluyeron enfermeros(as), expertos(as) en terapia respiratoria, especialistas y asistentes médicos, médicos, operarios(as) de equipo de emergencias, e ingenieros(as). La experiencia profesional en atención médica de los usuarios se encuentra entre 2 y 21 años, con un promedio de 10 años de experiencia.

El cuestionario UEQ fue complementado con preguntas para recolectar información demográfica y preguntas, de sí o no, sobre la percepción del cumplimiento del objetivo de la aplicación móvil. El cuestionario fue llenado por los usuarios entre 5 y 10 minutos. Del total de 17 profesionales miembros del equipo PRIME del CEACO, 16 completaron el instrumento en su totalidad, y un usuario lo completó parcialmente. En términos generales, 16 de 17 usuarios (94%, uno no responde), consideraron que el prototipo de la aplicación móvil cumple los objetivos para los que fue creado, cumple con las funcionalidades requeridas, se sentirían cómodos(as) utilizando la aplicación en el futuro y recomendarían su uso. El 88% de los usuarios (15 de 17, dos no responden) opinan que la aplicación es fácil de usar.

4.1. Instrumento para la medición de la experiencia de usuario

La experiencia de usuario (UX) se define como las percepciones y respuestas de una persona como resultado del uso de un producto, sistema o servicio. Esta incluye las reacciones emocionales, cognitivas y físicas antes, durante y después del uso del producto (ISO, 2010). Para habilitar su medición, la UX ha sido definida como un conjunto de atributos de calidad que incluyen criterios de usabilidad como la eficiencia, la controlabilidad, la capacidad de aprendizaje, y criterios de calidad no dirigidos a objetivos o aspectos hedónicos tales como la estimulación, diversión de uso, novedad, emociones y estética (Schrepp et al, 2014).

Para la evaluación de la UX se han propuesto y evaluado distintas herramientas que han definido cuestionarios estándar y publicado datos para la comparación de resultados sobre la percepción acerca del uso de los productos. Uno de los cuestionarios estándar más utilizados para medir la UX es el User Experience Questionnaire (UEQ) (Schrepp et al, 2014; Laugwitz et al, 2008), el cual cuenta con una versión en el idioma español (Rauschenberger et al, 2013). El cuestionario UEQ considera aspectos de calidad pragmática y hedónica (Schrepp et al, 2014). El UEQ contiene 6 categorías. La transparencia, la eficiencia y la controlabilidad son aspectos pragmáticos de calidad (dirigidos a objetivos), mientras que la estimulación y la novedad son aspectos de calidad hedónica (no dirigidos a objetivos, aspectos del producto que apelan al deseo de placer de una persona y evitan el aburrimiento y la incomodidad tales como aspectos divertidos, originales, interesantes, atractivos y geniales). El aspecto de atracción se mide por sí mismo de manera independiente. En el cuestionario, el orden de los ítems y su orientación (comenzando con el positivo o el antónimo) es aleatorio. Esto permite realizar la validación de inconsistencias por llenado aleatoria, llenado poco serio, o no entendimiento de los ítems mediante la comparación de ítems relacionados por categoría. Las 6 categorías se miden en 26 ítems en total, utilizando una escala Likert de 1 a 7 basada en el nivel de acuerdo. Las categorías e ítems son las siguientes (Rauschenberger et al, 2013):

Atracción: impresión general hacia el producto. ¿A los usuarios les gusta o no les gusta el producto? Ítems del cuestionario: agradable/desagradable, bueno/malo, repelente/ atractivo, cómodo/incómodo, atractivo/feo, simpático/antipático.

Eficiencia: ¿es posible utilizar el producto de manera rápida y eficiente? ¿la interfaz de usuario parece organizada? Ítems del cuestionario: rápido/lento, ineficiente/eficiente, no práctico/práctico, ordenado/desordenado.

Transparencia: ¿es fácil entender cómo usar el producto? ¿es fácil familiarizarse con el producto? Ítems del cuestionario: no entendible/entendible, fácil de aprender/difícil de aprender, complicado/fácil, claro/confuso.

Controlabilidad: ¿se siente el usuario en control de la interacción? ¿la interacción con el producto es segura y predecible? Ítems del cuestionario: impredecible/predecible, obstructivo/impulsor de apoyo, seguro/inseguro, cubre expectativas/no cubre expectativas.

Estimulación: ¿es interesante y emocionante utilizar el producto? ¿el usuario se siente motivado para seguir utilizando el producto? Ítems del cuestionario: valiosos/poco valor, aburridos/emocionante, no interesante/interesante, activan-te/adormecedor.

Novedad: ¿el diseño del producto es innovador y creativo? ¿el producto capta la atención de los usuarios? Ítems del cuestionario: creativo/sin imaginación, original/ convencional, convencional/novedoso, conservador/innovador.

El UEQ se encuentra disponible en 17 idiomas y actualmente cuenta con una base de datos comparativa (benchmark) para la evaluación de resultados utilizando el cuestionario. Para el 2017, contaba con la evaluación de 246 productos y 9,905 respuestas. La base de datos actual contiene 20,190 respuestas de un total de 452 evaluaciones de productos (software de negocios, páginas web, tiendas web, redes sociales) (Schrepp et al, 2017).

4.2.Análisis de resultados

El análisis de los resultados de la evolución de UX se realiza utilizando el procedimiento y herramienta de análisis de datos recomendado por el UEQ disponible en https://www. ueq-online.org/ (Rauschenberger et al, 2013).

4.2.1. Validación de consistencia del cuestionario UEQ

Durante la validación de consistencia de los ítems del instrumento UEQ (Schrepp et al, 2014), tres cuestionarios fueron eliminados, para un total de 14 cuestionarios válidos utilizados en el análisis (n=14). Los tres cuestionarios fueron eliminados siguiendo la recomendación del indicador de inconsistencia crítica para cada cuestionario (una inconsistencia se reporta cuando existe una diferencia mayor que 3 en la escala seleccionada para cada ítem de una misma categoría, y un cuestionario es eliminado cuando presenta 3 más categorías inconsistentes). Estas inconsistencias pueden ser atribuidas al llenado aleatorio de los datos o al mal entendimiento de los ítems del cuestionario (Rauschenberger et al, 2013).

Con los resultados de los 14 cuestionarios válidos se realiza la validación de la consistencia mediante el coeficiente alfa. Algunos autores recomiendan un valor del coeficiente alfa mayor o igual que 0.7 para la consistencia de cada una de las categorías de evaluación (Rauschenberger et al, 2013) y existen estudios que han recomendado valores mayores o iguales a 0.6 (Rauschenberger et al, 2013; Lukita et al, 2018). Si el coeficiente presenta valores menores a los indicados, es un indicador de que algunos ítems pudieron ser no entendidos por los usuarios en el contexto de la evaluación, o simplemente no eran relevantes para la evaluación, y se recomienda su análisis. En nuestro estudio la consistencia de las categorías atracción (alfa=0.87), eficiencia (alfa=0.70), estimulación (alfa=0.80) y novedad (alfa=0.70) presentaron valores mayores a 0.7, y en el caso de las categorías transparencia (alfa=0.66) y controlabilidad (alfa=0.63) presentan valores cercanos a 0.7. Para la controlabilidad, el análisis de los ítems de la categoría indica que podría haber inconsistencias en la interpretación del ítem impredecible/predecible. Por ejemplo, un usuario indica una calificación media en este ítem (5), pero la calificación máxima para los demás ítems de esta categoría (obstructivo/impulsor de apoyo, seguro/ inseguro, cubre expectativas/no cubre expectativas). Para nuestro análisis incluimos todos los ítems con valor del coeficiente alfa mayor o igual a 0.6 (Lukita et al, 2018).

4.2.2.Resultados de la evaluación de la experiencia de usuario UEQ

Las respuestas de los ítems son transformadas de la escala de 1 a 7 a una escala de valores de -3 a +3 para cada ítem del cuestionario UEQ. El valor -3 representa la percepción más negativa, 0 una percepción neutral, y +3 la percepción más positiva. Para interpretar los resultados, los valores mayores a 1 representan impresiones positivas de los usuarios y los valores por debajo de -1 impresiones negativas. Los valores extremos -2 y +2 representan impresiones optimas o pésimas por parte de los usuarios.

La Figura 5 presenta los resultados generales de la evaluación de UX del prototipo de la aplicación móvil. Los resultados reportados por los 14 usuarios para cada una de las categorías evaluadas presentan valores con una percepción muy positiva de la aplicación móvil (valores superiores a +2, área verde superior de la figura). El tope de cada barra indica el valor promedio obtenido por categoría, indicando el intervalo de error (la probabilidad de que los valores reales estén fuera de los límites del intervalo es de menos del 5%, este es calculado a partir de la cantidad de respuestas y el nivel de acuerdo entre las repuestas). Por tanto, la mayoría de los participantes que completaron el cuestionario (n=14) concuerdan en una experiencia de usuario muy positiva de la aplicación.

La categoría de Atracción presenta un promedio de +2.64 (varianza=0.29), la Trasparencia un promedio de +2.46 (varianza=0.42), la Eficiencia un promedio de +2.54 (varianza=0.32), la Controlabilidad un promedio de +2.21 (varianza=0.54), la Estimulación un promedio de +2.55 (varianza=0.37) y la Novedad un promedio de +2.29 (varianza=0.79). Finalmente, el promedio de la Atracción es de +2.64, el promedio de la Calidad Pragmática (transparencia, eficiencia, controlabilidad) es +2.40 y el de la Calidad Hedónica (estimulación, novedad) es de +2.42.

Los participantes externaron sus opiniones generales de la aplicación mediante una pregunta abierta en el formulario indicando que la aplicación móvil simplifica los procesos realizados por el equipo, es una herramienta útil, innovadora, práctica y eficiente, ayuda a organizar las actividades realizadas, tiene funcionalidad apropia-da, cumple con sus funciones y cubre las necesidades, cumple las expectativas, es ágil, es fácil, es intuitiva, es cómoda, es fácil con la práctica, es sencilla, optimiza el tiempo, mantiene información en tiempo real, cubre las expectativas, y finalmente que es segura. Asimismo, indicaron la importancia de que está abierta a mejoras y la necesidad de seguir complementando la aplicación con nuevas funcionalidades.

4.2.3.Comparación de los resultados con datos históricos de UEQ

La comparación de los resultados de la evaluación de la UX de la aplicación móvil con la base de datos de UEQ permite obtener conclusiones acerca de la calidad relativa comparado con otros productos. La base de datos UEQ clasifica las evaluaciones de productos en cinco categorías: Excelente (entre el 10% de los mejores resulta-dos), Bueno (entre el 90% y el 75% de los mejores resultados), Arriba del Promedio (entre el 75% y el 50% de los mejores resultados), Debajo del Promedio (entre el 50% y el 25% de los resultados), Malo (entre el 25% de los peores resultados).

Tal como se muestra en la Figura 6, los resultados del prototipo de la aplicación móvil se categorizan como Excelente para todas las categorías evaluadas (Atracción +2.64, Trasparencia +2.46, Eficiencia +2.54, Controlabilidad +2.21, Estimulación +2.55 y Novedad +2.29). La aplicación móvil se encuentra en el rango del 10% de los mejores resultados de un total de 452 evaluaciones previas utilizando el UEQ.

5.Conclusiones

En este artículo presentamos el prototipo de una aplicación móvil para la administración de los traslados de pacientes COVID-19 realizados por el equipo PRIME de CEACO. Para esto detallamos el diseño de la aplicación, discutimos los aspectos técnicos relacionados con su implementación y realizamos la evaluación de la experiencia de usuario con 17 miembros del equipo PRIME de CEACO.

La mayoría de los miembros del equipo PRIME consideraron que el prototipo de la aplicación móvil cumple los objetivos para los que fue creada, cumple con las funcionalidades requeridas, se sentirían cómodos(as) utilizando la aplicación en el futuro y recomendarían su uso. La evaluación de experiencia de usuario del prototipo de la aplicación móvil presenta una percepción muy positiva para todas las categorías de UX evaluadas. La atracción fue +2.64, la calidad pragmática fue +2.40 y la calidad hedónica +2.42. Los resultados de UX se categorizan como Excelente (10% de los mejores resultados de un total de 452 evaluaciones previas utilizando el UEQ) para todas las categorías evaluadas.

El trabajo futuro incluye la implementación de las funcionalidades pendientes de la pila del producto y la implementación de controles adicionales definidos para la seguridad de la aplicación y sus datos. Asimismo, la implementación de la aplicación web de "back office" para el centro de control del equipo PRIME que permita el seguimiento antes, durante y después de los traslados.

Agradecimientos

Este trabajo fue parcialmente apoyado por el proyecto CASTIC ED-3000. Agradecemos a los miembros del equipo PRIME de CEACO quienes participaron en la evaluación de la aplicación móvil.

References

Referencias

Ahmed, N., Michelin, R., Xue, W., Ruj, S., Malaney, R., ... & Jha, S. (2020). A survey of covid-19 contact tracing apps. IEEE Access, 8, 134577-134601.

Almalki, M., & Giannicchi, A. (2021). Health Apps for Combating COVID-19: Descriptive Review and Taxonomy. JMIR mHealth and uHealth, 9(3), e24322.

Blasimme, A., & Vayena, E. (2020). What's next for COVID-19 apps? Governance and oversight. Science, 370(6518), 760-762.

Budd, J., Miller, B., Manning, ... & McKendry, R. (2020). Digital technologies in the public-health response to COVID-19. Nature medicine, 26(8), 1183-1192.

Collado-Borrell, R., Escudero-Vilaplana, V., Villanueva-Bueno, C., Herranz-Alonso, A., & Sanjurjo-Saez, M. (2020). Features and functionalities of smartphone apps related to COVID-19: systematic search in app stores and content analysis. Journal of medical Internet research, 22(8), e20334.

Islam, M., Islam, I., Munim, K. & Islam, A. (2020). A review on the mobile applications developed for COVID-19: An exploratory analysis. IEEE Access, 8, 145601-145610.

ISO. (2010). DIN EN 9241 210, 2011-01, Ergonomics of human-system interaction - Part 210: Human-centred design for interactive systems, Berlin:Beuth.

Laugwitz, B., Held, T., & Schrepp, M. (2008, November). Construction and evaluation of a user experience questionnaire. In Symposium of the Austrian HCI and usability engineering group (pp. 63-76). Springer, Berlin, Heidelberg.

Lukita, K., Galinium, M., & Purnama, J. (2018, March). User Experience Analysis of an E-Commerce Website Using User Experience Questionnaire (UEQ) Framework. In Prosiding Seminar Nasional Pakar (pp. 347-355).

Martin, R. (2018). Clean architecture: a craftsman's guide to software structure and design. Prentice Hall.

Ming, L., Untong, N., Aliudin, N., Osili, N., Kifli, N., Tan, C., ... & Goh, H. (2020). Mobile health apps on COVID-19 launched in the early days of the pandemic: content analysis and review. JMIR mHealth and uHealth, 8(9), e19796.

PNUD. (2020). COVID-19: la pandemia, la humanidad necesita liderazgo y solidaridad para vencer a COVID-19. Programa de las Naciones Unidas para el Desarrollo. Url: https://www.cr.undp.org/content/costarica/es/home/corona virus.html.

Kondylakis, H., Katehakis, D., Kouroubali, A., Logothetidis, F., Triantafyllidis, A., Kalamaras, I., ... & Tzovaras, D. (2020). COVID-19 Mobile Apps: A Systematic Review of the Literature. Journal of medical Internet research, 22(12), e23170.

Ramírez, L. (2021). Equipos PRIME de la CCSS trasladaron exitosamente 968 pacientes con COVID-19. CCSS. Url: https://www.ccss.sa.cr/equipos-prime-de-la-ccsstrasladaron-exitosamente-968-pacientes-con-covid19.

Rauschenberger, M., Schrepp, M., Pérez Cota, M., Olschner, S. & Thomaschewski, J. (2013). Efficient measurement of the user experience of interactive products. How to use the user experience questionnaire (UEQ). Example: Spanish language version.

Sharma, T. & Bashir, M. (2020). Use of apps in the COVID-19 response and the loss of privacy protection. Nature Medicine, 26(8), 1165-1167.

Schrepp, M., Hinderks, A. & Thomaschewski, J. (2014). Applying the user experience questionnaire (UEQ) in different evaluation scenarios. In International Conference of Design, User Experience, and Usability (pp. 383-392). Springer.

Schrepp, M., Hinderks, A. & Thomaschewski, J. (2017). Construction of a Benchmark for the User Experience Questionnaire (UEQ). IJIMAI, 4(4), 40-44.

Whitelaw, S., Mamas, M., Topol, E. & Van Spall, H. (2020). Applications of digital technology in COVID-19 pandemic planning and response. The Lancet Health.