Evaluación de apps sanitarias para las mujeres gestantes de Atención Primaria en la consulta de la matrona
Sección: Originales
Autores
María Isabel Fernández Aranda
Matrona del Hospital Virgen del Rocío de Sevilla. Experta Universitaria en Estadística Aplicada a las Ciencias de la Salud, Nutrición en Salud Pública, Seguridad Alimentaria y Educación del Consumidor y Promoción de la Salud en la Comunidad.
Contacto:
Titulo:
Evaluación de apps sanitarias para las mujeres gestantes de Atención Primaria en la consulta de la matrona
Resumen
Antecedentes: las apps sanitarias se han convertido en una potente herramienta para las mujeres gestantes y los profesionales sanitarios, en el ámbito de la enfermería en general y la obstetricia en particular, para tener acceso a información científica basada en la evidencia. En la actualidad la matrona de Atención Primaria no dispone de herramientas que le permitan verificar la calidad e idoneidad de estas aplicaciones en caso que decida recomendar su utilización a la mujer gestante dentro del proceso de seguimiento del embarazo.
Objetivo: evaluar y obtener un ranking de calidad de las cinco mejores aplicaciones móviles orientadas a las mujeres gestantes para que puedan ser recomendadas por los profesionales sanitarios.
Método: se ha realizado una búsqueda bibliográfica para identificar trabajos que contengan o analicen metodologías de clasificación a aplicar a las apps de tema obstétrico publicados entre los años 2000 y 2015. Aplicando la metodología seleccionada se extrajeron las cinco apps con mejor puntuación dedicadas expresamente a las mujeres embarazadas.
Resultados: se seleccionó la metodología MARS para la clasificación de aplicaciones móviles. En total se encontraron 76 apps aptas para el estudio y de ellas las cinco específicas para las mujeres embarazadas con mayor puntuación. El 50% de ellas (38) puntuaron por encima del percentil 50 y tan solo un 10,5% (8) por encima del percentil 90.
Conclusiones: las cinco apps obtenidas presentan una calidad media-alta, aunque dado el carácter cambiante y caótico de internet es necesario realizar evaluaciones temporales de las aplicaciones para vigilar continuamente el cumplimiento de los criterios de calidad.
Palabras clave:
aplicaciones móviles ; mejoramiento de la calidad ; cuestionarios ; métodos
Title:
Assessment of health apps for pregnant women in primary care in midwifery
Abstract:
Background: health apps have become a powerful tool for pregnant women and healthcare workers, in general nursing and particularly in obstetrics, in order to get access to scientific evidence-based information. Currently, primary care midwives do not have tools to check the quality and suitability or such apps to decide whether they should be recommended for pregnant women in the pregnancy follow-up process.
Purpose: to assess and create a quality rank for the best five apps targeted to pregnant women, so that they can be recommended by healthcare workers.
Methods: a literature search was carried out to find works including or discussing classifying methods for apps on obstetric topics, issued from 2000 to 2015. Using the selected methods, the five best apps with a highest score among those specifically targeted to pregnant women sere selected.
Results: MARS method was selected to classify apps. Seventy-seven apps eligible for the study were found, and the ones with a highest score specifically targeted to pregnant women were selected. About 50% (38) showed a score higher than percentile 50 and only 10,5% (8) were higher than percentile 90.
Conclusions: all five apps selected had a medium-high quality; however, due to the chaotically changing course of Internet, regular assessments for apps should be carried out to monitor the quality criteria.
Keywords:
apps; quality improvement; questionnaires; methods
Introducción
En la mayor parte de los casos, los usuarios de las apps de salud para dispositivos móviles desconocen la utilidad real de una aplicación de este tipo hasta que la descargan en su terminal y se enfrentan a su uso. Por ello, cada vez es más difícil para usuarios y profesionales sanitarios identificar claramente las aplicaciones con mayor calidad o que simplemente se adecuan mejor a sus necesidades1.
No existe mucha más información sobre la calidad de las apps más allá de las evaluaciones realizadas por las tiendas Google Play2 o iTunes3 en función a su popularidad y las revisiones de aplicaciones realizadas de forma subjetiva por revistas más o menos especializadas. Actualmente no existen indicadores de calidad globalmente aceptados para evaluar una app sanitaria. Se han llevado a cabo iniciativas localizadas con distintos criterios que intentan ayudar a los usuarios a evaluar su calidad antes de descargarla y abonarla (en el caso de que sea de pago). Existen pocas fuentes donde se puede consultar esta información y su origen puede ser comercial o estar basado en su popularidad lo que no tiene que estar necesariamente relacionado con su utilidad o calidad de sus contenidos.
El entorno competitivo que rodea el desarrollo de las aplicaciones móviles sanitarias hace que la urgencia provoque la relajación de los controles de calidad. Así se pueden encontrar apps con debilidades relacionadas con funcionalidades no ajustadas a la mujer gestante, cálculos erróneos, informaciones incompletas y/o erróneas o falsos negativos. La seguridad en este entorno no solo se focaliza en evitar daños físicos para la mujer embarazada y el feto, sino que también cobra especial relevancia la salvaguarda de la integridad y confidencialidad de la información personal de la mujer gestante. Por todo esto, es necesario disponer de metodologías que cuantifiquen la seguridad, calidad y veracidad que ofrece una determinada app sanitaria y clasificaciones acordes a estas.
En cuanto al análisis del impacto y la eficiencia del uso de apps móviles en el campo de la salud, existen pocos estudios que lo cuantifiquen aunque los existentes4 concluyen que: el número de aplicaciones y su diversificación va de la mano del desarrollo de los smartphone, las aplicaciones que tienen un mayor éxito son aquellas que van dirigidas a la prevención y promoción de hábitos saludables en los usuarios y tanto las administraciones públicas como el sector privado tienen un interés creciente por el desarrollo de la mHealth.
Estudios como el de Farag et al. (2014)5 ponen en evidencia que menos del 15% de las apps con posibilidades de ser utilizadas por ginecólogos y matronas son útiles realmente, por lo que es necesario disponer de metodologías para su análisis y evaluación. La popularidad de estas aplicaciones entre las mujeres gestantes hace necesario considerar su uso como un elemento más dentro de los cuidados que se ofertan a la mujer6. El objetivo de este estudio será, por tanto, realizar una evaluación de calidad de las principales apps disponibles actualmente que contengan información sanitaria obstétrica relacionada con los procesos de embarazo, parto y puerperio. El objetivo secundario será crear un listado de las cinco mejores apps para recomendar a la mujer gestante para que esta pueda gestionar o consultar información sobre su embarazo con la tranquilidad de que los recursos a los que accede han sido verificados por personal sanitario cualificado. Se pretende de esta forma personalizar la atención sanitaria ayudando a la toma de decisiones para que estas sean mejores con el fin de mejorar la calidad de vida y optimizar recursos sanitarios.
Material y método
Se realizó un estudio de las metodologías existentes para evaluación de apps y posteriormente de las aplicaciones disponibles en el mercado con información obstétrica, recogiendo y analizando los datos entre los meses de agosto y diciembre de 2015. Para realizar la clasificación objetivo del estudio se analizaron las diversas metodologías existentes en la bibliografía sanitaria para evaluar las apps con información obstétrico-ginecológica, haciendo hincapié en los criterios de calidad. El diagrama de flujo del proceso se representa en la Cuadro 1.
Selección de la metodología usada para evaluar las apps obstétricas
Para identificar la metodología a emplear para realizar la clasificación de las apps se siguieron las recomendaciones del estándar PRISMA7. Se ha llevado a cabo una revisión bibliográfica de los artículos publicados en las siguientes bases de datos bibliográficas secundarias: PubMed, Cochrane (en inglés y español), Cuidatge, MEDES y CUIDEN que contengan artículos, informes o presentaciones de congresos relacionadas con criterios para escalas de calidad de apps sanitarias o páginas web. El periodo temporal abarcado se limita al comprendido entre los años 2000 y 2015. En una primera fase se utilizaron los siguientes términos de búsqueda: “app”, “mHealth”, “calidad”, “criterio” y “evaluación” y sus equivalentes en inglés para las bases de datos americanas/inglesas. En una segunda fase se afinó la búsqueda mediante combinaciones booleanas de los términos anteriores, para concretar las publicaciones en términos de tecnologías de la información. Se completó la búsqueda acudiendo a informes de empresas públicas y privadas relacionadas con las TIC y la sanidad además de consultar la aplicación Scholar Google y las bases de datos de SciELO, ScienceDirect y Elsevier.
Identificación de apps obstétricas para su evaluación
Para encontrar las aplicaciones móviles objeto de análisis y clasificación se realizó una búsqueda sistemática en la tienda de Apple iTunes y Google Play con fecha de agosto de 2015. Los términos utilizados para la búsqueda de estas aplicaciones fueron: “embarazo”, “gestantes”, “fitness embarazo”, “nutrición embarazo”, y “cuidados embarazo” tratando así de obtener una variada lista que incluyera todos los aspectos del trabajo de la matrona. Los criterios de inclusión aplicados fueron: que estuviera en español y/o inglés, no tuviera coste económico, tuviera contenido obstétrico y estuviera incluida en las categorías de “Medicina”, “Salud y bienestar”, “Estilo de Vida” y “Nutrición”. Se encontraron 90 apps válidas para el estudio.
A continuación se realizó una búsqueda en internet introduciendo en los buscadores Google, Yahoo y Bing los términos “apps para embarazo”, “apps embarazo nutrición dieta” y “apps embarazo en forma”. Se analizaron los 50 primeros enlaces y las páginas web a las que se dirigen fueron revisadas para encontrar referencias a apps móviles no contenidas en Apple iTunes o Google Play. El hecho de optar por esta doble metodología responde a que pueden existir aplicaciones fuera del circuito comercial de Apple y Google, pero que sean de interés para mujeres gestantes y matronas por su temática o importancia social, es importante tener estas dos visiones para obtener un resultado lo más homogéneo posible. Tras eliminar resultados duplicados, inexistentes o de nula calidad quedaron 76 apps seleccionadas que fueron testadas por dos matronas con experiencia contrastada en el uso de aplicaciones móviles y más de siete años de experiencia laboral en diversos hospitales y centros de primaria de Andalucía. Sus características técnicas, ergonómicas y funcionales fueron analizadas por un ingeniero con dos años de experiencia en el diseño e implementación de apps.
Resultados
Selección de la metodología para la clasificación
El desarrollo de metodologías de evaluación de apps móviles sanitarias a menudo se han basado en principios propios del análisis de contenidos de páginas web, obviando también que los criterios válidos para una especialidad sanitaria puede que no lo sean tanto para otra. Se ha encontrado que autores como Handel8, Kim9 y Khoja et al.10 desarrollan métodos de evaluación que cubren aspectos importantes de la calidad, como son los contenidos, su apariencia y capacidades multimedia, la facilidad para navegar en sus menús y su estructura y diseño, pero o bien desarrollan cuestionarios de evaluación demasiados extensos y complicados, se olvidan de aspectos subjetivos y no racionales u omiten criterios de valoración de los aspectos estéticos. Handel8 utiliza distintos criterios para revisar 35 apps de salud y bienestar basados en la facilidad de uso, fiabilidad, calidad, alcance de la información y estética, con valoraciones directas de los usuarios. También Khoja et al.10 describe el desarrollo de una matriz de criterios de evaluación dividida en siete temas para cada una de las cuatro etapas del ciclo de vida de una aplicación: el desarrollo, la implementación, la integración y el funcionamiento. Este método proporciona criterios generales para analizar la calidad de la aplicación pero es complejo y requiere mucho tiempo de análisis.
Distintas instituciones sanitarias y empresas externas han desarrollado guías de recomendaciones para el diseño, uso y evaluación de apps de salud presentando indicadores que valoran cada aplicación en varias dimensiones (confiabilidad, utilidad, interés, seguridad, etc.). Organizaciones como la FDA americana11, el NSH inglés12, la Junta de Andalucía13, Happtiqque14, Medappcare15, iMedicalapps16, appcheck17 o la fundación iSyscore18 disponen también de bases de datos individualizadas donde especifican las apps que han validado y sus características, aunque utilizando metodologías y criterios de evaluación diferentes.
En el caso del Mobile App Rating Scale (MARS) de Hides et al.19 se identifican cinco categorías de criterios definidas como: interactividad, funcionalidad, estética, calidad de la información y aspectos subjetivos. Este cuestionario proporciona una herramienta de clasificación aceptable en forma de checklist y contiene 23 ítems con una excelente consistencia interna (alfa= 0,90) y fiabilidad (CCI= 0,79). Para la presente evaluación se utilizará esta herramienta, pero añadiendo una nueva categoría denominada “Idoneidad obstétrica” donde se calificará la calidad del contenido, la veracidad de la información incluida y su adecuación al proceso de atención obstétrico.
Clasificación de apps obstétricas
Al total de apps contenidas en los directorios de Google apps o iTunes se aplicaron los criterios de inclusión definidos en el apartado de Métodos, encontrando 90 aplicaciones válidas en la categoría general de salud y bienestar. De ellas se seleccionaron las 76 apps mejor posicionadas en cuanto a criterios propios del buscador a las que se les aplicó el test diseñado. Los resultados ofrecieron para un valor máximo posible de puntuación de 5 una media de 2,905 puntos (máximo 4,402 y mínimo 2,241). 19 de las apps analizadas (25%) están por encima del percentil 75 y 38 (50%) por encima del percentil 50. En el caso de las aplicaciones con mejores puntuaciones las cinco seleccionadas están por encima del percentil 90.
Se ha encontrado que las apps analizadas se pueden clasificar en cinco subcategorías que coinciden con algunas de las fases del proceso asistencial que se presta a la mujer embarazada, estas son: “Seguimiento del embarazo” con 23 apps (30,2%), “Contracepción y calendarios de ovulación” con 22 apps (28,9%), “Dieta y nutrición” con ocho apps (10,5%), “Mantenerse en forma” también con ocho aplicaciones (10,5%) y “Otras” con 15 (19,6%) (Gráfico 1). Las cuatro subcategorías primeras tendrían cabida en el proceso de asistencia que realiza la matrona, las contenidas en el epígrafe de “Otras” se centran en facilitar nombres de bebé, listas de nacimiento, música para el bebé y medidores de contracciones, todas ellas no aportan demasiado valor en el aspecto sanitario. Los resultados de la valoración se muestran en las Tablas 1 y 2.
Las puntuaciones globales obtenidas oscilaron entre un máximo de 4,402 puntos (sobre 5) y un mínimo de 2,241 puntos, estando la mediana en 2,62 puntos. 60 de las apps (78,3%) son fáciles de leer con tamaños de letra y colores adecuados y 45 aplicaciones (59,2%) utilizan un lenguaje adecuado a los usuarios. Solo seis de ellas (7,89%) disponen de accesibilidad para personas con discapacidades y dificultades de aprendizaje. Los factores relacionados con la accesibilidad son en general correctos, con diseños confortables para la consulta de las pantallas.
Discusión
Se ha desarrollado una clasificación que ofrece a matronas, médicos de AP y ginecólogos un listado de las cinco mejores aplicaciones obstétricas existentes en el mercado siguiendo parámetros multidimensionales, pero centrados en la calidad, funcionalidad y veracidad de la información que se consulta. El trabajo realizado se ha basado en el análisis del contenido, posicionamiento y calidad de las apps en función de su utilidad para la mujer gestante, no encontrándose estudios anteriores sobre el tema específicos de obstetricia.
Para recomendar estas aplicaciones previamente ha sido necesario clasificarlas en función de la utilidad que tendrá para cada etapa del proceso en la que se encuentre la mujer gestante (embarazo, parto o puerperio), así se han catalogado en cinco subcategorías, las cuatro primeras; “Seguimiento del embarazo”, “Contracepción y calendarios de ovulación”, “Dieta y nutrición”, “Mantenerse en forma” están enfocadas a la asistencia que la matrona debe dar a la mujer gestante antes y durante el embarazo, la última denominada “Otras” incluye algunas apps muy útiles como la referida al uso de medicinas durante el embarazo o el medidor de contracciones. Las cinco primeras aplicaciones móviles obtenidas pertenecen a la primera subcategoría.
El ordenamiento obtenido muestra una correlación moderada con las primeras apps valoradas en las tiendas de Google Play o iTunes lo que inclina a pensar que en los almacenes de aplicaciones las metodologías de valoración son poco rigurosas y están enormemente influenciadas por factores subjetivos como la popularidad de estas herramientas.
Algunas de apps analizadas, aun siendo de calidad aceptable, son complicadas de entender para que mujeres gestantes sin cualificación suficiente puedan utilizarlas sin necesidad de ayuda o entiendan adecuadamente la información que obtienen. Otras, aunque con resultados más modestos y fuera de los primeros puestos del ranking, se enfocan directamente a ser útiles a las mujeres embarazadas proporcionando datos y servicios adicionales alejados de los objetivos de salud, pero aún así útiles para el día a día.
El origen de los documentos que ofrecen, su fecha de actualización y la política editorial necesitan ser mejorados, pues aunque los conceptos básicos sanitarios sobre el embarazo, parto y puerperio son fácilmente localizables y la información coherente y muy definida, continuamente aparecen avances científicos que al ser publicados deben de ser fechados e identificados por personal cualificado. Saber por qué se ha incluido esta información y no otra o por qué y en función a qué criterios se enlaza con este u otro servicio es una información básica que no se ofrece como debiera.
Se ha detectado que la disponibilidad de foro o grupo de Whatsapp es un hecho relevante y podría ser un elemento que convenientemente potenciado y gestionado por un profesional cualificado facilitaría la intercomunicación rápida y eficaz entre la mujer gestante y la matrona, lo cual sería un factor diferencial para la elección de la app.
Dada la multitud de facetas que presenta o están implicadas en los procesos de concepción, embarazo, seguimiento del embarazo, parto y puerperio y la gran cantidad de apps asociadas a cada uno de ellos es necesario que la matrona, como profesional de referencia se implique en el análisis de las apps sanitarias obstétricas para poder recomendarlas/prescribirlas correctamente y con fundamentos profesionales.
Limitaciones
Como limitaciones se puede indicar que no se han tenido en cuenta aspectos técnicos como la velocidad de navegación, la carga de memoria o la compatibilidad de la app con un determinado terminal móvil, pero serían aspectos que la mujer gestante podría valorar como prioritarios según sus características, lo que tendría que ser evaluado en otro estudio más exhaustivo. Además, dado el carácter mutante y caótico de la red, cualquier aplicación móvil puede ser incorporada, revisada o modificada en cualquier momento alterándose, por tanto, su evaluación, por ello los resultados de este estudio tienen una validez temporal. Algunos elementos de los criterios evaluados no son apreciables fácilmente debido a la falta de normalización sobre dónde debe aparecer esta información en la app lo que hace que en muchas ocasiones se tarde bastante tiempo hasta localizar la información deseada.
Para la elaboración de esta clasificación no se ha considerado aquellas aplicaciones que actualmente forman parte de algún proceso asistencial o de investigación específico. La selección se ha centrado en los aspectos de calidad y veracidad informativa. En cuanto al aspecto comercial y de publicidad no ha sido tenido en cuenta excepto en aquellos casos en los que se entorpecía la navegación o su visualización era excesiva o repetitiva, dado que algunas de las mejores aplicaciones han sido desarrolladas gracias al apoyo directo de una determinada empresa.
Es conveniente siempre comentar estas limitaciones a las usuarias gestantes para que la selección y utilización de apps no dependiera solo de la iniciativa de la matrona, y la mujer embarazada valorara personalmente cómo se adecuan los contenidos a sus necesidades de información. De esta manera se educará a las mujeres gestantes para que sean más críticas y exigentes con la información a la que acceden, forzando, por extensión, a diseñadores y creadores de apps sanitarias a reaccionar en consecuencia.
Conclusiones
Las mujeres gestantes necesitan apps en las que confiar, que suministren información suficiente, segura y de calidad y que garanticen la privacidad de cualquier dato sensible. En este trabajo se ha desarrollado una clasificación de las aplicaciones móviles de interés para las mujeres embarazadas según su temática, funcionalidad y aplicación práctica en la consulta de Atención Primaria para que la matrona pueda recomendar su uso como parte del proceso asistencial.
En el análisis de calidad realizado, “Mi Embarazo al día” es la app que mejor valoración obtiene para la categoría de seguimiento del embarazo. Las apps “Alimentos en el embarazo” y “Ejercicios para embarazadas” son las que mejores resultados muestran para las categorías de “Dieta y nutrición” y “Mantenerse en forma”, otras de interés son la “Guía Farmacológica del 061” de la Junta de Andalucía, “EmbaMed” y “Calendario Menstrual”. Dado que el 100% de las cinco primeras aplicaciones específicas para las mujeres gestantes está por encima del percentil 90 y el 25% por encima del 75 se puede concluir que las aplicaciones seleccionadas son de calidad media-alta.
A pesar de utilizar un método de análisis de contrastada calidad para realizar la clasificación se detecta la necesidad de crear una herramienta específica para el análisis de apps sanitarias para mujeres gestantes añadiendo una nueva dimensión denominada “Idoneidad obstétrica” haciendo referencia a la utilidad que la matrona ve en la aplicación para resolver las dudas que la mujer gestante habitualmente plantea en la consulta. Es importante que los profesionales sanitarios se impliquen en el proceso de selección, desarrollo e implementación de estas herramientas para que la mujer embarazada confíe en ellos como profesionales cualificados que filtran la información adecuadamente y aconsejan contenidos de calidad.
Hay que señalar, por último, que aunque las apps se están convirtiendo en un complemento importante de la atención que el personal sanitario ofrece, de ninguna manera sustituyen la atención individualizada, humana y diligente que prestamos como profesionales día a día. Por ello, hay que realizar una importante labor educadora para que la mujer gestante comprenda que ante cualquier duda o efecto no deseado lo mejor siempre es dirigirse a la fuente de conocimiento, que en el caso que nos ocupa es la matrona.
Financiación
Ninguna.
Conflicto de intereses
Ninguno.
Bibliografía
- Cummings E, Borycki E, Roehrer E. Issues and considerations for healthcare consumers using mobile applications. Stud Health Technol Inform. 2013; 183:227-31.
- Google.com [sede web]. California USA: Google. 2014. [citado 3 mar 2017]. Disponible en: https://play.google.com/store
- Apple.com [sede web]. California USA: Apple. 2014. [citado 3 mar 2017]. Disponible en: https://www.apple.com/es/itunes
- Fiordelli M, Diviani N, Schulz P. Mapping mHealth Research: A Decade of Evolution. JMIR. 2013; 15(5):45-8.
- Farag S, Chyjek K, Chen KT. Fem mobile apps for Obstetrician/Gynaecologist look provosing. Obstet Gynecol. 2014; 124(4):718-26.
- Tripp N, Hainey K, Liu A, Poulton A, Peek M, Kim J, et al. An emerging model of maternity care: smartphone, midwife, doctor? Women Birth. 2014; 27(1):64-7.
- Moher D, Liberati A, Tetzlaff J, Altman DG. Preferred reporting items for systematic reviews and meta-analyses: The PRISMA statement. Int J Surg 2010; 8(5):336-41.
- Handel MJ. mHealth (mobile health)-using Apps for health and wellness. Explore (NY). 2011; 7(4):256-61.
- Kim P, Eng TR, Deering MJ, Maxfield A. Published criteria for evaluating health related web sites: Review. BMJ. 1999; 318(7184):647-9.
- Khoja S, Durrani H, Scott RE, Sajwani A, Piryani U. Conceptual framework for development of comprehensive e-health evaluation tool. Telemed J E Health. 2013; 19(1):48-53.
- FDA: Mobile Medical Applications. Sept 2013 [cited 3 mar 2017]. Available from: http://www.fda.gov/downloads/MedicalDevices/.../UCM263366.pdf
- National Health Service. The Health Apps Library. Dec 2013 [cited 3 mar 2017]. Available from: http://apps.nhs.uk/
- Agencia de Calidad Sanitaria de Andalucía [sede web]. Sevilla: Conserjería de Igualdad, Salud y Políticas Sociales. Junta de Andalucía; 2008. [citado 3 mar 2017]. Disponible en: http://www.calidadappsalud.com/
- cgfns.org [sede web]. CGFNS International. Happtiqque. Final Standards for Mobile Health app Certification program (HACP). Jul 2013. [cited 3 mar 2017]. Available from: http://www.cgfns.org/2013/02/happtique-publishes-final-standards-for-mobile-health-app-certification-program/
15. medappcare.com [sede web]. Orlando USA. 2010. [citado 3 mar 2017]. Disponible en: http://www.medappcare.com/
16. medicalappjournal.com [sede web]. California USA: Medical App Journal. 2011. [citado 3 mar 2017]. Disponible en: http://www.medicalappjournal.com
17. codenomicon.com [sede web]. Finlandia: appcheck 2010. [citado 3 mar 2017]. Disponible en: http://www.codenomicon.com/products/appcheck/faq/#Q1
18. Fundación iSys. Un método objetivo para valorar Apps de salud a partir de su presentación en el mercado. 2015. [citado 3 mar 2017]. Disponible en: http://www.fundacionisys.org/images/docs/iSYScore%20v14.pdf
19. Hides L, Stoyanov SR, Kavanagh DJ, Zelenko O, Tjondronegoro D, Mani M. Mobile App Rating Scale: A New Tool for Assessing the Quality of Health Mobile Apps. JMIR mHealth uHealth. 2015; 3(1):e27.