3
Revista Matronas

Revista Matronas

OCTUBRE 2013 N° 2 Volumen 1

Estudio de validez y fiabilidad del cuestionario EDUMA2 para evaluar la calidad del segundo nivel o sesiones del tercer trimestre de gestación de los Programas de Educación Maternal

Sección: Originales

Cómo citar este artículo

Fernández y Fernández-Arroyo M, Muñoz San Roque I, Torres Lucas J. Estudio de validez y fiabilidad del cuestionario EDUMA2 para evaluar la calidad del segundo nivel o sesiones del tercer trimestre de gestación de los Programas de Educación Maternal. Matronas hoy 2013; 1(2):14-26.

Autores

1Matilde Fernández y Fernández-Arroyo, 2Isabel Muñoz San Roque, 3Jorge Torres Lucas

1Profesora de la Unidad Docente de Matronas de la Comunidad de Madrid, Hospital Universitario La Paz (Madrid). Profesora colaboradora de la Escuela Universitaria de Enfermería y Fisioterapia. Universidad Pontificia de Comillas (Madrid).
2Profesora del Departamento de Educación, métodos de Investigación y Evaluación. Facultad de Ciencias Humanas y Sociales. Universidad Pontificia de Comillas (Madrid).
3Profesor del Departamento de Educación, métodos de Inves

Contacto:

Email: mfernandezarroyo@gmail.com

Titulo:

Estudio de validez y fiabilidad del cuestionario EDUMA2 para evaluar la calidad del segundo nivel o sesiones del tercer trimestre de gestación de los Programas de Educación Maternal

Resumen

Justificación: los programas prenatales contribuyen a la disminución de la morbi-mortalidad materna y neonatal. La falta de resultados actuales plantea la necesidad de construir herramientas para evaluar su calidad.
Objetivo: analizar tanto la validez como la fiabilidad del cuestionario EDUMA2 para evaluar la calidad del segundo nivel o sesiones del tercer trimestre de gestación de los Programas de Educación Maternal.
Metodología: estudio descriptivo transversal en 41 centros de Atención Primaria de la Comunidad de Madrid. Colaboración de 44 matronas. Muestra no probabilística estimada por análisis de la variabilidad del cuestionario de 928 asistentes. Recogida: de diciembre de 2010 a abril de 2011. Cuestionario de 56 variables agrupadas en siete dimensiones con validez de contenido. Análisis estadístico descriptivo con programa SPSS. Proyecto aprobado por las Comisiones de Investigación y Ética del Hospital Universitario La Paz.
Resultados: el análisis de fiabilidad ha obtenido un Alfa de Cronbach (0,829) y unos índices de homogeneidad adecuados. Los coeficientes de consistencia interna obtenidos (> 0,7) indican la homogeneidad e interdependencia que presentan entre sí los ítems de cada factor. El cambio en la percepción del aprendizaje en dos momentos (antes y después) se ha estudiado con la prueba T de Student para muestras relacionadas. Los resultados significativos de todas ellas (p < 0,001), garantizan la funcionalidad de la herramienta para medir el aprendizaje.
Discusión: no se han encontrado trabajos con los que comparar. El estudio aporta un cuestionario que garantiza la obtención de resultados válidos y fiables para el Programa de Educación Maternal a nivel nacional e internacional.

Palabras clave:

Educación para la Salud ; maternidad ; evaluación programas ; Atención Primaria

Title:

A study on EDUMA2 questionnaire validity and reliability in assessing second level quality or third trimester sessions in Maternal Education Programs

Abstract:

Background: Prenatal programs contribute to maternal and neonatal morbidity and mortality reduction. The current lack of data results in a need to develop new tools to evaluate their quality.
Purpose: To evaluate EDUMA2 questionnaire validity and reliability in assessing second level quality or third trimester sessions in Maternal Education Programs.
Methods: A cross-sectional descriptive study in 41 primary care units in the Community of Madrid. 44 midwifes participated in the study. A non-probabilistic sample was estimated by means of a variability analysis of the questionnaire in 928 attendants. Data collection: December 2010 to April 2011. A questionnaire of 56 variables grouped in seven dimensions with content validity. Descriptive statistical analysis using SPSS software package. The project was approved by the Research and Ethics Committee of the University Hospital La Paz.
Results: Reliability analysis showed a suitable Cronbach's alpha (0.829) and homogeneity indexes. Internal consistency coefficients (> 0.7) showed a high homogeneity and dependency among the items in each factor. A Student t-test for related samples was used to assess the change in learning awareness in two time points (before and after). Significant results were observed in all of them (p < 0.001), thus confirming that the tool is operatively useful to measure learning.
Discussion: No other studies allowing a comparative evaluation have been found. The present study provides a questionnaire that results in valid and reliable results for a Maternal Education Program at both a national and international level.

Keywords:

health education; motherhood; assessment programs; Primary Care

Introducción

A principios del siglo XX aparecieron los primeros programas de educación para la salud dirigidos a embarazadas con el objetivo de disminuir el dolor y mejorar la vivencia del parto en el hospital (1). Estos programas demostraron su eficacia y se institucionalizaron en el sistema sanitario privado por todo el mundo y en algunos sistemas públicos (2). Su importancia estriba en su contribución a disminuir la morbi-mortalidad materna y neonatal (3), que es un objetivo de la Organización Mundial de la Salud (OMS) para 2015 (4). Estos programas se caracterizan por su constante evolución, debido tanto a los avances de la medicina y la psicología como a los cambios sociales de las poblaciones de referencia (5). Hoy no basta con explicar el parto y los cuidados del recién nacido, hay que aportar conocimientos acerca de todo el proceso de maternidad/paternidad y entrenar en el desarrollo de estrategias para el afrontamiento de la crianza en las nuevas circunstancias sociales (6). Y, si se tiene en cuenta el conocimiento sobre el Apego, hay que facilitar una vinculación afectiva que permita el desarrollo integral humano de los hijos (7).

En España estos programas se introdujeron en la cartera de servicios del Sistema Nacional de Salud en 1983 (8), por lo que hablamos del programa de educación para la salud con mayor desarrollo en la sanidad pública española. Este programa se estructura en tres niveles de actuación: el primero o sesiones previas a la vigésimo octava semana de gestación, el segundo o sesiones en el tercer trimestre y el tercero o sesiones de puerperio. Su relevancia estriba en que promueve la salud en los periodos más vulnerables de la vida, la gestación y la crianza. Además, su dilatada experiencia de implementación en el Sistema Nacional de Salud hace que sea el marco adecuado para investigar su calidad en el nivel más difundido, es decir, las sesiones que se imparten en el tercer trimestre de gestación. Para poder acometer este proceso de investigación es necesario diseñar herramientas de evaluación con garantías psicométricas que permitan establecer sus fortalezas y sus puntos de mejora (9-10). Esta necesidad se recoge a través de un entramado organizativo y legislativo internacional y nacional sobre la calidad, que pretende establecer sistemas de evaluación que permitan la mejora continua y la adecuación constante a las circunstancias cambiantes de la población (11-14).  

En las últimas investigaciones internacionales (7,15-22) y nacionales (1,23-29) de educación prenatal se manifiesta la necesidad de investigar en la evaluación de estos programas. La falta de estudios sobre la calidad del programa justifica el diseño una línea de investigación de la que se podrían beneficiar los profesionales que realizan la intervención, los gestores que organizan y distribuyen los recursos y, por supuesto, toda la población susceptible de recibir una intervención sanitaria de mayor calidad. Para acometer este estudio es necesario diseñar, validar, aplicar y explotar un instrumento de evaluación, tipo cuestionario, acorde a los objetivos y metas operativas del segundo nivel o sesiones del tercer trimestre de gestación del programa de educación para la maternidad/paternidad. La complejidad del objetivo ha requerido que la investigación se estructure en cuatro fases:

Fase previa

En la fase previa se ha realizado una aproximación al tema a través de una primera revisión bibliográfica, así como de la recogida y análisis de los elementos que intervienen en la evaluación. Esto ha permitido la redefinición de los objetivos del programa y el diseño de la investigación (25).

Fase I

En la fase I se han recogido y analizado los cuestionarios de evaluación de los programas que se utilizan en la bibliografía y en la Comunidad de Madrid, lo que ha permitido elaborar una primera propuesta de cuestionario (2009).

Fase II

En la fase II el cuestionario se ha validado por jueces/expertos mediante el modelo CIRA (claridad, idoneidad, relevancia, accesibilidad), se ha rediseñado y se ha pilotado, lo que ha permitido obtener el cuestionario EDUMA2 con validez de contenido (2010) (29).

Fase III

En la fase III el cuestionario se ha aplicado a una muestra representativa de asistentes al programa para finalizar el análisis de validez y fiabilidad del instrumento y evaluar la calidad del segundo nivel del programa en la CM (2011). Dada la extensión de esta fase, solamente se presentan a continuación los elementos correspondientes a los siguientes objetivos:

Objetivo general
Analizar la validez y fiabilidad del cuestionario EDUMA2 (29) para evaluar la calidad del segundo nivel o sesiones del tercer trimestre de gestación de los programas de educación maternal.

Objetivos específicos

  • Aplicar el cuestionario a una muestra representativa de asistentes al segundo nivel de los Programas de Educación para la maternidad/paternidad en los Centros de Atención Primaria de la Comunidad de Madrid.  
  • Determinar los indicadores de fiabilidad y la validez de constructo del cuestionario.
  • Analizar si los indicadores de fiabilidad y validez garantizan la calidad del instrumento.

Material y método

Estudio descriptivo transversal en el que se ha aplicado el cuestionario EDUMA2 (29) a una muestra de asistentes al programa.
 Población y muestra  

La población de estudio, de la que se ha tomado la muestra, está integrada por asistentes al segundo nivel del Programa de Educación para la maternidad/paternidad en los Centros de Atención Primaria de la Comunidad de Madrid que cumpliesen los siguientes criterios de inclusión:

  • Asistencia a un mínimo de cuatro sesiones del programa.
  • Lectura de la hoja informativa del proyecto de investigación.
  • Deseo de participación en el estudio y consentimiento informado.
  • Cumplimentación del cuestionario de evaluación.

Lógicamente, se excluyen de la muestra aquellos que no cumplen estos criterios.

En el momento del estudio, la Comunidad de Madrid se organizaba en una única Área de Salud y siete Distritos Sanitarios (centro, norte, este, sureste, sur, suroeste, este). El muestreo de población de asistentes al programa fue no probabilístico, como es habitual en este tipo de estudios. Por el estudio piloto realizado con 18 cuestionarios, en la variable principal de valoración (pregunta 48: satisfacción global) se ha estimado una variabilidad de 0,83, con un tamaño de muestra de 700 cuestionarios y el Índice de Confianza (IC) del 95% para un promedio, tendría una amplitud de +/- 0,087 puntos. Si en el estudio se quisiera analizar cada distrito sanitario por separado, con 100 cuestionarios y en las mismas condiciones anteriores del IC del 95% para el promedio, tendría una amplitud de +/- 0,23 puntos. En el mismo estudio piloto se ha encontrado que la variabilidad mayor en cualquiera de las preguntas (organización, metodología y aprendizaje) es de 3,5. Asumiendo estos datos de variabilidad para un IC del 95% para un promedio, tendría una amplitud de +/- 0,37 puntos con 700 cuestionarios y de 0,97 puntos con 100 cuestionarios por distrito sanitario.

Consideraciones éticas

Se obtiene la aprobación del proyecto por la Comisión de Investigación y de Ética del Hospital Universitario La Paz. Se informa a las Direcciones Asistenciales de Atención Primaria. Se informa a la población de estudio y se pide a los participantes consentimiento informado. Se garantiza el anonimato de los cuestionarios y de la confidencialidad en el manejo de los datos de acuerdo con la Ley Orgánica 5/1992 de regulación del Tratamiento Automatizado de los Datos de Carácter Personal y La Ley Orgánica 15/1999 de Protección de Datos de Carácter Personal.

Elaboración del cuestionario

El cuestionario EDUMA2 fue elaborado en la fase II de la presente investigación (29).

Recogida de información

Se precisa que las matronas que colaboren en la recogida de cuestionarios representen adecuadamente a la Comunidad de Madrid y a todos y cada uno de los distritos. Para evitar el sesgo de afinidad que conllevaría el que la selección la rea­lizase el investigador principal según un criterio personal, se ofertó la posibilidad de participar a todas las matronas de Atención Primaria de la Comunidad de Madrid. De un total de 172 matronas, desean colaborar 44 y hay una adecuada representación de los 7 distritos sanitarios, por lo que se aceptan. Disponer de la colaboración de tan amplio número de profesionales mejora la representatividad de la muestra en cuanto a que aumenta el número de centros de Atención Primaria en que se aplica el cuestionario y en cuanto a que los programas van a ser impartidos por mayor número de profesionales. También colaboran 13 residentes de matrona.

El periodo de recogida de cuestionarios abarca de diciembre de 2010 a junio de 2011.

Variables de estudio    

Se toman las variables del cuestionario EDUMA2 (29), que evalúa la calidad del programa en cuanto a efectividad, funcionalidad, eficacia e impacto inmediato mediante un total de 56 ítems agrupados en 7 dimensiones: datos de grupo, asistente, organización, metodología, aprendizaje, satisfacción, valoración y mejora de las sesiones.   

Codificación y tabulación

A excepción de la pregunta de sugerencias o quejas, que se deja abierta, el resto se codifican como numéricas en una base de datos de Excel.

Análisis estadístico  

El procesamiento y análisis de los datos se realizó con el paquete estadístico SPSS versión 15.0. Se ha efectuado un análisis descriptivo de las variables definitorias de la muestra de estudio. En el caso de variables cualitativas se han calculado las frecuencias absolutas y relativas para cada categoría y para las variables cuantitativas se han estudiado medidas de tendencia central (media) y medidas de dispersión (desviación estándar). En el análisis de los resultados se han empleado pruebas paramétricas, como la R de Pearson y T de Student, y no paramétricas, como la chi cuadrado. Para determinar la fiabilidad y validez de las dimensiones seleccionadas del cuestionario se han empleado las pruebas estadísticas Alfa de Cronbach y el análisis factorial. Se ha contemplado como nivel de significación estadística p < 0,05.

Resultados

Recogida de cuestionarios

Se han recogido 928 cuestionarios y se han obtenido más de 100 cuestionarios en cada uno de los distritos, según la indicación del cálculo del tamaño de la muestra (Ver Gráfico 1).  

Centros de Atención Primaria que participan

Se han recogido cuestionarios en un total de 41 Centros de Atención Primaria. La media de participación de los centros por distrito sanitario es de 5,8.  

Persona que cumplimenta el cuestionario

Han cumplimentado el cuestionario 777 embarazadas (83,7%), 26 parejas (2,8%) y 124 acompañantes (13,4%) que asisten al segundo nivel del programa.

Fiabilidad y validez del cuestionario aplicado

Se han realizado pruebas psicométricas para determinar la fiabilidad y validez del cuestionario. La primera se define como el grado de precisión del instrumento, midiendo la proporción de variabilidad total atribuible a las diferencias entre sujetos y no a errores del diseño; la segunda, hace referencia a la capacidad de un instrumento de medir aquello para lo que está diseñado.  Para el análisis de fiabilidad y de validez de constructo se toman las variables de valoración del programa, que son ocho variables en cuanto a la organización propiamente dicha (preguntas 11 a 18 del cuestionario), tres variables de profesorado (preguntas 19 a 21 del cuestionario) y siete en cuanto a la metodología (preguntas 22 a 28 del cuestionario). En ellas se ha solicitado a los asistentes que evalúen el funcionamiento de los diferentes ítems en una escala de 1 a 10, donde 1 representa el menor valor y 10, el mayor. Los participantes han valorado los datos de organización propiamente dicha con una media de 7,9 y una desviación típica de 1,8. Los datos correspondientes al profesorado han obtenido una media de 9,5 y una desviación típica de 0,8. Los datos de metodología han obtenido una valoración media de 9,3 y una desviación de 1,3.

Se ha realizado el cálculo del análisis factorial de componentes principales de la valoración del programa (preguntas 11 a 28 del cuestionario) a través del sistema de rotación Varimax, a fin de determinar la correlación que las variables tienen entre sí y la dimensionalidad del cuestionario. De los 928 cuestionarios recogidos, tres no han contestado a todos los parámetros, por lo que se han excluido y se ha realizado el análisis de fiabilidad de los 925 restantes. En este análisis de fiabilidad el cuestionario obtiene un Alfa de Cronbach de 0,829 (N=18). Este valor indica que el conjunto de ítems está de acuerdo a la hora de diferenciar a los asistentes en cuanto a sus niveles de valoración del segundo nivel del programa. Seguidamente se obtiene el Alfa de Cronbach y los índices de homogeneidad de los ítems que lo integran (Ver Tabla 1). Como puede apreciarse, el valor del índice de homogeneidad es adecuado para todos los elementos. Aun así puede observarse que los ítems menos relacionados con el total de la escala son el nº 24, en el que se pregunta si se pide que los asistentes expresen su opinión y sus experiencias, y el nº 28, en el que se pregunta si la matrona, si no se ha entendido algo, se da cuenta y lo vuelve a explicar. Parece lógico encontrar esta menor relación, ya que son los dos ítems en los que se pide a los participantes que valoren la preocupación del docente por su opinión y su comprensión sobre los temas tratados.  

Se procede a realizar la prueba KMO, que obtiene un valor de 0,91, lo que indica una buena adecuación muestral. Se rea­liza la prueba de esfericidad de Bartlett, que presenta un resultado significativo (p < 0,001), lo que indica que la matriz de correlaciones es significativamente diferente de la matriz identidad. El resultado de estas dos pruebas indican que se puede llevar a cabo el análisis factorial (Ver Tabla 2).

Se realiza el análisis factorial para estudiar la estructura subyacente del cuestionario. A través del criterio de Kaiser (autovalores superiores a 1) se extraen tres factores que explican el 56% de la varianza. El primero de ellos explica un 39,5% (Ver Tabla 3). Al analizar la matriz de componentes sin rotar, se puede comprobar que todos los ítems tienen sus saturaciones factoriales más altas en el primer factor, salvo el ítem nº 28 “repetición” que satura con un mayor peso en el tercer factor. Sin embargo, este ítem tiene un peso cercano a 0,3 en el primero (Ver Tabla 4).

La matriz rotada muestra una estructura de tres factores. En el primero de ellos se integran los ítems del nº 22 al nº 28. En el segundo se agrupan los ítems del nº 11 al nº 18. En el tercer factor se agrupan los ítems del nº 19 al 21 (Ver Tabla 5).

El análisis sustantivo de la configuración nos lleva a identificar una estructura similar a la planteada en la fase de operativización del constructo, en concreto, los tres bloques  que componen la valoración del programa: organización propiamente dicha, profesorado y metodología. Se aprecia, por tanto, que los bloques contemplados en el diseño aparecen reflejados en la solución factorial.
En el primer factor, que se denomina "organización propiamente dicha", se agrupan los ocho elementos específicos de la organización (preguntas 11 a 18 del cuestionario). En el estudio previo (6) se encontró que estos ítems eran los elementos de organización más relevantes que había que considerar en la valoración del programa. El análisis de fiabilidad de este primer factor indica que la consistencia interna de este conjunto de 8 ítems es de 0,76 (Alfa de Cronbach), por lo que realmente el conjunto de ítems concuerda a la hora de diferenciar a los asistentes en cuanto a su valoración de los elementos de la organización propiamente dicha. En la Tabla 6, se presentan los índices de homogeneidad y el Alfa de Cronbach si se elimina el elemento de los ítems de organización propiamente dicha del cuestionario. Como puede apreciarse, el valor del índice de homogeneidad es adecuado para todos los elementos.

En el segundo factor, que denominamos "profesorado", se  agrupan los tres elementos de la organización para el profesorado: amabilidad, profesionalidad y tiempo y dedicación (Ver Tabla 6). En el estudio previo (6), estos ítems eran los elementos de profesorado más relevantes que había que considerar en la valoración del programa. El análisis de fiabilidad de este segundo factor indica que la consistencia interna de este conjunto de 3 ítems es de 0,91 (Alfa de Cronbach), por lo que realmente el conjunto de ítems está de acuerdo a la hora de diferenciar a los asistentes en cuanto a su valoración de los elementos de profesorado. En la Tabla 7 se presentan los índices de homogeneidad y el Alfa de Cronbach si se elimina el elemento de los ítems de organización referentes al profesorado. Se aprecia que los índices de homogeneidad son adecuados para todos los elementos.

En el tercer factor que denominamos "metodología" se agrupan los siete elementos de valoración del programa propios de la metodología (preguntas 22 a 28 del cuestionario). En el estudio previo (6), estos ítems eran los elementos de metodología más relevantes que había que considerar. El análisis de fiabilidad de este tercer factor compuesto por estos siete elementos indica que la consistencia interna de este conjunto de ítems es de 0,67 (Alfa de Cronbach), por lo que el conjunto de ítems muestra un nivel de consistencia interna aceptable. Por tanto, se puede asumir que está de acuerdo a la hora de diferenciar a los asistentes en cuanto a su valoración de los elementos de la metodología. En la Tabla 8 se presentan los índices de homogeneidad y el Alfa de Cronbach si se elimina el elemento de los ítems de metodología. Como puede apreciarse, el valor del índice de homogeneidad es adecuado para todos los elementos. Aun así, se aprecia que los ítems menos relacionados con el total de la escala son el nº 24, en el que se pregunta si se pide que los asistentes expresen su opinión y sus experiencias, y el ítem nº 28, en el que se pregunta si la matrona, si no se ha entendido algo, se da cuenta y lo vuelve a explicar. Si se eliminaran estos ítems subiría mucho la fiabilidad de la escala, sin embargo, el contenido que recogen interesa para describir las valoraciones de los asistentes sobre metodología, por lo que no se eliminan.

Como muestran los resultados, estamos ante un cuestionario que en sus elementos de valoración de programa en cuanto a organización, profesorado y metodología presenta tres factores con una consistencia interna considerable y que permiten describir la valoración del programa en cuanto a estos elementos a través del cuestionario de evaluación objeto de estudio.

Comparación de medias entre el conocimiento, la seguridad y la relación afectiva previos y posteriores al programa

Seguidamente, se ha planteado el funcionamiento de las variables que evalúan el aprendizaje que se logra con el programa. Son las variables de las dimensiones de conocimiento de cuidados, conocimiento de técnicas de apoyo, sensación de control (seguridad) y de relación afectiva positiva con el bebé que corresponden en el cuestionario a las preguntas del número 32 al número 47. En todas ellas se ha preguntado la percepción que se tenía previa al programa y la que se tiene después del programa. Se procede a realizar una comparación de medias (antes y después) mediante la prueba T de Student para determinar si existe un cambio en el aprendizaje debido al programa entre las variables antes y después. Como puede apreciarse en la tabla 9, todas las diferencias de medias de los indicadores de aprendizaje son estadísticamente significativas p < 0,001, lo que significa que existe diferencia en el aprendizaje antes y después de aplicar el Programa de Educación. En la tabla, se puede apreciar que para todas las variables el sentido de la diferencia de medias entre el antes y el después indica que las medias son mayores después del programa educativo y la diferencia entre estas medias podemos valorarlas como muy altas (d > 1), excepto en la vinculación afectiva con el bebé, donde la percepción de cambio puede valorarse como moderada (d=0,53). La mayor percepción de cambio se da en los cuidados de parto (d=2,15), técnicas de respiración (d=2,11) y cuidados de postparto (d=2,05), lo cual es coherente con los contenidos menos conocidos para las mujeres y las parejas embarazadas del primer hijo. La menor percepción de cambio se da en relación afectiva con el bebé (d=0,53), lo cual es coherente con el momento en que se imparte el programa, el tercer trimestre de gestación. En esta etapa la aceptación del embarazo debe estar consolidada y la vinculación con el recién nacido iniciada, no obstante, el programa contribuye a aumentar esta vinculación, lo cual es positivo para la futura relación familiar.

Discusión

Análisis de la calidad del instrumento

Disponer de instrumentos psicométricos adecuados en la investigación y la práctica clínica es una necesidad inherente a la atención sanitaria (Ley General de Sanidad, 2011). Esta necesidad se acrecienta, si cabe, cuando hablamos de programas de educación para la salud contemplados en la cartera de servicios del Sistema Nacional de Salud con cobertura para toda la población del país, como es el Programa de Educación Maternal. Para dicho programa, el entonces Ministerio de Sanidad y Consumo elaboró, en 1995, un cuestionario de evaluación del que no se ha encontrado ningún estudio de resultados y que no contó en su diseño y en su desarrollo con un análisis de la calidad de su funcionamiento. En el estudio sobre la evaluación de los Programas de Educación Maternal en la Comunidad de Madrid (25), se encontró que únicamente un 21,5% de los profesionales que impartían el programa lo evaluaban mediante cuestionario. En este estudio, dentro de los profesionales que utilizaban un cuestionario de evaluación, el 11,8% utilizaba un cuestionario de satisfacción elaborado por el Área Sanitaria, un 7,5% utilizaba un cuestionario elaborado por el propio profesional y solamente un 2,2% utilizaba el cuestionario propuesto por el Ministerio de Sanidad y Consumo (1995) (8). En la revisión de la literatura internacional, se han encontrado estudios con evaluaciones cualitativas mediante entrevistas (30-33) y estudios que miden los resultados del programa mediante la aplicación de test validados que evalúan la ansiedad, el estrés, la depresión, el apoyo social, la relación con la pareja, etc. (34-37), pero no se encontraron herramientas de evaluación que se pudieran traducir y validar para aplicar al programa del Sistema Nacional de Salud de España. A la luz de estos datos, resalta la importancia de diseñar una herramienta de evaluación con características psicométricas adecuadas que garantice su fiabilidad y su validez según los estándares de calidad (38).

En esta investigación se garantiza la calidad del diseño y del contenido del cuestionario con los estudios de las fase I y la fase II (6). En esta tercera fase se ha planteado el estudio de la calidad de su funcionalidad mediante el análisis de la fiabilidad y validez del constructo. La finalidad última de la validación del constructo es asegurarse de que los instrumentos de medida en cuestión son útiles para medir lo que se pretende medir, con lo que se garantice que su uso sea adecuado para la práctica clínica y para la realización de estudios multicéntricos nacionales e internacionales en los que se pretenda agregar los datos obtenidos en centros de diversas comunidades y países (39). Así, para el análisis de fiabilidad se han tomado los ítems referidos a la valoración del programa en cuanto a organización, profesorado y metodología. Para ellos se ha obtenido un Alfa de Cronbach (0,829) y unos índices de homogeneidad adecuados. La prueba KMO (0,91) indicó la adecuación del tamaño muestral y la prueba de de esfericidad de Bartlett demostró que la matriz de correlaciones era significativamente diferente de la matriz de identidad (p < 0,001). El análisis factorial determinó una estructura de tres factores que resultó coherente con la estructura planteada en la operativización del constructo. Asimismo, los coeficientes de consistencia interna obtenidos (> 0,7) indican la homogeneidad e interdependencia que presentan entre sí los ítems de cada factor. Por tanto, la consistencia interna presentada por los factores analizados fue satisfactoria.

La eficacia del programa, en cuanto al aprendizaje que se produce con él, se ha evaluado comparando la percepción de aprendizaje previo y posterior que refieren los asistentes en cuanto a conocimientos de cuidados y de técnicas de apoyo (preguntas 32 a 41 del cuestionario). El impacto inmediato que produce el programa se ha evaluado comparando la percepción de control o seguridad y de relación afectiva positiva con el bebé previa y posterior al programa que refieren los asistentes (preguntas 42 a 47 del cuestionario). Para ver el cambio en la percepción del aprendizaje y en la percepción de control y de relación afectiva con el bebé en dos momentos (antes y después) se ha realizado la prueba T de Student para muestras relacionadas y las correlaciones subsiguientes. Los resultados significativos de todas ellas (p < 0,001) garantizan la funcionalidad de la herramienta para medir la percepción de aprendizaje, de control y de vinculación afectiva con el bebé previa y posterior obtenida con el programa. Por todo ello, los resultados obtenidos muestran que el cuestionario EDUMA2 presenta características psicométricas adecuadas y correlaciones estadísticamente significativas entre las variables del test, lo que garantiza las posibilidades de empleo del cuestionario para evaluar la calidad del segundo nivel o sesiones del tercer trimestre de gestación del Programa de Educación para la maternidad/paternidad del Sistema Nacional de Salud español o de cualquier otro que incorpore los objetivos de programa contemplados en el diseño de la herramienta (25).

Principales conclusiones y propuestas de mejora

  • La gran aportación del estudio se encuentra en que elabora una herramienta de evaluación, tipo cuestionario, que por la metodología con que se ha construido garantiza la obtención de resultados válidos y fiables sobre un Programa de Educación para la Salud de ámbito nacional y de interés internacional según los objetivos de salud del Milenio para 2015 de la Organización Mundial de la Salud (4).
  • La construcción de la herramienta ha contemplado en su proceso el cumplimiento de las leyes de calidad: la Ley General de Sanidad (2011), el Plan de Calidad del Sistema Nacional de Salud (2010), la Ley 16/2003, de 28 de mayo, de Cohesión y Calidad del Sistema Nacional de Salud, así como las leyes internacionales de calidad (11-14).
  • La calidad de la herramienta diseñada facilitará la práctica de la evaluación a los profesionales sanitarios que imparten el programa y a las instituciones sanitarias subsidiarias que asuman los objetivos que mide la herramienta, que han sido diseñados conforme la bibliografía internacional al respecto (25).

El novedoso enfoque de la herramienta según un modelo de calidad (40) permitirá obtener resultados de la calidad del programa impartido en cuanto a los 56 parámetros que se contemplan en la misma. Es decir, 10 parámetros de Eficiencia (preguntas 1 a 10), 19 parámetros de Funcionalidad (horario y preguntas 11 a 28), 21 de Eficacia (preguntas 29 a 41 y 48 a 55) y 6 de Impacto inmediato (preguntas 42 a 47). Con ello se cubrirá la necesidad nacional e internacional de conocer los resultados del programa y de establecer propuestas de mejora específicas en materia de educación para la salud materno-infantil (14, 24). El diseño de la herramienta en único folio a doble cara permite una rápida cumplimentación y la forma en que se ha establecido la recogida de datos permite su tabulación mediante medios de lectura óptica. Estos elementos aumentan las posibilidades de sistematizar su utilización y explotación de datos.

En definitiva, la calidad de la herramienta diseñada EDUMA2 garantiza su utilización para evaluar el segundo nivel o sesiones del tercer trimestre de gestación del Programa de Educación para la maternidad/paternidad, por lo que si se emplea, contribuirá a mejorar los programas, de lo que se beneficiarán las administraciones sanitarias responsables, los profesionales que los imparten y toda la población susceptible de recibir programas de mayor calidad en el momento de máxima vulnerabilidad, la gestación y la crianza.

  • Las principales limitaciones de la investigación son:  únicamente se ha podido incluir en la herramienta, dado el momento de su administración (al finalizar la impartición del programa), elementos de valoración del impacto inmediato, por lo que quedan por estudiar los resultados de impacto sociosanitario a medio y largo plazo. Es decir, valorar después del parto los resultados de morbi-mortalidad materna y neonatal, la utilidad del aprendizaje para el parto y la satisfacción con la vivencia del nacimiento y estudiar después del puerperio los resultados de salud, de aprendizaje sobre la crianza, de prevención de la depresión postparto y de la vivencia del puerperio.
  • En esta investigación solamente se ha abordado el segundo nivel del programa por lo que habrá que realizar el mismo tipo de estudio para conocer los resultados de calidad de los otros dos niveles del programa, las sesiones de segundo trimestre de gestación y las de postparto.

Implicaciones para la práctica

La primera aplicación práctica que se deriva de esta investigación es la utilidad de la herramienta de evaluación. No se ha encontrado en la bibliografía ninguna herramienta con este proceso de construcción que garantice su fiabilidad y validez. En segundo lugar, la relevancia de la herramienta obtenida  puede favorecer y extender la practica evaluativa en futuras investigaciones a nivel nacional e internacional. En este sentido, cabe esperar que el enfoque de la calidad de la herramienta, que no se ha encontrado en la bibliografía de evaluación de intervenciones educativas sanitarias, inicie una vía de investigación con grandes posibilidades de aplicación desde las perspectivas de la formación de los profesionales, las entidades responsables de la administración y la gestión y desde la reflexión de los propios profesionales sobre su desempeño profesional. Esta línea presenta un enfoque positivo, ya que visualiza los elementos de eficiencia, funcionalidad, eficacia e impacto inmediato que hacen que los profesionales y las administraciones reorganicen sus recursos y sus intervenciones. El conocimiento de los elementos de la calidad de un programa de educación para la salud permitirá elaborar estrategias específicas para mejorar las intervenciones educativas en la promoción de la salud. 

Agradecimiento

A los departamentos de Evaluación de Tecnología Sanitaria y de Calidad de la Comunidad de Madrid, al Departamento de Estadística, la Comisión de Ética y de Investigación del H. U. La Paz y a todas las matronas de Atención Primaria y residentes de matrona de la Comunidad de Madrid por su valiosa e imprescindible colaboración.

Nota: las personas interesadas pueden solicitar el cuestionario a la autora.