Claves para el diseño y validación de cuestionarios en Ciencias de la Salud

Sección: Sección de Metodología. Enfermería Basada en la Evidencia: Investigación Clínica Aplicada a las Ciencias de la Salud

Autores

Carmen M.ª Sarabia Cobo, Ana Rosa Alconero Camarero.

Enfermeras. Doctoras en Ciencias de la Salud. Profesoras del Departamento de la Facultad de Enfermería. Universidad de Cantabria. Grupo de Investigación en Enfermería IDIVAL, Santander (Cantabria) España

Contacto:

Ana Rosa Alconero Camarero. Facultad de Enfermería. Universidad de Cantabria Av. de Valdecilla, s/n 39008. Santander, Cantabria

Email: alconear@unican.es

Resumen

El empleo de cuestionarios es una práctica muy habitual en Ciencias de la Salud. No obstante, el desconocimiento de las características que debe cumplir un cuestionario da lugar a un uso inadecuado y a la recogida de datos inútil. El objetivo de este artículo es realizar un análisis de las características que debe cumplir todo instrumento para asegurar datos válidos y fiables. Describimos los conceptos básicos y el proceso a seguir tanto para la validación de cuestionarios de nueva creación como de cuestionarios ya existentes.

Palabras clave:

encuestas, cuestionarios, diseño de encuesta, reproducibilidad de los resultados, psicometría.

Title:

Keys for questionnaire design and validation in health sciences

Abstract:

 The use of questionnaires is a very common practice in health sciences. However, the ignorance of those characteristics to be met by a questionnaire results in an inappropriate use and a useless data collection. The aim of this article is to carry out an analysis of the characteristics that any instrument must meet so as to ensure valid and reliable data. We hereby describe the basic concepts and the process to be followed for the validation both of newly created questionnaires and of already existing questionnaires.

Keywords:

surveys, questionnaires, reproducibility of results, psychometrics.

INTRODUCCIÓN

La publicación de artículos utilizando cuestionarios como herramienta metodológica es muy usual, ya que, es una técnica aparentemente fácil, con un bajo coste y con unas tasas mayores de respuestas en los participantes. En todos los artículos revisados se habla de la importancia en la elaboración de un cuestionario como parte significativa de un diseño de investigación, puesto que los resultados conseguidos pueden estar condicionados fundamentalmente por la adecuación del diseño de las preguntas, entre otros factores1-4.
Con el objeto de explicar inicialmente alguno de los conceptos que se van a debatir en este artículo, es preciso redactar de manera concisa, sencilla y encadenada la diferencia y al mismo tiempo la relación entre encuesta, cuestionario y entrevista.
Conceptualmente «encuesta» es un procedimiento en el que el investigador recopila datos mediante un cuestionario previamente diseñado4. El vocablo «cuestionario» se define como un documento estructurado que recoge la información mediante la realización de una batería o conjunto de preguntas dirigidas a una muestra representativa con el fin de cuantificar y generalizar los resultados5. Por ejemplo, un cuestionario debe recoger la información de todas las variables consideradas de interés, mediante el cumplimiento de una serie de preguntas, siendo esta una tarea difícil, cuando el investigador que lo está creando no está familiarizado con este procedimiento. Los cuestionarios son instrumentos de medida dirigidos a medir variables que en muchas ocasiones no podemos medir directamente, ya que, en salud algunas cualidades no son directamente observables (por ejemplo, la calidad de vida, el estrés, la alfabetización en salud) y son los denominados constructos6. Para ello, mide n variables que sí son observables (por ejemplo, n respuestas a un cuestionario), esas variables son los ítems o preguntas del cuestionario, cuyo conjunto pueden darnos una medida de la cualidad no observable o constructo que queremos medir (un ejemplo claro lo tenemos en el Índice de Barthel7 que mide el grado de dependencia, que sería el constructo de una persona en función de una serie de ítems que son las Actividades Básicas de la Vida Diaria). Es decir, el cuestionario como instrumento de medida, nos permite «medir» de la forma más objetiva y homogénea posible todo tipo de variables. La ciencia que estudia la construcción y validación de cuestionarios y test es la Psicometría, que es una rama de la Psicología8.
Los cuestionarios, pueden ser guiados mediante entrevista personal, entrevista telefónica, auto- administrado en grupo con presencia de un entrevistador, y por correo2, y siempre antes de ponerlo en marcha, se debe seguir como estrategia una prueba piloto que va a posibilitar la corrección de alguna de las preguntas antes de llevarlo a cabo. Se sabe que la  entrevista consiste en un diálogo (verbal o por escrito) de dos o más personas para tratar un tema concreto. Esta técnica precisa del conocimiento de técnicas de comunicación, un guión estructurado y tener una finalidad específica4.
Tras la elaboración de un cuestionario y antes de generalizar su aplicación, son necesarios unos criterios de calidad que requieren unas condiciones de adecuación, como es la validez, fiabilidad, sensibilidad, delimitar sus componentes, estar basado en los datos establecidos por los pacientes y ser aceptado por todos los intervinientes (clientes, pacientes, profesionales e investigadores)5; sin embargo, como la validación es un proceso complejo, será el investigador el que busque un instrumento/cuestionario que tenga demostrada su validez y fiabilidad en otras investigaciones publicadas, y poder comparar los resultados (tabla 1)3,5.


El objetivo de este artículo es situar al lector de la manera más clara posible, en la realización del diseño y la validación de un cuestionario/escala de evaluación o en su defecto identificar en otros cuestionarios publicados los criterios de calidad para poder utilizarlos.

DEFINICIÓN DE CONCEPTOS BÁSICOS EN LA VALIDACIÓN DE UN CUESTIONARIO

Para entender el proceso en la utilización de un cuestionario, se va a explicar a continuación en términos sencillos algunos conceptos clave9-11. Estos son la Fiabilidad y la Validez:

Fiabilidad

Se relaciona con la precisión de la medida y su estabilidad en el tiempo. Si a un grupo de sujetos le aplicamos el mismo cuestionario en dos o más ocasiones espaciadas en el tiempo, diremos que es fiable si los sujetos tienden a mantener la misma puntuación, o quedan ordenados de la misma forma en las distintas aplicaciones. Fiabilidad es sinónimo de precisión. Hay diferentes métodos estadísticos para evaluar la fiabilidad de un cuestionario, pero el más empleado es el estadístico de correlación alfa de Cronbach () que mide la consistencia interna del cuestionario (es decir, el grado de correlación entre los ítems que forman el cuestionario). Sus valores oscilan entre 0 y 1 «El valor mínimo aceptable para el coeficiente  de Cronbach es 0,7; por debajo de ese valor la consistencia interna del cuestionario es bajo, o lo que es lo mismo: es poco fiable o preciso para medir lo que queremos medir». Otro concepto que mide fiabilidad es la estabilidad temporal, que es la concordancia entre los resultados del cuestionario al ser evaluado la misma muestra en dos situaciones o momentos diferentes, lo que llamamos fiabilidad test-retest y que también se estudia con una prueba de correlación entre ambas medidas (Pearson, por ejemplo, cuyos valores también oscilan entre 0 y 1, cuanto más próximo a 1 el valor, mejor correlación).

Validez

Se refiere al grado en que un cuestionario mide la variable que pretende medir. Por ejemplo, un test de inteligencia no será válido, si lo que mide es realmente memoria y no inteligencia. No se debe olvidar que cuando se trata de cuestionarios empleados como pruebas diagnósticas (ejemplo: un test para diagnosticar Depresión) aparecen dos conceptos más que son la Sensibilidad (capacidad del cuestionario para detectar la enfermedad o el constructo a detectar) y la Especificidad (probabilidad de clasificar correctamente a un individuo sano como tal). Es decir, cuanto más sensible y específico sea un cuestionario, menos falsos negativos y falsos positivos tendrá. Desde la Psicometría hay tres tipos de validez en relación a un cuestionario que requieren análisis estadísticos más o menos complejos.  
 La validez de contenido: los ítems que forman parte del cuestionario son adecuados para medir lo que queremos medir. Se consigue a través de un panel de expertos (grupo de personas expertas en lo que quiere medir el cuestionario) que juzgan la adecuación de los ítems del cuestionario para medir lo que se pretende. Los métodos utilizados para medir esta validez son: el método Delphi, la estimación de magnitud, el modelo Fehring y la metodología Q. Y los estadísticos que suelen emplearse son la prueba no paramétrica (W) de Kendall, el índice de validez de contenido (IVC) y la prueba de V de Aiken. Todas evalúan el grado de concordancia entre los expertos y la validez de contenido de los ítems al cuestionario.
 Validez de criterio: cuando empleamos un criterio de referencia que nos posibilita saber si nuestro instrumento mide lo que dice medir en teoría, o si por el contrario, una vez recogidos los datos, se comprueba que estamos midiendo cosas diferentes a las pretendidas. Se evalúa de diferentes formas pero el habitual es usar un cuestionario ya estandarizado a modo de gold standard y compara los resultados obtenidos entre ese cuestionario y el nuestro, si son similares significa que el nuestro evalúa lo mismo.
 Validez de constructo: la más compleja de todas, pretende analizar si el cuestionario se ajusta a un modelo predictivo estadístico de la cualidad o constructo que queremos medir, empleando para ello el Análisis Factorial (Exploratorio, AFE y Confirmatorio, AFC) que es un análisis estadístico multivariante que reduce un conjunto de variables interrelacionadas a un número de variables comunes llamados factores o dimensiones. Esto da lugar a que muchos cuestionarios tengan más de un factor o dimensión dentro del cual se agrupan una serie de ítems que miden ese factor. Ejemplo: tenemos un cuestionario que mide Alfabetización en salud en paciente con insuficiencia cardiaca y dicho cuestionario, tras hacer un AFE, está formado por 4 factores o dimensiones a los que hemos decidido poner el nombre de Conocimientos, Actitudes, Estado de salud y Apoyos sociales. Cada uno de estos factores está compuesto por x número de ítems.

FACTORES QUE PUEDEN AFECTAR A LA FIABILIDAD Y VALIDEZ DE UN CUESTIONARIO

Varios son los factores que pueden afectar a la fiabilidad y a la validez y son detallados a continuación.
El primero de ellos es la improvisación en la elaboración del cuestionario. El no estar validado en el contexto donde se aplican (usar cuestionarios de adultos en niños, o cuestionarios de otro país o realidad cultural). Que sea difícil de entender o con instrucciones muy complejas. La falta de motivación de la persona a la hora de responder. Lugares o momentos inadecuados para pasar el cuestionario. Una muestra de sujetos insuficiente o muy heterogénea. La «deseabilidad social» de la hora de responder y agradar al investigador o ser aceptable socialmente12.

EL CUESTIONARIO

Existen dos posibilidades para el investigador: emplear un cuestionario ya existente (práctica más habitual) o crear uno nuevo. Dentro de la complejidad, la primera opción es la más sencilla, pero tiene sus peculiaridades.
Utilizar un cuestionario ya existente: existen abundantes cuestionarios que evalúan todo tipo de características en el ámbito de la salud (dependencia, calidad de vida, adherencia al tratamiento, etc.). Los pasos a seguir para poder emplear un cuestionario ya existente son los que aparecen en la Figura 113-15. En esta figura se aprecia dos opciones: que el cuestionario ya esté validado en nuestro idioma y país (ojo con esto, que validarlo, por ejemplo, en México no es válido para España, y viceversa) o que no lo esté en cuyo caso o se adapta y se valida o NO se podrá emplear.


Es necesario y muy importante que tomemos conciencia de asegurar que el cuestionario presenta las mismas propiedades métricas que el cuestionario original para que así la interpretación de los resultados sea la misma y podamos hacer comparativas. Si no es así, nuestros resultados no valdrán para nada, porque no serán reproducibles, ni generalizables ni comparables.
En ocasiones, estudios aceptables son rechazados en las revistas de prestigio precisamente por este «pequeño» detalle de emplear un cuestionario no adaptado ni validado a nuestro medio.

CREACIÓN DE UN NUEVO CUESTIONARIO

A veces, no se encuentra un cuestionario adecuado a lo que se quiere medir en nuestro estudio o, si ya existe, es muy complejo y costoso validarlo a nuestro idioma y entorno y es por eso que se crea uno nuevo. Los pasos a seguir para crear un cuestionario son los que aparecen en la Figura 28-11, 16-18.


A continuación se resumen brevemente los pasos a seguir en estas fases y sus características.

Fase 0. Creación del cuestionario

Revisión de la literatura sobre  el constructo sobre el que queremos construir el cuestionario19 (ejemplo: evaluación del dolor en pacientes con Alzheimer que han sufrido un IAM) para ir seleccionando los posibles ítems que formarán parte del cuestionario y si existen escalas similares en las que basarnos para construirlo.
 Redacción del cuestionario19. Hay que atender al tipo de ítems o preguntas (abiertas, cerradas, tipo Likert, dicotómicas), determinación del número de preguntas (se aconseja entre 6 y 30 según lo que se mida), su orden y disposición dentro del cuestionario. Algunas reglas para la formulación de preguntas serían las siguientes: deben ser coherentes con el objetivo de lo que se quiere investigar, no deben incitar a respuestas implícitas ni ser ambiguas, se han de redactar de forma clara, comprensible, precisa e inequívoca, deben preguntar por un solo aspecto, redactar las preguntas en forma personal y directa, no impersonal, las preguntas más generales suelen colocarse en primer lugar y las más sencillas y menos embarazosas, las preguntas sobre un mismo tema deben agruparse juntas, la presentación debe ser agradable (si es auto-rellenable) y deben figurar muy claras las instrucciones al comienzo del cuestionario. Existen muchos manuales muy útiles para redactar adecuadamente.
 Establecer claramente en qué formato se presentará el cuestionario, quién y cómo lo va a rellenar (papel, on line, auto- rellenable, con un entrevistador), cómo se van a codificar las respuestas para su posterior análisis estadístico, etc. Planificar bien este apartado ayudará posteriormente a evitar sesgos e improvisaciones.

Fase 1

Panel de expertos20. Pueden tener dos funciones, desde elaborar ellos el cuestionario hasta validar la adecuación del que hayamos creado nosotros. Ejemplo: «el cuestionario ha sido creado por dos enfermeras especialistas en el área de críticos cardiológicos. Posteriormente un panel de expertos distinto formado por 8 enfermeras, mediante el Método Delphi y la prueba de concordancia de Kendall para probar el acuerdo de los expertos, determinaron la validez de contenido del cuestionario. Todas ellas realizaron sugerencias, reflexiones y mejoras al cuestionario inicial. De esta primera revisión se modificaron x preguntas, se eliminaron x y se añadieron x. Posteriormente el panel de expertos nuevamente procedió a revisar el cuestionario dando lugar al resultado final compuesto por x preguntas».

Fase 2

Pilotaje Pre. Se selecciona un número no muy grande de sujetos que tengan las características de la población que se quiere estudiar con el cuestionario, habitualmente con 10 es suficiente. Se les pregunta, empleando un cuestionario o mediante entrevista sobre las dificultades que han encontrado al hacer el cuestionario: preguntas ambiguas o difíciles de entender, duración, formato, fatiga, etc. Este paso es muy importante y ahorra esfuerzo posterior. En muchos estudios esta fase piloto se hace con una muestra mayor para optimizar el tiempo. Tras recoger todas las impresiones de los sujetos se procede a redactar la versión final del cuestionario.

Fase 3

Pilotaje Post. Se suele recomendar un mínimo de 30 personas que realizarán el cuestionario definitivo y del modo seleccionado. Sus respuestas servirán para la evaluación psicométrica del cuestionario a través del análisis estadístico correspondiente. La prueba más empleada es el  de Crobach que medía la consistencia interna, pero es recomendable utilizar más pruebas para tener un instrumento robusto que nos permita obtener medidas fiables, válidas y precisas. A continuación, para comprenderlo mejor, un ejemplo de un análisis psicométrico bastante completo de un cuestionario21: «Para el cálculo de la validez de contenido, se utilizó la prueba V de Aiken (valores mayores a 0,6 y próximos a 1 son los más adecuados). La validez de criterio se analizó mediante la correlación del cuestionario con dos variables consideradas en la literatura como gold Standard: cuestionario A y cuestionario B, utilizando el test no paramétrico de correlación de Spearman con un intervalo de confianza 95%. La validez de constructo se evaluó mediante la técnica del Análisis Factorial Exploratorio de Componentes Principales y aplicación de la solución rotada por el método VARIMAX. Cada ítem fue incluido en un solo factor, atendiendo a su carga factorial, tomando 0,4 como mínimo criterio de saturación de cada factor. Se calcularon los estimadores de adecuación muestral de Kaiser-Meyer-Olkin (KMO; rango entre 0-1) y de significación estadística de Bartlett (si su valor es cercano a la unidad y son significativos p < 0,05, indican que el análisis con reducción de variables es adecuado). Para analizar la fiabilidad se realizó una evaluación de la consistencia interna mediante el coeficiente  de Cronbach (se considera una aceptable consistencia interna para valores mayores a 0,6), para el total del cuestionario y para cada uno de los factores de forma independiente, calculándose también la correlación ítem- total corregido y el valor  de Cronbach si el ítem es eliminado».
 Cuestionario final. Es posible que tras el análisis de la calidad psicométrica del cuestionario haya que hacer ajustes, como eliminar ítems para conseguir buenos resultados en la validez y fiabilidad.

REFLEXIONES FINALES

El uso de instrumentos fiables y validados es un garante de calidad de los datos recogidos.
Una investigación rigurosa requiere emplear encuestas validadas con buenas propiedades psicométricas. De modo contrario, los resultados obtenidos no podrán ser válidos ni generalizables y pueden anular cualquier conclusión extraída.
¡Muy importante!, antes de decidir el empleo de un cuestionario se debe asegurar que está validado en nuestro idioma y en la población con la que se va a trabajar (esta información se puede obtener en el apartado de metodología de cualquier artículo que se revise sobre el tema). Si no fuese así, sería necesario llevar a cabo el proceso de validación desde el idioma y contexto original del cuestionario.
Si se va a crear un nuevo cuestionario es necesario seguir los pasos recomendados en la literatura para obtener un instrumento válido y fiable para el objeto de nuestras investigaciones.

CONFLICTO DE INTERESES

Ninguno.

Bibliografía

1. Carvajal A, Centeno C, Watson R, Martínez M, Rubiales AS. ¿Cómo validar un instrumento de medida de la salud? An Sist Sanit Navar. 2011;34:63-72.
2. García Alcaraz F, Alfaro Espín A, Hernández Martínez A, Molina Alarcón M. Diseño de Cuestionarios para la recogida de información: metodología y limitaciones. Revista Clínica de Medicina de Familia. 2006;1:232-236.
3. Argimón JM, Jiménez J. Métodos de investigación clínica y epidemiológica. 4ª ed. Madrid: Elsevier; 2004.
4. Martín Arribas MC. Diseño y validación de cuestionarios. Matronas Prof. 2004;5:23-29.
5. Badía X, Carné X. La evaluación de la calidad de vida en el contexto del ensayo clínico. Med Clin. 1998;110:550-556.
6. Muñiz J. La validez desde una óptica psicométrica. Acta Comportamentalia: Revista Latina de Análisis de Comportamiento. 2005; 13:9-20.
7. Cid-Ruzafa J, Damián-Moreno J. Valoración de la discapacidad física: el índice de Barthel. Rev Esp Salud Publica. 1997;71:127-137.
8. Muñiz J. (Coord.). Psicometría. Madrid: Ed. Universitas. 1996.
9. Polit DF, Hungler BP. Investigación científica en Ciencias de la Salud: principios y métodos. 6ª. ed. México: McGraw-Hill Interamericana; 2000. pp. 398-401.
10. Tovar J. Psicometría: tests psicométricos, confiabilidad y validez. Psicología: Tópicos de actualidad. 2007;85-108.
11. Navas Ara MJ. Métodos, diseños y técnicas de investigación psicológica. Psicothema. 2002;14:871-73.
12. Gómez-Benito J, Hidalgo-Montesinos MD. Desarrollos recientes en psicometría. Avances en medición. 2003;1:17-36.
13. Hilton A, Skrutkowski M. Translating instruments into other languages: development and testing processes. Cancer Nurs. 2002;25:1-7.
14. Maneesriwongul W, Dixon J. Instrument translation process: a methods review. J Adv Nurs. 2004;48:175-186.
15. Tornimbeni S, Pérez E, Olaz F, de Kohan NC, Fernández A, Cupani M. Introducción a la psicometría. Buenos Aires: Paidós; 2008.
16. Martín Andrés A, Luna del Castillo JD. Bioestadística para las Ciencias de la Salud. Capitel Ed.; 2004.
17. Augusto Bernal C. Metodología de la Investigación. Pearson; 2006.
18. Batista-Foguet JM, Coenders G, Alonso J. Análisis factorial confirmatorio. Su utilidad en la validación de cuestionarios relacionados con la salud. Med Clin. 2004;122:21-27.
19. Alconero-Camarero AR, Gualdrón-Romero A, Sarabia-Cobo CM, Martinez-Arce A. Clinical simulation as a learning tool in undergraduate nursing: Validation of a questionnaire. Nurse Educ Today. 20016;39:128-134.
20. Sarabia-Cobo CM, Parás-Bravo P, Amo-Setién FJ, Alconero-Camarero AR, Sáenz-Jalón M, Torres-Manrique B, et al. Validation of the Spanish version of the ICECAP-O for nursing home residents with dementia. PLoS One. 2017;12(1):e0169354.
21. Gimeno F, Buceta JM, Pérez-Llanta MD. El cuestionario «características psicológicas relacionadas con el rendimiento deportivo (CPRD): Características psicométricas. Análise Psicológica. 2011;19:93-113.